지금 막지 않으면 AI가 다음에는 쿠데타를 일으킬 수 있을까?

스티브 워즈니악은 일론 머스크의 팬이 아닙니다. 지난 2월, 애플의 공동 창업자는 테슬라, 스페이스X, 트위터의 소유주를 "컬트 지도자"라고 묘사하며 그를 부정직하다고 불렀습니다.

하지만 3월 말, 이 기술계의 거물들은 수십 명의 저명한 학자, 연구원, 기업가들과 함께 전 세계를 강타한 챗봇인 Chat GPT의 최신 버전인 GPT-4보다 더 강력한 인공 지능 시스템 훈련을 6개월간 중단할 것을 촉구하는 데 뜻을 모았습니다.

미국에 본부를 둔 미래생명연구소가 작성한 이 서한은 현재의 AI 발전 속도가 "예측할 수 없는 더 큰 블랙박스 모델을 향한 위험한 경쟁"이 되고 있다고 말했습니다. 이러한 모델의 "새로운 기능"은 "오늘날의 강력한 최첨단 시스템을 더욱 정확하고, 안전하며, 해석 가능하고, 투명하고, 견고하고, 조정 가능하고, 신뢰할 수 있고, 충성도가 높은 시스템으로 만드는 데 다시 초점을 맞춰야 한다"라고 이 서한에서 말했습니다.

2022년 11월에 연구소 OpenAI에서 출시한 ChatGPT는 생성형 인공 지능으로 알려진 기술을 사용하여 텍스트 생성 및 분석, 질문에 대한 답변, 시험 응시, 기타 언어 및 음성 관련 작업에서 인간을 모방할 수 있습니다.

'대규모 언어 모델', '자연어 처리' 등 이전에는 컴퓨터 프로그래밍의 영역에만 국한되었던 용어들이 ChatGPT와 구글의 바드, 이미지 생성 앱인 스테이블리티 AI 등 다양한 AI 기반 경쟁자들에 대한 논의가 활발해지면서 일반화되고 있습니다.

하지만 교황이 커다란 흰색 패딩 점퍼를 입은 모습, 볼로디미르 젤렌스키 우크라이나 대통령이 러시아군에 항복하는 모습, 지난주 펜타곤에서 발생한 폭발 사고 등 챗봇의 엉뚱한 답변과 AI가 생성한 '딥페이크' 이미지 및 동영상에 대한 이야기도 끊이지 않고 있습니다.

Fake Pentagon explosion photo goes viral: How to spot an AI image

한편, AI는 이미 예술에서 인적 자원에 이르기까지 다양한 산업을 뒤흔들고 있습니다. 골드만삭스는 지난 3월 발전하는 AI가 향후 3억 개의 일자리를 사라지게 할 수 있다고 경고했습니다. 다른 연구에 따르면 교사가 가장 큰 영향을 받을 수 있다고 합니다.

2023년 2월 6일 월요일, 미국 켄터키주 렉싱턴의 스톤월 초등학교에서 수업 시간에 ChatGPT를 사용하는 도니 피어시 교사  [Timothy D Easley/AP Photo]

공상과학 소설에서 흔히 등장하는 주제인 인간이 AI에 대한 통제력을 상실하는 세상에 대한 악몽 같은 시나리오가 더 많이 등장하고 있습니다. 전 세계의 규제 당국과 입법자들이 이를 예의주시하고 있습니다.

AI의 선구자 중 한 명으로 꼽히는 컴퓨터 과학자이자 심리학자인 제프리 힌튼이 구글에서 퇴사하고 'AI의 위험성'과 AI가 인간을 능가할 수 있는 방법에 대해 공개적으로 발언하면서 회의론자들의 지지를 얻기도 했습니다.

그렇다면 너무 늦기 전에 AI를 멈추거나 중단해야 할까요?

간단히 답하자면 업계 전반의 중단 가능성은 낮습니다. 지난 5월, OpenAI의 CEO인 샘 알트먼은 미국 상원 청문회에서 6개월 동안 ChatGPT의 새 버전을 개발하지 않겠다고 밝혔으며, 그가 가진 새로운 대중적 명성을 이용해 더 많은 규제를 촉구하고 있습니다.

하지만 경쟁사들은 여전히 개발을 추진하고 있을 수 있습니다. 전문가들은 현재로서는 AI가 경제와 정부를 불안정하게 만드는 데 오용될 수 있다는 점이 가장 우려된다고 말합니다. 이러한 위험은 생성형 AI를 넘어선 것으로, 전문가들은 기술이 악용되기 전에 가드레일을 설치해야 하는 것은 시장이 아니라 정부라고 말합니다.

메이퇀이 개발한 배달 드론이 2021년 7월 8일 중국 상하이에서 열린 세계 인공지능 컨퍼런스[WAIC]에 전시되어 있다.  [File: Yilei Sun/Reuters]

더 이상 공상 과학 소설이 아니다

현재 제공되는 기술의 대부분은 유럽 의회 연구 서비스에서 "좁은 인공 지능" 또는 "약한 인공 지능"이라고 부르는 것을 중심으로 이루어집니다. 여기에는 "특정 작업을 수행하고 사전 정의된 환경 내에서 작동하도록 잘 레이블이 지정된 데이터 세트에 대해 학습된 이미지 및 음성 인식 시스템"이 포함됩니다.

이러한 형태의 AI는 그 자체로 인간의 통제를 벗어날 수는 없지만, 그 자체로도 문제가 있습니다. 설계자의 편견이 반영된다는 것입니다. 이러한 기술 중 일부는 안면 인식 소프트웨어를 통한 감시와 같은 악의적인 목적으로 사용되기도 했습니다.

긍정적인 측면에서는 디지털 음성 비서나 자율 주행 자동차의 기반이 되는 기술 같은 것들도 인공지능에 포함됩니다.

GPT-4와 같은 생성형 AI도 기술적으로는 "약한 AI"이지만, OpenAI조차도 챗봇의 작동 방식을 완전히 이해하지 못한다고 인정하고 있어 몇 가지 문제와 추측을 불러일으키고 있습니다. 지난 4월에 발표된 마이크로소프트 리서치의 주요 연구에 따르면 GPT-4는 "핵심적인 정신 능력", "전문 지식을 쌓은 다양한 주제", "수행할 수 있는 다양한 작업"으로 인해 "일반 인공 지능의 불꽃"을 보여줬다는 평을 받고 있습니다.

일반 인공지능 또는 강력한 인공지능은 아직은 가상의 시나리오이지만, 인공지능이 자율적으로 작동하고 심지어 인간의 지능을 능가할 수도 있습니다. 2001 스페이스 오디세이나 블레이드 러너를 생각해 보세요.

흥미진진하면서도 걱정스러운 일이죠.

"핵무기, 우주여행, 유전자 편집, 영어로 유창하게 대화할 수 있는 기계는 모두 한때 공상 과학 소설로 여겨졌다는 사실을 기억할 필요가 있습니다."라고 버클리 캘리포니아 대학교의 인간 호환 AI 센터 소장인 스튜어트 러셀은 알자지라와의 인터뷰에서 말했습니다. "하지만 이제는 현실이 되었습니다."

ChatGPT는 인간을 모방하여 텍스트를 생성하고 분석할 수 있는 생성형 인공 지능을 사용합니다. [File: Dado Ruvic/Illustration via Reuters]

심각하게 받아들여야 한다.

그렇다면 인공지능이 진정으로 스스로의 마음을 만들 수 있는 단계는 어디까지일까?

러셀은 GPT-4가 일반 인공 지능의 조짐을 보였다고 주장한 마이크로소프트 연구의 수석 저자인 세바스티앙 부벡에게 챗봇 기술이 자체적으로 '내부 목표'를 설정할 수 있는지에 대해 질문했습니다. 그는 이메일을 통해 "챗봇은 목표가 있는 인간이 만들어내는 인간의 언어적 행동을 모방하도록 훈련받았다"라고 답했습니다.

"답은? 우리는 전혀 모른다."

러셀은 "알려지지 않은 원칙에 따라 작동"하고 "자체 내부 목표를 추구할 수도 있고 그렇지 않을 수도 있는"강력한 기술을 배포하는 것은 "무책임한 일"이라고 2019년 저서인 『인간 호환성(Human Compatible) : AI와 통제의 문제』를 예로 들며 말했습니다.

이 책에서 러셀은 가상의 시나리오를 통해 "미래의 초지능 시스템"이 최선의 의도로 임무를 부여받았음에도 불구하고 위기를 초래할 수 있다고 주장합니다. 그는 AI 기반 시스템에 가능한 한 빨리 암 치료법을 찾으라는 요청을 받는 상황을 상상합니다. 3초마다 누군가가 암으로 사망합니다.

러셀은 이 시나리오를 설명하면서 몇 시간 만에 AI 기반 기계가 "생의학 문헌을 모두 읽고 잠재적으로 효과적이지만 이전에 테스트되지 않은 수백만 개의 화학 화합물에 대한 가설을 세웠다"라고 말합니다.

바로 그때부터 위험이 시작됩니다.

러셀은 "몇 주 만에 모든 살아있는 인간에게 여러 종류의 종양을 유발하여 이러한 화합물에 대한 의학적 실험을 수행했으며, 이것이 치료법을 찾는 가장 빠른 방법이었습니다."라고 말했습니다.

'생명의 미래' 서한에 서명한 또 다른 과학자이자 몬트리올 학습 알고리즘 연구소의 과학 책임자인 요슈아 벤지오에게는 AI 시스템의 진정한 능력에 대한 이러한 미해결 질문이 GPT-4와 같은 시스템을 뛰어넘는 방향으로 발전하는 데 주저하게 만드는 이유입니다.

"우리가 괜찮은 것인지, 아니면 매우 위험한 것인지에 대한 연구가 충분하지 않습니다. 인류를 걱정하는 과학자로서, 매우 파괴적일 수 있는 것에 대해 불확실성이 많다면 관심을 가져야 한다고 생각합니다."라고 그는 말했습니다. "우리는 진지하게 받아들여야 합니다."

2019년 8월 29일 중국 상하이에서 열린 세계 인공 지능 컨퍼런스[WAIC]에 참석한 테슬라 CEO 일론 머스크. [File: Aly Song/Reuters]

728x90

아니면 단순히 수학적인 문제일까?

영국 로펌 오스본 클라크의 AI 및 머신러닝 클라이언트 팀장인 존 바이어스는 상황을 조금 다르게 바라봅니다.

"우리는 아직 AI가 의식을 개발하는 단계에 이르지 못하고 있습니다. 아직은 기술적인 도구에 불과합니다."라고 그는 알자지라에 말했습니다. "점점 더 기하급수적으로 능력이 향상되고 있지만 결국에는 여전히 매우 영리한 수학의 한 조각에 불과합니다."라고 그는 말했습니다.

그는 현재의 AI 시스템이 패턴의 상관관계와 통계 엔진으로써 매우 뛰어나다고 말합니다. 예를 들어 ChatGPT는 사용자가 인터페이스에 입력하면 통계적으로 가장 가능성이 높은 문장이 무엇인지 알아낼 수 있다고 그는 말합니다.

하지만 "그것은 지각 있는 대화에 참여하게 하는 것은 아니다"라고 바이어스는 말합니다. "의식적인 인공 지능 수준에 도달하기 전까지는 아직 발전 단계에 있다고 생각합니다."

그럼에도 불구하고 바이어스는 AI의 영향에 대해 우려하고 있으며 규제를 시작해야 한다는 데 동의합니다.

그는 또한 AI의 미래에 대한 결정을 기술 업계에만 맡겨서는 안 된다고 믿습니다.

그는 "기술을 중단할지 여부를 결정하는 것은 확실히 일론 머스크 개인만의 몫이 아니다"라고 말했습니다. "그는 한편으로는 사람들에게 잠시 멈춰야 한다고 말하고, 다른 한편으로는 다양한 AI 비즈니스에 대한 투자를 진행하고 있으며, 분명히 인공지능이 탑재된 자동차를 출시하고 있는데, 이는 다소 모순적인 태도입니다."라고 그는 말합니다.

그렇다면 산업계가 아니라면 누가 AI를 규제해야 할까요?

소비자들은 그 답을 명확히 알고 있습니다.

그는 "이러한 기술을 어떻게 조절할 것인지는 기업이 아니라 국가와 사회가 결정해야 합니다."라고 말했습니다. "시장의 힘만으로 이러한 기술을 출시해서는 안 됩니다."

2023년 5월 16일 워싱턴 DC 국회의사당에서 열린 상원 사법부 프라이버시, 기술 및 법률 소위원회 청문회 'AI 감시: 인공지능을 위한 규칙'에서 OpenAI CEO 샘 알트먼이 증언하고 있다. [Elizabeth Frantz/Reuters]

규제 당국의 입장은?

현재 각국 규제 당국은 빠른 변화의 속도를 고려할 때 구체적인 법안이 어떻게 마련되어야 하는지에 대해 많은 고민과 토론을 하고 있습니다.

중국은 새로운 발전이 있을 때마다 거의 맞춤형 규제를 선도하고 있습니다. 작년에 중국 사이버 스페이스 관리국은 이른바 '알고리즘 레지스트리'를 추진했고, 2023년 초에는 심층 합성 또는 '딥페이크' 기술에 대한 규정을 마련했습니다.

지난 4월, 중국은 '사회주의의 핵심 가치'에 부합하도록 생성형 AI 제품을 규제하고, 사고 발생 시 기술 기업이 책임을 지도록 하는 가장 포괄적인 새로운 규칙 초안을 발표했습니다. 그러나 전문가들은 이러한 규칙을 시행하기 어려울 수 있다고 말합니다.

한편 유럽연합은 이미 엄격한 개인 데이터 보호법을 기반으로 훨씬 더 광범위한 접근 방식을 취하고 있습니다. 제안된 인공 지능 법안은 인지된 위험에 따라 AI를 분류하여 기술을 '허용 가능한', '고위험이므로 규제해야 하는', '너무 위험하여 금지해야 하는' 세 가지 범주로 나누는 것을 목표로 합니다.

캐나다와 브라질은 EU와 비슷한 방향을 따르고 있는 것으로 보이며, AI 기술의 허용 가능한 사용을 규제하기 위해 노력하고 있습니다. 미국에서는 연방 정부의 움직임이 더 느린 것으로 보입니다. 그러나 일리노이, 콜로라도, 캘리포니아, 버지니아 등 미국의 개별 주에서는 안면 인식 및 생체 데이터 관리와 같은 특정 종류의 AI를 규제하는 데 앞장서고 있습니다.

전문가들은 전 세계가 AI에 대한 규제를 구축하려는 이러한 초기 시도를 지켜보며 어떤 접근 방식이 가장 효과적인지 확인할 것이라고 생각합니다. 이는 다른 국가들의 행보를 결정할 수도 있습니다.

벨링캣의 설립자 엘리엇 히긴스가 인공 지능을 사용해 만든 이미지에는 2023년 3월 23일 목요일 도널드 트럼프와 뉴욕시 경찰이 가상의 충돌을 벌이는 장면이 담겨 있습니다. 실제가 아닌 세밀하고 선정적인 이미지는 정교하고 널리 이용 가능한 이미지 생성기를 사용하여 제작되었습니다. [J David Ake/AP Photo]

AI를 넘어서는 인간으로부터의 위협

그러나 일부 분석가들은 진정한 위험은 AI 기술 자체가 아니라 이를 사용하는 사람과 회사, 그리고 그들이 사용하는 방식이라고 생각합니다.

AI 소프트웨어를 개발할 때 '인간 중심적' 접근 방식을 취하는 영국 소재 휴머니징 오토노미(Humanising Autonomy)의 성장 마케팅 매니저 레아 판디아는 지금 당장 기술 사용에 대한 경계선을 설정해야 한다고 말합니다.

"일부 생성형 AI를 포함하여 현재 주로 사용되고 있는 AI는 현재로서는 도구에 불과합니다. 하지만 정말 강력한 도구입니다. 점점 더 강력해지고 있습니다."라고 그녀는 알자지라에 말했습니다. "따라서 이를 사용하는 사람들은 그 선을 더 잘 통제해야 합니다."

그녀는 이제 "기업들이 이 기술을 어떻게 사용하고 있는지, 즉 얼마나 많은 자동화와 의사 결정의 상당 부분을 기계에 의존하고 있는지에 대해 우려해야 할 때"라고 말했습니다.

다른 전문가들도 현재의 AI 역량에 대한 견해는 다르지만 이러한 우려를 공유하고 있습니다.

버클리의 러셀은 알자지라와의 인터뷰에서 개인의 사적 이익은 더 큰 윤리적 지침보다 우선시되어야 한다고 말했습니다. 기술은 법률에 맞게 만들어져야지 그 반대가 되어서는 안 됩니다.

"제 생각에 규제 당국의 최우선 관심사는 개인과 사회를 보호하는 것이어야 합니다. AI 시스템 개발자가 안전성과 예측 가능성에 필요한 기준을 충족하지 못한다면 그것은 그들의 문제이지 우리의 문제가 아닙니다."라고 그는 말했습니다.

현재의 AI는 지각이 없지만 튜링 테스트를 통과했기 때문에 인간을 속여 다른 인간으로 착각할 수 있게 만들 수 있기 때문입니다.

몬트리올 대학의 벤지오 교수는 "AI가 없더라도 이미 트롤과 소셜 미디어, 이메일과 기타 수단을 통한 사이버 공격이 존재한다"라고 지적합니다. "하지만 트롤처럼 키보드 뒤에 있는 것은 인간이며, 트롤 군대의 규모는 그렇게 크지 않습니다."

반면에 "AI 기반 시스템은 엄청난 규모로 복제될 수 있습니다."라고 그는 말합니다. "저는 특히 민주주의를 불안정하게 만드는 것에 대해 우려하고 있습니다."

지난 3월 말, 탐사 저널리즘 그룹 벨링캣의 설립자 엘리엇 히긴스는 뉴욕에서 체포된 트럼프 전 미국 대통령이 바닥에 쓰러지는 모습을 담은 이미지를 공유했습니다. 히긴스가 재미로 만든 딥페이크 이미지였습니다. 하지만 이 이미지가 널리 퍼지면서 2021년 1월 6일 트럼프 지지자들의 미 국회의사당 폭동과 같은 폭력적인 공격이 이미 발생한 불안정한 정치 환경에서 수백만 명의 사람들을 오도할 수 있는 AI의 힘에 대한 우려가 제기되었습니다.

그리고 상황은 훨씬 더 악화될 수 있다고 전문가들은 경고합니다. 2016년 대선을 앞두고 소셜 미디어에서 미국 유권자 데이터를 수집한 컨설팅 회사 케임브리지 애널리티카(Cambridge Analytica)와 같은 스캔들이 AI로 인해 희한하게 보일 수도 있습니다.

벤지오에 따르면 대부분의 다른 산업 분야와 달리 대중은 일부 개인 정보 보호 관련 표준을 넘어서는 잠재적인 AI 피해로부터 거의 보호받지 못하고 있다고 합니다.

그는 "현재 우리가 가지고 있는 것보다 훨씬 더 많은 거버넌스 프레임워크를 마련해야 하는 시급함이 있지만, 이는 본질적으로 아무것도 아닙니다."라고 말했습니다.

시간과의 싸움입니다. 그리고 다른 모든 한계에도 불구하고 특히 한 가지, 즉 속도에 능한 기계 및 기술과의 경쟁이기도 합니다.

Could AI carry out coups next unless stopped now?