AI 개발을 중단하지 않으면 인류는 멸종할 것이다

오늘 발표된 공개 서한은 "모든 AI 연구실은 GPT-4보다 강력한 AI 시스템 교육을 최소 6개월 동안 즉시 중단할 것"을 요구합니다.

 

이 6개월 모라토리엄은 모라토리엄을 하지 않는 것보다 나을 것입니다. 발걸음을 옮겨 서명한 모든 사람을 존경합니다. 마진 개선입니다.

 

나는 그 편지가 상황의 심각성을 과소평가하고 그것을 해결하기에는 너무 적은 것을 요구하는 것이라고 생각해서 서명을 자제했습니다.

 

자세히 보기: AI Labs, 공개 서한에서 제동을 걸도록 촉구

 

핵심 쟁점은 (공개 서한에서 표현한 것처럼) "인간과 경쟁하는" 지능이 아닙니다. AI가 인간보다 지능이 높아진 후에 일어나는 일입니다. 핵심 임계값이 명확하지 않을 수 있으며, 언제 어떤 일이 발생하는지 미리 계산할 수 없으며, 현재로서는 연구실이 인지하지 못한 채 임계선을 넘을 수 있다고 상상할 수 있습니다.

 

저를 포함하여 이러한 문제 에 몰두한 많은 연구자들은 현재 상황과 같은 원격 상황에서 초인간적으로 똑똑한 AI를 구축할 가능성이 가장 높은 결과는 말 그대로 지구상의 모든 사람이 죽을 것이라고 예상합니다 . "어쩌면 가능성이 희박한 기회"가 아니라 "당연한 일이 일어날 것입니다." 원칙적으로 당신보다 훨씬 더 똑똑한 것을 만들어서 살아남을 수 없다는 것이 아닙니다. 그것은 정확성과 준비, 새로운 과학적 통찰력이 필요하고 아마도 거대한 분수 배열로 구성된 AI 시스템이 없을 것입니다.

 

TIME에서 더 보기

그러한 정확성과 준비 없이는 가장 가능성 있는 결과는 우리가 원하는 것을 하지 않고 우리나 일반적으로 지각 있는 삶을 돌보지 않는 AI입니다. 그러한 종류의 배려는 원칙적으로 AI에 스며들 수 있는 것이지만 우리는 아직 준비가 되어 있지 않으며 현재 방법을 모릅니다 .

 

그러한 관심이 없으면 "AI는 당신을 사랑하지도, 미워하지도 않으며, 당신은 다른 용도로 사용할 수 있는 원자로 구성되어 있습니다."

 

인류가 반대되는 초인적 지능에 직면한 결과는 완전한 손실입니다. 유효한 은유로는 "Stockfish 15와 체스를 두려는 10세 소년", "21세기와 싸우려는 11세기", " 호모 사피엔스와 싸우려는 오스트랄로 피테쿠스 "가 있습니다.

 

적대적인 초인간 AI를 시각화하기 위해 생명이 없는 책에 능한 사상가가 인터넷 안에 살면서 악의적인 이메일을 보내는 것을 상상하지 마십시오. 인간의 수백만 배의 속도로 생각하는 전체 외계 문명을 시각화하십시오. 처음에는 컴퓨터에 국한되어 있습니다. 그 관점에서 볼 때 매우 어리석고 매우 느린 생물의 세계에서 말입니다. 충분히 지능적인 AI는 오랫동안 컴퓨터에 갇혀 있지 않습니다. 오늘날의 세계에서는 필요에 따라 단백질을 생산할 실험실에 DNA 문자열을 이메일로 보낼 수 있습니다. 이를 통해 처음에는 인터넷에 국한된 AI가 인공 생명체를 만들거나 사후 생물학적 분자 제조로 곧바로 부트스트랩할 수 있습니다.

 

누군가가 너무 강력한 인공지능을 만든다면, 현 상황에서 나는 인류의 모든 구성원과 지구상의 모든 생물학적 생명체가 그 직후에 죽을 것이라고 예상합니다.

 

우리가 어떻게 그런 일을 하고 살아남을 수 있는지에 대한 제안된 계획이 없습니다 . OpenAI의 공개적으로 선언된 의도는 미래의 일부 AI가 우리의 AI 정렬 숙제를 하도록 만드는 것입니다. 이것이 계획이라는 말을 듣는 것만으로도 분별 있는 사람이라면 당황하기 충분할 것입니다. 다른 주요 AI 연구실인 DeepMind는 계획이 전혀 없습니다.

 

여담: 이 위험 중 어느 것도 AI가 의식이 있는지 여부에 달려 있지 않습니다. 그것은 하드를 최적화하고 충분히 복잡한 결과 기준을 충족하는 결과를 계산하는 강력한 인지 시스템의 개념에 내재되어 있습니다. 그런 말로, AI 시스템이 자신을 인식하는지 여부를 판단하는 방법을 우리가 모른다는 점을 언급하지 않았다면 인간으로서의 도덕적 의무를 태만히 한 것입니다. 따라서 우리는 어느 시점에서 진정으로 의식이 있고 권리를 가져야 하며 소유해서는 안 되는 디지털 마음을 실수로 만들 수 있습니다.

 

이러한 문제를 알고 있는 대부분의 사람들이 50년 전에 승인했을 규칙은 AI 시스템이 유창하게 말할 수 있고 자기 인식이 있으며 인권을 요구한다고 말하면 AI를 아무렇게나 소유하는 사람들을 강력히 저지해야 한다는 것입니다. 그 시점을 지나서 사용합니다. 우리는 이미 모래 위의 그 오래된 선을 넘어섰습니다. 그리고 그것은 아마도 정확 했을 것입니다 . 나는 현재 AI가 훈련 데이터에서 자기 인식에 대한 이야기를 모방하고 있다는 데 동의합니다 . 그러나 나는 우리가 이러한 시스템의 내부에 대한 통찰력이 거의 없기 때문에 실제로 알지 못한다는 점을 지적합니다.

 

그것이 GPT-4에 대한 우리의 무지 상태이고 GPT-5가 GPT-3에서 GPT-4로의 동일한 크기의 거대한 기능 단계라면 더 이상 "아마도 자체적으로 사람들이 GPT-5를 만들도록 허용하면 인식합니다. 그냥 “모르겠어요. 아무도 몰라.” 자기 인식 AI를 만들고 있는지 확신할 수 없다면 이는 "자기 인식" 부분의 도덕적 의미 때문만이 아니라 확신이 없다는 것은 자신이 무엇을 하고 있는지 전혀 모른다는 것을 의미하기 때문입니다. 그리고 그것은 위험하므로 중지해야 합니다.

 

2월 7일, 마이크로소프트의 CEO인 사티아 나델라는 공개적으로 새로운 빙이 구글을 “나와서 그들이 춤출 수 있다는 것을 보여주게” 만들 것이라고 칭찬했습니다. "나는 사람들이 우리가 그들을 춤추게 만들었다는 것을 알기를 원한다"고 그는 말했다.

 

이것은 정상적인 세상에서 Microsoft의 CEO가 말하는 방식이 아닙니다. 그것은 우리가 이 문제를 얼마나 심각하게 받아들이고 있는지와 30년 전에 시작된 문제를 얼마나 심각하게 받아들여야 했는지 사이에 압도적인 간극이 있음을 보여줍니다.

 

우리는 6개월 안에 그 격차를 좁히지 않을 것입니다.

 

인공 지능이라는 개념이 처음 제안되고 연구된 후 오늘날의 역량에 도달하기까지 60년 이상이 걸렸습니다. 초인적 지능의 안전 문제 (완벽한 안전이 아니라 "문자 그대로 모든 사람을 죽이지 않는다"는 의미의 안전)를 해결하는 데는 그 시간의 절반 이상이 매우 합리적으로 소요될 수 있습니다. 그리고 초인적인 지능으로 이것을 시도하는 것에 대한 점은 첫 번째 시도에서 그것을 틀리면 실수로부터 배울 수 없다는 것입니다. 왜냐하면 당신은 죽었기 때문입니다. 인류는 실수로부터 배우지 않고 먼지를 털고 다시 시도하지 않습니다. 역사상 우리가 극복한 다른 도전에서처럼요. 왜냐하면 우리는 모두 사라졌기 때문입니다.

 

첫 번째 정말 중요한 시도에서 무엇이든 제대로 하려고 노력하는 것은 과학과 공학에서 특별한 요구입니다. 우리는 성공적으로 수행하는 데 필요한 접근 방식과 같은 것을 제시하지 않습니다. 인공 일반 지능의 초기 분야에서 수천 대의 자동차를 운반할 수 있는 다리에 적용되는 보다 낮은 수준의 엔지니어링 엄격함을 유지한다면 전체 분야가 내일 폐쇄될 것입니다.

 

우리는 준비되지 않았습니다. 우리는 합당한 시간대에 대비할 수 있는 과정에 있지 않습니다. 계획이 없습니다. AI 기능의 발전은 AI 정렬의 발전이나 시스템 내부에서 도대체 무슨 일이 일어나고 있는지 이해하는 것보다 훨씬 앞서 진행되고 있습니다. 정말 이러면 다 죽는다.

 

자세히 보기: 새로운 AI 기반 Bing이 사용자를 위협하고 있습니다. 웃을 일이 아니야

 

이러한 시스템을 연구하는 많은 연구자들은 우리가 대재앙을 향해 급락하고 있다고 생각하며, 그들 중 더 많은 사람들이 공개적으로보다는 사적으로 말할 수 있습니다. 하지만 일방적으로 급락을 막을 수는 없고, 남들은 개인적으로 직장을 그만두더라도 계속할 것이라고 생각한다. 그래서 그들은 모두 계속 나아가는 것이 나을 것이라고 생각합니다. 이것은 어리석은 상황이며 지구가 죽는 존엄하지 않은 방법이며 나머지 인류는 이 시점에 개입하여 업계가 집단 행동 문제를 해결하도록 도와야 합니다.

 

내 친구 중 일부는 최근 AI 업계 외부의 사람들이 인공 일반 지능의 멸종 위험에 대해 처음 들었을 때 그들의 반응이 "아마도 AGI를 구축하지 말아야 할 것"이라고 제게 보고했습니다.

 

지난 20년 동안 업계의 누군가가 일을 진지하게 받아들이도록 노력하면서 들었던 것보다 더 단순하고, 더 분별 있고, 솔직히 건전한 반응이기 때문입니다. 건전하게 말하는 사람은 상황이 실제로 얼마나 나쁜지 들을 자격이 있으며 6개월의 모라토리엄이 그것을 고칠 것이라는 말을 듣지 않을 것입니다.

 

3월 16일에 제 파트너가 저에게 이 이메일을 보냈습니다. (나중에 그녀는 나에게 그것을 여기에서 발췌하도록 허락했습니다.)

 

“니나는 이가 빠졌어요! 아이들이 하는 일반적인 방법으로, 부주의해서가 아닙니다! Nina가 어린 시절의 이정표를 달성한 날 GPT4가 이러한 표준화된 테스트를 날려 버리는 것을 보고 감정이 북받쳐올라 순간 정신을 잃었습니다. 모든 것이 너무 빨리 진행되고 있습니다. 이 이야기를 나누면 당신의 슬픔이 더 커질까 봐 걱정되지만, 우리 각자가 혼자 고통을 겪느니 차라리 당신에게 알려졌으면 합니다.”

 

내부자 대화가 당신의 딸이 첫 이를 잃는 것을 보고 그녀가 성장할 기회를 얻지 못할 것이라고 생각하는 슬픔에 관한 것일 때, 나는 우리가 6개월의 유예에 대한 정치적 체스를 두는 시점을 지났다고 생각합니다.

 

지구가 생존할 계획이 있다면, 우리가 6개월간의 모라토리엄을 통과하기만 한다면 나는 그 계획을 지지할 것입니다. 그런 계획은 없습니다.

 

실제로 수행해야 할 작업은 다음과 같습니다.

 

새로운 대규모 교육 실행에 대한 모라토리엄은 무기한으로 전 세계적으로 적용되어야 합니다. 정부나 군대를 포함하여 예외가 있을 수 없습니다. 정책이 미국에서 시작되면 중국은 미국이 이익을 추구하는 것이 아니라 진정한 소유자를 가질 수 없고 미국과 중국, 지구상의 모든 사람을 죽일 수 있는 끔찍하게 위험한 기술을 막으려 한다는 것을 알아야 합니다. . 법을 작성할 수 있는 무한한 자유가 있다면 AI가 생물학과 생명공학의 문제를 해결하기 위해 훈련되고 인터넷의 텍스트에 대해 훈련되지 않고 말하거나 계획을 시작하는 수준이 아닌 AI에 대한 단 하나의 예외를 개척할 수 있습니다. 그러나 그것이 문제를 원격으로 복잡하게 만든다면 나는 즉시 그 제안을 버리고 모든 것을 종료하라고 말할 것입니다.

 

모든 대형 GPU 클러스터(가장 강력한 AI가 정제되는 대규모 컴퓨터 팜)를 종료합니다. 대규모 교육 실행을 모두 종료합니다. 누구나 AI 시스템 교육에 사용할 수 있는 컴퓨팅 성능의 상한선을 설정하고 보다 효율적인 교육 알고리즘을 보완하기 위해 향후 몇 년 동안 하향 조정합니다. 정부와 군대도 예외는 아닙니다. 금지된 활동이 다른 곳으로 이동하는 것을 방지하기 위해 즉각적인 다국적 계약을 체결하십시오. 판매된 모든 GPU를 추적합니다. 첩보에서 협정 밖의 국가가 GPU 클러스터를 구축하고 있다고 한다면 모라토리엄을 위반하는 것보다 국가 간 총격전이 두렵지 않아야 합니다. 공습으로 악성 데이터 센터를 기꺼이 파괴하십시오.

 

아무 것도 국가 이익 간의 충돌로 간주하지 말고 군비 경쟁에 대해 말하는 사람은 바보라는 점을 분명히 하십시오. 여기서 우리 모두가 하나로 살거나 죽는다는 것은 정책이 아니라 자연의 사실입니다. 국제 외교에서 AI 멸종 시나리오를 방지하는 것이 완전한 핵 교환을 방지하는 것보다 우선 순위로 간주되며 동맹 핵 국가는 대규모 AI 훈련 실행의 위험을 줄이기 위해 필요한 경우 핵 교환의 위험을 감수할 용의가 있음을 분명히 합니다. .

 

그것은 내 파트너와 내가 서로를 붙들고 기적이 일어났고 이제 니나가 살 가능성이 있다고 서로에게 말하게 만드는 일종의 정책 변화입니다. 제정신인 사람들은 처음으로 이것에 대해 듣고 분별력 있게 "우리는 하지 말아야 할 것 같다"고 말할 자격이 있습니다. 그리고 당신의 정책 요구가 그렇게 클 때 통과할 수 있는 유일한 방법은 정책 입안자들이 평소처럼 사업을 수행하고 정치적으로 쉬운 일을 하면 그들 자신의 자녀도 죽을 것이라는 것을 깨닫는 것입니다.

 

모두 종료하십시오.

 

우리는 준비되지 않았습니다. 우리는 가까운 미래에 훨씬 더 준비가 되어 있지 않습니다. 만약 우리가 이 일을 계속한다면 이것을 선택하지 않았고 아무 잘못도 하지 않은 아이들을 포함하여 모든 사람이 죽을 것입니다.

 

종료하십시오.

 

 

 

 

 

3줄 요약

 

1. AI는 현재 인간이 통제 가능한 범주를 넘어섰으며, AI가 발달하는 속도를 인간이 따라갈 수 없어 앞으로의 예측이 전혀 불가능하다

2. AI 자체는 인류에게 위협을 가하려는 의도가 없지만, AI는 악의 없이 인류를 멸종시킬 수도 있다

3. 무모한 발전을 중단하고, 전세계가 이에 협의해야 한다

 

그런데 EU랑 미국이 협약을 한다고 하더라도 중국이나 러시아가 거기에 동의할지는 모를 일이라 문제네...

 

 

 

The Open Letter on AI Doesn't Go Far Enough