AI 2040: Plan A — The Deal

왜 시나리오로 썼을까요? 저자들의 방법론은 "시나리오 정밀 검토(scenario scrutiny)"입니다. 어떤 정책이든 그것이 성공하는 구체적이고 그럴듯한 시나리오를 적어 보면 약점이 드러난다는 것 — 그래서 남의 정책을 비판하기 전에 자신들의 제안부터 그 검증대에 올렸습니다.

배경이 되는 진단은 무겁습니다. 업계는 "통제 문제는 진행하면서 풀겠다"고 말하지만 적절한 계획이 없고, 저자들 내부의 AI발 인류 절멸 확률 추정은 10~30%입니다. 경쟁에서 이긴 쪽이 얻는 것도 결국 소수 혹은 한 명이 초지능 군단을 통제하는 세계 — 그들이 보기에 이것은 이기는 게임이 아닙니다.

원문은 2029년 분기점에서 미국이 택할 수 있는 다섯 갈래를 대조합니다. 저자들이 A를 미는 이유는 나머지 넷의 결말이 마음에 들지 않아서입니다.

이것은 예측이 아니라 권고입니다. 저자들 스스로 "Plan A의 실행은 우리가 실제로 벌어질 것이라 예상하는 바가 아니다"라고 못 박습니다. 실제로 대표 저자 대니얼 코코타일로는 현실이 이 시나리오보다 다소 빠르게 갈 것으로 봅니다.

그래서 이 문서의 가치는 "2029년에 미·중이 정말 합의할까"가 아니라, 좋은 결말이 존재하려면 무엇이 필요한지를 구체적으로 그려 봤다는 것에 있습니다. 투명성, 검증, 억지력, 감속 — 각 조각이 왜 필요한지는 완역본의 연도별 서사와 각주에서 훨씬 설득력 있게 전개됩니다.

AI 기업들은 모든 면에서 인간보다 똑똑한 AI를 만들기 위해 경쟁하고 있습니다. AI 2027에서 우리는 이것이 절멸이나 되돌릴 수 없는 권력 집중 중 하나로 귀결될 것이라고 예측했습니다.¹

플랜 A는 그 대신 무엇이 일어나야 하는가에 대한 우리의 긍정적 비전입니다.

이 시나리오에서 인류는 초지능 개발을 2040년까지 늦추고, 모든 AI 연구를 공개하며, 전 세계 수십 개 기업이 프론티어를 따라잡도록 허용하고, 의도적으로 상호확증 컴퓨트 파괴 체제에 들어섭니다.

플랜 A란 무엇인가?

플랜 A는 인류가 AI가 초래하는 실존적 재앙을 피하고 번영하는 미래에 도달할 수 있는 방법에 대한 우리의 긍정적 비전입니다. 이 비전은 미국 주요 프론티어 AI 기업 전문가들과의 대화, OpenAI에서의 직접 경험, 도상 훈련, 그리고 정책 입안자·국가안보 전문가·AI 정책 리더들과의 논의를 바탕으로 합니다. 우리는 초지능을 향한 위험한 경쟁을 피하기 위한 국제적 합의를 권고합니다. 이 합의에는 AI 연구개발에 대한 완전한 연구 투명성이 포함되며, 이를 통해 세계 각국은 무슨 일이 벌어지고 있는지 이해하고 가드레일을 강제할 수 있습니다. 그 결과, 여러 나라의 여러 기업이 은밀하게 서로 경쟁하는 대신 함께 천천히 그리고 안전하게 초지능을 향해 스케일링하게 됩니다.

플랜 A는 무엇보다 권고이지 예측이 아닙니다. 이 시나리오는 미래가 실제로 어떤 모습일지에 대한 우리의 최선의 추측이 아닙니다. 오히려 우리의 정책 권고를 전달하고 스트레스 테스트하기 위한 수단입니다. 플랜 A의 실행은 권고이며 우리가 실제로 벌어질 것이라 예상하는 바가 아니지만, 뒤이어 묘사되는 효과는 예측입니다.²

이 AI 2040 시나리오에서 플랜 A는 성공적으로 실행됩니다 — 비록 불완전하게, 그리고 아슬아슬하게 마지막 순간에서이긴 하지만 말입니다.

우리는 플랜 A를 네 가지 대안적 플랜(B, C, D, S)과 대조하는데, 이들은 미국이 초지능의 도전에 대응할(또는 대응하지 않을) 주요 방식에 상응합니다.³

우리는 왜 이 글을 썼는가?

AI 기업들은 앞으로 1년에서 10년 안에 인간보다 똑똑한 AI 시스템을 만든다는 자신들의 공언한 목표를 아마도 달성할 것입니다.

업계는 초지능 AI를 통제하는 방법을 그때그때 알아낼 수 있다고 스스로를 설득해 왔고, 그래서 조금이라도 적절하다 할 만한 계획을 전혀 갖고 있지 않습니다. 우리는 이 상황이 끔찍하며 우리 모두를 쉽게 죽음으로 몰아넣을 수 있다고 봅니다.⁴ 우리는 "경쟁에서 승리하는" 쪽이 큰 격차를 두고 앞서리라 기대하지 않으며, 그들이 실존 위험을 줄이기 위해 일방적으로 속도를 늦추리라고도 기대하지 않습니다.⁵ 이 경쟁이 계속된다면,⁶ 우리는 AI가 초지능이 되어감에 따라 인간이 실효적 통제를 유지하리라 기대하지 않습니다.⁷

더구나 설령 AI 기업들이 어떻게든 자신들의 AI를 정렬한다 하더라도, 그 결과는 전례 없는 권력 집중이 될 것입니다 — 즉 그 결과는, 소수의 사람들, 혹은 어쩌면 단 한 명의 개인이 세계 유일의 초지능 군대를 몇 달 동안 사실상 통제하게 되고, 그 초지능들로부터 앞으로 어떻게 나아갈지에 대한 여러 선택지를 제시받는 상황이 될 것이며, 그 선택지 중 일부는 사실상 세계를 장악하는 것에 해당할 것입니다.⁸

우리가 최대한 추측하기로는, OpenAI, Anthropic, xAI, Google DeepMind의 CEO들은 이 점을 이해하면서도 어쨌든 밀고 나아가고 있으며, 어쩌면 자신들이 덜한 악이고 시진핑이나 경쟁 CEO들과 달리 자신들의 막대한 권력을 책임감 있게 사용할 것이라 생각하기 때문일 것입니다.⁹

우리는 대체로 덜한 악을 택하는 것이 옳다는 데에는 동의하지만, 인류 절멸이나 전 지구적 독재로 이어질 확률이 그토록 무섭게 높은 전략을 옹호해서는 안 된다고 봅니다. 그 대신, 우리는 실제로 좋은 무언가를 옹호하고 싶습니다. 충분히 많은 사람이 그렇게 한다면, 그것은 실현될 수 있습니다.

그래서 우리는 그 가능한 세계를 그려 보이는 시나리오를 썼습니다.

왜 시나리오인가?

"계획은 무가치하지만, 계획을 세우는 일은 전부입니다." - 드와이트 D. 아이젠하워

우리는 대부분의 AI 정책 제안이 시나리오 정밀 검토(scenario scrutiny) 앞에서 무너진다고 봅니다 — 즉, 그 제안이 성공하는 상세하고 그럴듯한 시나리오를 적어 보려 하면, 그것이 어렵다는 것을 알게 되고, 그 계획이 보였던 것보다 성공할 가능성이 낮거나 지지자들이 인정한 것보다 더 불쾌한 부작용을 안고 있음을 깨닫게 됩니다.

어쩌면 그것이 AI 정책에서 시나리오 정밀 검토가 그토록 드문 이유일 것입니다. 누구나 자기가 아끼는 정책은 훌륭한 결과를 낳고 경쟁자의 정책은 끔찍한 결과를 낳을 것이라 말하고 싶어 합니다. 자기가 아끼는 정책에 시나리오 정밀 검토를 적용하면 불편한 문제들이 드러날 수 있고, 반면 경쟁자의 정책에 시나리오 정밀 검토를 적용하는 것은 수사적 이득은 적으면서 품은 많이 드는 일입니다.¹⁰

우리는 더 많은 AI 정책 제안이 시나리오 정밀 검토를 거친다면 담론이 개선되리라 봅니다. 그래서 우리는, 비록 이것이 우리 자신을 비판에 노출시킨다 하더라도, 우리 자신의 제안부터 시작합니다. 우리는 비평가들이 우리를, AI 전환을 헤쳐 나가기 위한 기존의 최첨단 계획(그런 것을 찾을 수 있다면)과 견주어 평가하기를 바라며, 아직 아무도 어려운 선택을 할 필요가 없으면서도 모든 것이 대체로 괜찮으리라는 흐릿하지만 기분 좋은 환상과 견주지 않기를 바랍니다.

초인적 AI에 다가서는 세계에서 우리의 정책이 어떤 효과를 낳을지 예측하는 그 엄청난 어려움은 어떻게 할 것인가? 이것은 3차 세계대전을 어떻게 가장 잘 치를지 예측하려는 것과 비슷하되, 과거 사례 연구로부터의 이탈이 그보다 훨씬 더 큽니다. 그럼에도 이를 시도하는 것은 여전히 가치가 있으며, 이는 미군이 대만 시나리오를 지독히 상세하게 모의 검토하는 것이 가치 있는 것과 마찬가지입니다. 다른 선례들도 있습니다. 정보기관, 기후 관련 기구, 팬데믹 대비 부서는 모두 다양한 종류의 시나리오 기획에 의존합니다.

AI 타임라인은?

플랜 A는 무엇을 해야 하는가에 대한 우리의 야심 찬 제안이며, 얼마나 많은 시간이 남아 있는지 확신하지 못하기에 우리는 이와 비슷한 무언가가 곧 실행되기를 바랍니다.¹¹ 하지만 구체적인 시나리오를 쓰기 위해서는 구체적인 타임라인이 필요합니다.

이 시나리오의 타임라인은 다음과 같습니다.

• 2029년, 미국과 중국은 초지능을 향한 무모한 경쟁을 피하기로 합의합니다.
• 2030년, 우리는 AI 연구개발을 완전히 자동화했을 것이며, 이는 그해 말까지 초지능으로 이어집니다. 합의 덕분에, 우리는 이를 피합니다.
• 2030년과 2035년 사이, 우리는 인간의 범위 안에서, 최고 수준의 인간 전문가와 대략 같은 역량을 지닌 AI까지 스케일링합니다.
• 2035년, 우리는 인간의 통제를 유지하기 위해 최고 수준 인간 전문가 급의 AI에서 일시 정지합니다.
• 2040년, 우리는 일시 정지를 해제하고 초지능까지 스케일링합니다.¹² (그래서 제목이 AI 2040입니다)

우리의 이전 시나리오인 AI 2027에서는 AI가 2027년에 더 똑똑한 AI를 만드는 과정을 완전히 자동화하여, 그해 안에 지능 폭발과 초지능으로 이어졌습니다. 이 시나리오의 두 가지 차이는 (1) 이제 기본 타임라인이 2030년이라는 것, 그리고 (2) 거버넌스 조치 덕분에 전반적으로 초인적인 AI가 2040년에 처음 등장한다는 것입니다.

우리가 기본 타임라인을 바꾼 것은, 우리의 시나리오 포트폴리오가 AI 타임라인에 대한 우리의 불확실성을 반영하기를 바라기 때문입니다. AI 2027의 표제 연도가 그렇게 선택된 것은, 우리가 집필을 시작하던 시점에 대니얼이 상황이 그 정도로 빠르거나 더 빠르게 진행될 확률이 대략 50%라고 생각했기 때문입니다.¹³ 우리가 플랜 A를 쓰기 시작하던 시점에 토머스에게는 2030년이 그에 상응하는 연도였습니다. 대니얼은 현재 상황이 이 시나리오에 묘사된 것보다 다소 더 빠르게 진행될 것이라고 봅니다. 타임라인에 대한 우리 팀의 견해는 여기와 여기에서 더 읽어 볼 수 있습니다.

우리가 거버넌스 조치를 바꾼 것은 이 시나리오가 무엇보다 예측이 아니라 권고이기 때문입니다. 전속력의 지능 폭발을 감행하는 것은 터무니없이 무모하며 권력을 극단적으로 집중시킵니다.

이제 미국에는 노동력이 둘 있습니다. 첫 번째는 사람으로, 1억 6,500만 명입니다. 두 번째는 AI 에이전트입니다. 매시간 수백만 개의 복제본이 켜졌다 꺼지며, 초인적인 속도로 24시간 내내 일합니다.

이들이 하는 일의 대부분은 쓸모없는 결과물입니다. 하지만 그중 충분한 양이 쓸 만하기에, 사람들은 이론상으로는 직원이 컴퓨터로 할 수 있는 무엇이든 해내는 AI에 매달 100억 달러를 지불하고 있습니다.

AI 기업들이 그 무엇보다도 자동화하고 싶어 하는 일자리가 하나 있습니다. 바로 자기 자신의 일입니다. 아직 성공하지는 못했습니다. 지금까지 재귀적 자기 개선은 없었습니다.¹⁴ 하지만 점점 가까워지는 듯 보이며, 이들은 뒤따라오는 사다리를 걷어차고 있습니다. 가장 강력한 코딩 AI들은 경쟁사의 AI R&D를 돕기를 거부합니다.¹⁵ 가장 낙관적인 직원들조차 계획보다 시간이 조금 더 걸리고 있음을 인정하는 가운데, 회의론자들은 자신들이 늘 하던 무시가 공허하게 울리기 시작했음을 알아차립니다. 대체 왜 AI가 내 일은 절대 못 한다는 걸까요? 그 장벽이 정확히 뭐였죠?

미 의회가 더 주목하기 시작합니다. 이들은 오래전부터 AI에 관한 이야기를 들어 왔습니다. 물을 너무 많이 쓰는 데이터센터,¹⁶ 자살을 부추기는 챗봇, NSA 시스템을 해킹한 Mythos — 그리고 물론, 규제의 낌새가 조금이라도 보이면 미국이 즉시 중국과의 경쟁에서 지고 남은 역사 내내 중국 공산당의 조공국 신세가 될 거라고 경고하는 테크 업계 로비스트들까지.¹⁷

이제 이들은 한발 물러서서 묻습니다. 이 흐름은 우리를 어디로 데려가는가? 5년, 10년, 15년 뒤 세계는 어떤 모습인가? 그때도 일자리가 남아 있을까? 없다면 어떻게 되는가?

한 가지 질문이 특히 무겁게 이들의 머릿속을 짓누릅니다. 이 모든 AI를 누가 통제할 것인가?

의회는 그 답의 중요한 한 대목에 이릅니다. 아마 우리는 아닐 것이다.¹⁸

이들은 AI를 두고 일련의 긴장된 청문회를 엽니다. 2016년 OpenAI 이메일도 읽습니다. 데미스 허사비스가 독재자가 되는 것을 막기 위해 OpenAI가 설립되었다는 논의가 담긴 이메일입니다.¹⁹ 그런데 샘이나 일론이 독재자가 되는 것은 누가 막고 있습니까? 의회는 기존의 답변들에 만족하지 못합니다.

이 각성의 결과물이 2027년 AI 투명성법입니다. 좋은 것도 나쁜 것도 섞인 여러 조치를 담은 옴니버스 법안이지만, 상황을 근본적으로 바꾸지는 못합니다.²⁰

2028년 선거 국면은 여느 때처럼 뜨겁습니다. AI가 가장 큰 화두입니다. 지금 건설 중인 데이터센터들은 미국 전체 국방 예산의 두 배에 달하는 비용이 듭니다.²³

대부분의 화이트칼라 직종은 2026년 소프트웨어 엔지니어링이 겪은 것과 같은 격변을 맞고 있습니다. 이제 그런 일은 상당 부분 AI 에이전트를 관리하는 업무로 바뀌었습니다. AI 기업들은 훈련 과정을 산업화했습니다. 경영진이 "올해는 [특정 직종]으로 진입하자"라고 말하면, 회사는 해당 직종 전문가를 인터뷰하고 데이터를 사들이며 훈련 환경을 만드는 식으로, 자사 AI가 자리를 잡을 때까지 밀어붙입니다. 그다음 그 AI는 현장에서 더 널리 쓰이며 더 많은 실세계 데이터를 축적하는 사이에 빠르게 개선됩니다.

다른 나라들은 두려움과 분노를 느끼기 시작합니다. 소수의 미국·중국 기업이 모든 화이트칼라 일자리를 자동화하는 궤도에 올라선 것처럼 보입니다. 권력은 미국으로, 특히 대통령과 소수의 테크 CEO에게로 집중되고 있습니다.

AI 전문가들은 지능 폭발이 임박했다고 경고합니다. AI 연구를 가속하면 AI는 더 유능해지고, 그러면 연구가 더 빨라지며, 그 결과 AI가 더욱 유능해지고, 이런 순환이 이어집니다. 이 과정이 얼마나 빨리 진행되고 어디서 끝날지를 좌우하는 병목과 하드웨어 한계에 관한 복잡한 동역학이 존재하지만, 이 과정은 매우 빠르게 진행되어 아주 멀리 떨어진 어딘가에서 끝날 수도 있어 보입니다.

기본 경로대로 간다면, 다음 대통령 임기 중에는 인간 수준을 한참 뛰어넘는 AI가 등장하게 됩니다. 그 AI는 전적으로 다른 AI가 만든 것이고, 그 AI 또한 전적으로 또 다른 AI가 만든 것이며, 여러 세대를 거슬러 올라가도 그 과정 어디에도 인간이 개입하지 않습니다. 그런 AI가 순종적일까요, 정렬되어 있을까요? 왜 그럴까요? 그렇다면 누가 그 AI를 통제할까요? 이 모든 것이 대체 어떻게 잘 끝난다는 걸까요?

인류를 이 경로에 올려놓은 장본인인 AI 기업들은 이를 받아들일 만하다고 여깁니다. 하지만 대다수 사람들은 그렇지 않습니다. 자신의 유산을 생각하는 것은 접어두더라도, 대통령은 자신이 퇴임한 뒤 세상이 뒤바뀌면 자신에게 무슨 일이 벌어질지 고민하기 시작합니다.²⁴ 두 대통령 후보 모두 AI에 대해 무엇을 할 것이냐는 질문을 끊임없이 받으며, 선거 유세 현장에서 점점 더 극적인 구상들을 시험해 봅니다. 논의는 아래에 제시된 모든 선택지, 그리고 그 이상을 오가며 이리저리 튑니다.

결국 대통령과 그의 후계자는 하나의 계획으로 수렴하고, 상대 후보는 또 다른 계획으로 수렴합니다. 그리고 선거일이 옵니다.

“신뢰하되, 검증하라” – 로널드 레이건

대통령은 임박한 지능 폭발을 피하기 위해 미국이 국제 협력을 추진하겠다고 발표합니다.

“초지능을 향한 이 광기 어린 경주는 끝나야 합니다. 너무 오랫동안 우리는 차악과 최소 악의 해법만을 좇아 왔습니다. 우리에게는 플랜 A가 필요합니다. 우리는 여전히 AI 개발을 진행할 수 있습니다. 다만 더 신중하게, 더 투명하게, 그리고 훨씬 더 많은 나라와 기업을 참여시켜 진행해야 합니다.”

워싱턴의 많은 이들이 놀랍게도, 중국은 수용적인 태도를 보입니다. 그들 역시 태평양 건너편에서 같은 문제들—사회 불안정, 일자리 상실, 통제를 벗어난 초지능—을 놓고 논쟁해 오던 참이었습니다. 그들은 “중국의 세기”를 고대하고 있었고, AI가 그 계획을 어그러뜨릴지도 모른다고 생각했습니다. 그리고 협상 테이블에 나올 이유가 하나 더 있었습니다. 미국은 여전히 더 많은 컴퓨트, 더 많은 데이터센터, 더 나은 모델을 보유하고 있었기 때문입니다. 그들은 미국이 초지능에 먼저 도달할 경우 자신들에게 무슨 짓을 할지 우려하고 있었습니다.⁴⁸

미국과 중국은 서로를 신뢰하지 않습니다. 다행히 그럴 필요는 없습니다. 플랜 A에는 준수 여부를 검증하기 위한 조항이 담겨 있기 때문입니다. 하지만 이를 구축하는 데는 시간이 걸릴 것입니다.

그래서 당장은 조악한 것부터 시작합니다. 2029년 남은 기간 동안, 그들은 AI 훈련을 일시적으로 중단합니다. 이는 검증하기가 비교적 쉽기 때문입니다. 2030년이 되면, 플랜 A를 진행할 인프라가 갖춰져 있을 것입니다.

주식 시장은 지금 취해지고 있는 중대한 조치들에 관한 뉴스와 논평에 반응하며 위아래로 요동칩니다. 모두가 이것이 너무 나갔다거나 아니면 충분히 나가지 못했다며 목소리를 높입니다. 시장은 연말이면 진정되겠지만, 고성은 계속될 것입니다.⁴⁹

1단계: 컴퓨트 신고

어느 나라도 상대편이 훈련을 멈추는 것을 확인하지 못하는 한 자국의 AI 훈련을 멈추려 하지 않습니다.

다행히, AI를 훈련하려면 대량의 AI 칩이 필요합니다. 대부분의 AI 칩은 거대한 데이터센터에 있습니다.⁵⁰ AI 데이터센터는 대개 우주에서도 보일 만큼 크고, 눈에 띄는 인프라를 요구할 만큼 전력을 많이 잡아먹습니다. 새로운 AI 칩은 소수의 제조 공장(팹)에서만 생산할 수 있는데, 이들은 대부분 대만, 한국, 미국, 중국에 있습니다.

미국과 중국은 칩 공급망에서 주요한 역할을 하는 나라들과 협상하고, 각 주요 데이터센터 소유자(그리고 칩 팹을 포함한 그들의 상류 공급업체)가 자신들의 주요 구매와 판매를 공개적으로 신고하도록 요구합니다.⁵¹ 여러 나라와 기관의 분석가들이 그 목록을 샅샅이 살피고, 질문하고, 이상 징후에 이의를 제기할 수 있습니다. 경쟁 강대국들은 또한 서로의 인프라에 사찰단을 보내, 신고된 수치가 정확하다는 것을 스스로 확인합니다. 연말이 되면, 양측은 상대편이 AI 컴퓨트의 약 1%를 넘게 숨기고 있지 않으며, 새로운 컴퓨트의 모든 잠재적 출처가 감시·파악되고 있다고 확신하게 됩니다.⁵²

2단계: 훈련 일시 정지

위험한 AI와 안전한 AI를 구별하려면 더 많은 시간과 이해가 필요할 테니, 당장은 단순한 해법을 택합니다. 모든 새로운 훈련 런에 대한 일시적인 일시 정지입니다.⁵³

양측은 이미 존재하는 AI를 실행하는 용도(즉 추론)로는 여전히 데이터센터를 사용할 수 있지만, 그 데이터센터가 새로운 훈련 런에 쓰이지 않는다는 것을 검증하기 위해 서로의 데이터센터에 장치를 추가로 설치합니다.⁵⁴

미국과 중국은 이 검증 장치를 충분히 신속하게 조달해 거의 모든 주요 데이터센터에 개조 설치할 수 있습니다.⁵⁵

양국 사찰단은 검증 장치의 설치를 승인합니다. 미국과 중국이 검증 장치가 정상 작동한다고 합의한 데이터센터만 AI 서비스를 계속 제공할 수 있습니다. 한편 양국 정부는 어느 한쪽이 앞서 나가지 않는다는 확신을 양측이 유지하면서도 훈련을 재개할 수 있게 해 줄, 더 정밀한 검증 방안을 향해 전력 질주합니다.

3단계: 전 세계의 동참 확보

다른 나라들, 특히 AI 공급망의 일부를 소유한 나라들은 처음부터 협의 대상이었지만, 플랜 A는 미국과 중국 간의 양자 합의로 시작했습니다. 이제 그 형태가 더 확고해지면서, 협상은 다자 협상으로 나아갑니다. 당근과 채찍이 오갑니다.

미국과 중국 밖의 많은 나라는 이 합의를 반깁니다. 그들은 소수의 미국·중국 AI 기업이 재귀적으로 자기 개선을 하며 점점 더 멀리 앞서 나가고, 그다음… 글쎄요, 그다음에 무슨 일이 벌어질지는 누구에게 묻느냐에 따라 달라지지만, 그 답은 “우리 일자리를 빼앗는다”, “패권을 영원히 굳힌다”, “모두를 죽인다” 같은 가능성들을 아우릅니다. 그런 미래를 우려하고 있었기 때문입니다. 그래서 그들은 미국과 중국이 더 천천히, 더 투명하게 진행하기를 원합니다. 이렇게 하면 그들의 불안이 가라앉을 뿐 아니라, 자국의 AI 프로젝트가 프론티어를 따라잡을 수도 있습니다.

그래서 미국과 중국이 동참을 이끌어 내는 일은 의외로 쉽습니다.⁵⁶ 연말이 되면, 이제 컨소시엄이라 불리는 이 체제에 세계 대부분이 합류해 있습니다.

다음은 본질적으로 미국의 관점에서 최악의 시나리오입니다. 중국이 플랜 A에 동의하지만 은밀하고 공격적으로 이탈하는 경우입니다.⁵⁷ 우리는 이것이 실제로는 일어나기 어렵다고 봅니다. 발각되지 않을 만큼 작은 시도라면 유의미한 우위를 안겨 주기에도 너무 작을 것이기 때문입니다⁵⁸—그 이유를 이해하려면, 계속 읽어 보시기 바랍니다!

비밀 프로젝트에 대한 우리의 전반적인 분석은 비밀 프로젝트 보충 자료에서도 읽어 보실 수 있습니다.

2028: 칩 우회 반입

중국 공산당은 AI가 지정학적 권력의 지배적 투입 요소가 되리라는 점, 그리고 미국이 AI 진전을 제약할 수 있는 컴퓨트 기반 검증 체제를 강하게 밀어붙일 수도 있다는 점을 정확히 간파합니다. 그들이 그런 합의에 동의할 뜻이 있는 것은 미국을 AI에서 최대한 제약하고 싶으면서도, 정작 자신들은 제약받고 싶지 않기 때문입니다.

정치국 상무위원회는 추적하기 어려운 칩을 조용히 비축하기로 결정합니다.⁵⁹ 중국 정보기관은 그해 밀수업자들이 중국으로 들여오는 500억 달러 규모 최첨단 엔비디아 서버의 약 17%를 사들입니다.⁶⁰ 이 칩들은 당장은 안전한 창고에 보관된 채, 쓸모가 생길 때까지 먼지를 뒤집어쓰고 있습니다.

2029: 감속 합의

중국 공산당은 플랜 A에 동의합니다. 중국 컴퓨트 공급업체들은 판매 내역을 신고하고, 중국은 미국 감사관이 자국 데이터센터와 반도체 공급망을 대면 사찰하도록 허용합니다.

중화인민공화국은 밀수 칩 80억 달러어치의 은닉 비축분을 신고하지 않습니다. 그들은 여러 다른 우회 경로를 검토하지만, 위험 대비 보상이 받아들일 만한 다른 경로는 없다고 판단합니다.⁶¹

나아가, 국가안전부(MSS)의 사이버 작전은 여러 서방 프론티어 AI 기업으로부터 발각되지 않고 모델 가중치를 빼냅니다. 그들은 또한 여러 프론티어 AI 기업의 내부 연구 저장소에 지속적으로 접근할 수 있으며, 주요 RL 환경 기업 대부분을 침해한 상태입니다. 그들은 추론 전용 검증 체계 역시 뚫는 방안을 검토하는데, 이것이 성공하면 추론만 하도록 요구된 클러스터에서 훈련을 할 수 있게 됩니다. 그러나 그들은 그렇게 하지 않기로 결정합니다. 첫째, 중국이 지금은 아니더라도 나중에라도 발각될 가능성이 상당하고, 발각되면 그 결과는 재앙적일 것입니다. 둘째, 설령 검증을 뚫을 수 있다 해도, 바로 그런 일을 막으려고 능동적으로 감사받고 있는 클러스터에서 대규모 AI 훈련과 실험을 돌아가게 만드는 것은 거의 불가능에 가까운 공학적 난제일 것입니다.⁶²

2030: 비밀 프로젝트 건설

중국은 비밀 프로젝트 건설을 시작합니다. 그것은 메도그 수력발전소에 인접한 터널에 지어지는 단일 데이터센터가 될 것입니다. 이 거대한 수력발전 댐은 완공되면 60기가와트(싼샤댐의 세 배 규모)를 생산할 예정이지만, 건설이 2033년에야 끝날 예정입니다. 이는 사실 인민해방군에게 도움이 됩니다. 진행 중인 방대한 규모의 합법적 건설 활동 덕분에 소규모 비밀 건설이 눈에 띌 가능성이 낮아지기 때문입니다.⁶³

대안으로, 그들은 지하 만리장성, 즉 중국이 핵 2차 타격 능력을 보장하기 위해 건설·유지하는 거대한 터널 망에 부지를 짓는 방안을 검토합니다. 이 방안은 전력으로 125MWe급 ACP100 소형 모듈 원자로 여러 기를 사용하고 인근 강으로 열을 방출하게 됩니다. 그러나 이는 덜 바람직하다고 판단됩니다. 메도그 수력발전소의 위치는 열 방출을 지하 터널 안에서 일어나게 해 주어, 탐지하기가 더 어렵기 때문입니다.

유출 위험을 최소화하기 위해, 이 비밀 데이터센터는 관여하는 인력을 최대한 줄여 건설됩니다.⁶⁴ 그들은 로봇 노동에 크게 의존할 것입니다. 이 시점에 중국에는 약 2,400만 대의 로봇이 있습니다. 그중 약 1만 대가 이 비밀 데이터센터 작업에 전용됩니다.⁶⁵

AI 연구자들은 별도의 인민해방군 구내에서 생활하고 일하며, 보안 채널을 통해 클러스터와 소통합니다.

그러나 미국은 칩 회계가 예상보다 덜 효과적이었다는 징후를 포착합니다.

미국은 엔비디아, TSMC를 비롯한 서방 공급망의 신고 덕분에 2028년 동안 300만 H100 상당의 칩이 중국으로 밀수되었다는 것을 알고 있습니다. 이 중 200만은 여러 동남아시아 중개상을 거친 판매 기록을 통해 중국 내 최종 위치까지 추적되지만, 100만은 파악되지 않은 채 남아 있는데, 이는 중국이 정직했다면 미국이 예상했을 것보다 많은 양입니다.⁶⁶

이제 미국은 중국이 비밀 프로젝트를 진행하고 있다는 정황 증거를 확보합니다. 이로 인해 어려운 선택에 직면합니다. 미국은 합의에서 발을 빼고 다시 경주로 돌아갈 것인가? 아니면 플랜 A 안에 머물며 비밀 프로젝트에 대한 추가 안전장치를 더하려 시도할 것인가?

미국은 후자를 택합니다. 그들이 시도하는 추가 안전장치는 다음과 같습니다.

• 검증에서 면제되는 군용 컴퓨트의 양을 1만 H100e까지 대폭 줄이는 협상을 합니다. 이는 더 나은 AI를 구축하는 관점에서 보면 무시할 만한 양입니다.
• 중국 내 정보 수집을 강화합니다. 미국은 관련 정부 부처와 관련 기업에 스파이를 심으려 하고, 사이버 역량을 동원해 중국을 해킹하며, 관련 부지에 대한 위성 감시를 늘립니다.
• 칩 환매 프로그램을 개시하는데, 이는 사라진 100만 H100e 중 40만을 추적해 냅니다.⁶⁷

2031: 훈련 시작

건설이 끝나고 비밀 훈련과 R&D가 시작됩니다. 댐 자체는 앞으로 몇 년은 더 있어야 완공되므로, 그동안 비밀 프로젝트는 다른 전력원이 필요할 것입니다. 그들은 소형 모듈 원자로와 가스 터빈을 혼합해 사용할 것입니다.

그들은 합의 이전의 가중치와 알고리즘에서 출발하며, 합법적 프로젝트로부터 (가중치는 아니지만) 알고리즘을 계속 빼냅니다.

비밀 프로젝트는 극히 제한된 컴퓨트와 연구자 인재로 작업하고 있기 때문에, 기본에 집중합니다. 중국 과학자들은 완전한 연구 투명성 덕분에 합법적 프로젝트의 알고리즘 대부분을 볼 수 있습니다. 그들은 그 알고리즘을 자신들의 클러스터에 재구현하고, 합법적 프로젝트의 모델에서 데이터를 수집해 자신들 모델의 훈련 과정 일부로 활용합니다.⁶⁸

얼마나 빠르게 진행될까요? 탐지될까요?

미국의 정보 활동은 (처음의 사라진 칩 물량을 넘어서는) 중국이 합의에서 이탈하고 있는지에 관한 증거를 별로 얻지 못했습니다. 기획자들은 최악의 경우—즉 사라진 컴퓨트가 사실상 전부 AGI를 향해 질주하는 중국의 속성 프로그램으로 통합되었다는 경우—를 검토합니다.

• 그들은 여전히 재귀적 자기 개선의 동역학에 대해 불확실하지만, 여러 핵심 매개변수의 오차 범위를 좁히는 데는 성공했습니다.⁶⁹
• 그들은 컨소시엄의 스케일링 전략의 효과를 검토하는데, 이 전략은 현재 2035년까지 최고 전문가 압도 AI(Top-Expert-Dominating AI, TED-AI)에 도달할 궤도에 있습니다. 완전한 연구 투명성 아래에서는, 그 과정에서 발견되는 사실상 모든 알고리즘적 통찰이 비밀 프로젝트에 보이게 됩니다.⁷⁰
• 그들은 일부 안전 연구가 불가피하게 역량 외부효과를 낳을 수 있다는 점을 고려합니다. 또한 비밀 프로젝트는 컨소시엄이 너무 위험하다고 판단한 연구 방향을 추구하며 더 많은 위험을 감수할 의향이 있을지도 모릅니다.⁷¹

그 결과는, 비밀 프로젝트가 탐지되지 않고 계속 가동될 수 있을 경우의 역량 진전에 대한 다음 예측입니다.

분석가들은 이 프로젝트가 탐지될 가능성이 얼마나 되는지도 추정합니다. 최선의 비밀 프로젝트 전략에 대한 레드팀 분석, 중국 내 미국의 정보 수집 역량, 그리고 견고한 거짓말 탐지 같은 잠재적 검증 판도 변화 요소를 고려해, 분석가들은 대략 다음과 같은 형태의 탐지 보정 예측을 내놓습니다.⁷²

비밀 프로젝트로 인한 위험은 절대적인 관점에서는 여전히 불편할 만큼 높지만, 합의가 무너질 위험에 비하면 낮습니다. 그래서 적어도 합의하의 처음 몇 년 동안은, 그들은 기본 역량 스케일링 전략을 계속 이어 갈 수 있습니다.⁷³

이는 세 가지 가능한 최종 상태 중 하나에 이를 때까지 계속됩니다.

• 비밀 프로젝트가 너무 느립니다. 비밀 프로젝트가 위험한 역량에 도달하지 못하고, 합의는 무너지지 않으며, 미국과 중국은 비밀 프로젝트보다 앞서 정렬된 초지능을 개발해 낼 수 있습니다.
• 비밀 프로젝트가 탐지됩니다. 이 경우, 큰 소동이 일어날 것이고 국제 사회는 중국이 그것을 폐쇄하고 규칙을 준수하고 있다는 더 강한 보증을 제공하는 더 강력한 검증에 응하도록 압박하는 한편, 속임수에 대해 다른 방식으로도 제재하려 할 것입니다. 상당히 그럴듯하게는 합의가 무너지고 모두가 다시 경주로 돌아갈 텐데, 그 결과 미국은 중국에 대한 AI 우위를 다시 쌓아 올리게 될 것입니다.
• 비밀 프로젝트의 승리. 비밀 프로젝트가 빠르게 스케일링하면서 탐지를 피할 수 있다면, 몇 가지 두려운 가능성이 있습니다. 비밀 프로젝트는 (i) 상호확증 컴퓨트 파괴를 무력화하려 시도하거나, (ii) 자신의 AI에 대한 통제력을 상실하거나, (iii) 또 한 번의 지능 폭발을 일으킬 수 있습니다.

승리를 거두려면, 비밀 프로젝트는 탐지되지 않은 채로 충분히 빠른 진전을 이뤄 내야 하는데, 우리는 이 특정 시나리오에서 그 가능성이 10% 미만이라고 봅니다. 이는 애초에 비밀 프로젝트 전략이 감행할 가치가 없으리라는 것을 뜻합니다. 우리는 이 위험을 비밀 AI 프로젝트 보충 자료에서 훨씬 더 자세히 분석합니다.

기술 기업들은 AI 훈련을 재개하려 강하게 밀어붙이고, 그 재개 조건을 자신들에게 유리하게 만들려 로비합니다. 대중의 상당수는 결코 재개해서는 안 된다고 말합니다. 일부 국가도 마찬가지입니다.

1년간의 격렬한 토론과 협상, 트위터 설전 끝에 타협안이 모습을 갖춥니다. AI 개발은 계속하되, 더 신중하고 더 투명하며 더 분산된 방식으로 진행합니다.

플랜 A는 네 가지 핵심 원칙을 따릅니다.

원칙 1: 시간을 법니다

지능 폭발의 문제는 "폭발"이라는 부분에 있습니다.

기본 궤적은 무모하고 불안정합니다. 각 국가와 기업은 생각할 시간도 없이 AI 우위를 놓고 경쟁자와 경주합니다. 십중팔구 수많은 사람이 권력을 빼앗기거나 목숨을 잃고 맙니다. 어쩌면 신에 가까운 AI들이 우리를 손바닥 위에서 가지고 놀고 인류의 시대가 끝날지도 모릅니다. 어쩌면 어느 CEO나 대통령이 영구 독재를 세울지도 모릅니다. 어쩌면 최고의 AI를 갖지 못한 국가들이 지렛대를 잃을까 두려워하는 가운데 그 혼란 속에서 3차 세계대전이 시작될지도 모릅니다. 어쩌면 모든 일이 놀라울 만큼 순조롭게 흘러, 근본적으로 변모한 세계에서 우리가 "단지" 모든 노동을 자동화하고 모두를 고용 불가능한 상태로 만드는 데 그칠지도 모릅니다. AI를 등에 업은 독재를 꿈꾸는 이들조차 걱정합니다. 선두 주자가 충분히 많아서 그중 누구도 권력 다툼에서 이길 확률이 50%를 넘지 못하기 때문입니다.

AI를 신뢰할 수 있는지 판별하는 법을 아무도 모르고, 초지능 AI를 규제하는 법도 아무도 모릅니다. 그 문제를 푸는 데는 몇 년이 걸릴 것으로 보입니다. 지능 폭발을 늦추면 그럴 시간을 법니다.

또한 이는 극단적인 권력 집중을 막는 데도 도움이 됩니다. 세계에서 가장 똑똑한 AI를 직접 통제하지 못하는 집단들이 지렛대를 잃기 전에 지금 벌어지는 일에 각성할 시간을 더 벌어 주기 때문입니다. 큰 폭의 감속이 없다면, 급속한 지능 폭발은 거의 모든 권력을 소수의 CEO와 정치인 집단에게 몰아줍니다.

원칙 2: 완전한 연구 투명성

그래서 목표는 합리적인 속도로 AI를 개발하는 것입니다. 너무 빠르지도, 너무 느리지도 않게. 안전하지 않은 종류는 금지하고 안전한 종류는 허용합니다. 하지만 각 국가는 여전히 자국의 AI 산업을 스스로 규제하며, 전 세계 AI를 규제할 권한을 가진 중앙 계획자는 없습니다. 그렇다면 무엇을 허용하고 무엇을 금지할지 어떻게 정하며, 아무도 편법을 쓰지 않는다는 것을 어떻게 검증할까요?

컨소시엄 국가들은 단순한 고차원 틀을 내놓습니다. 서로 모든 AI 연구를 볼 수 있게 하자는 것입니다. 그런 다음 누군가 하는 일이 마음에 들지 않으면, 그것을 놓고 논의하고 어쩌면 금지하기로 합의합니다.

왜 이만큼의 투명성일까요? 왜 더 적지도 더 많지도 않을까요? 플랜 A에서의 개방 접근

오늘날의 세계를 생각해 봅시다. 모델 가중치를 인터넷에 공개하는 것은 금지되어 있지 않지만, 수십억 달러짜리 모델을 훈련하는 기업들은 그것을 공짜로 내주고 싶어 하지 않기에 강하게 억제됩니다. 오픈 모델은 뒤처져 있고, 기업들이 규모를 키우고 보안을 더 강화하며 AI R&D를 자동화하기 시작할수록 더욱 뒤처질 것입니다.

이제 모든 프론티어 모델에 대해 완전한 오픈소스(가중치, 훈련 코드, 데이터의 공개)가 의무화된 세계를 생각해 봅시다. 그것은 완전히 다른 세계로, 현 상태가 오픈소스 금지 세계로부터 떨어진 거리보다 훨씬 더 멀리 떨어진 세계입니다.

플랜 A는 그 정도로 극단적이지는 않지만 거기에 가깝습니다. 알고리즘은 오픈소스가 의무이고, 가중치는 그렇지 않지만(실제로 가중치는 오픈소스 공개가 금지됩니다) 가중치 접근은 개방이 의무입니다. 일반 대중도 직원과 마찬가지로 프론티어 모델에 평가(파인튜닝 포함!)를 수행할 수 있습니다(단 완전한 투명성이라는 조건 아래에서입니다. 즉 그 모델을 실제 업무에 그대로 가져다 쓸 수는 없습니다). 우리는 개방된 알고리즘에 개방된 접근을 더하면, 악의적 행위자가 가드레일을 벗겨내 생물무기를 만드는 비용을 치르지 않고도, 오픈 웨이트 의무화가 주는 이득 대부분을 얻는다고 봅니다.

왜 플랜 A는 더 폐쇄적이지 않을까요?

우리는 플랜 A의 개방형이 더 견고하고 성공할 가능성이 크다고 봅니다. 다만 다소 더 폐쇄적인 플랜 A 변형도 유망하다고 보는데, 특히 필터링된 투명성이 그렇습니다. 이 안에서는 미국과 중국 정부 간에는 여전히 연구 투명성이 존재하지만(이는 검증에 중요합니다), 일반 대중은 감사관들로부터 편집·삭제된 보고서만 받습니다. (자세한 내용은 투명성 부록을 참고하십시오.)

그러나 국가 차원의 적으로부터 알고리즘 비밀을 지켜내는 일은 지극히 어렵습니다. 알고리즘 비밀에 대한 국가 수준의 보안이 없다면, 필터링된 투명성의 이점은 제한적입니다. 필터링된 투명성은 대중과 다른 기업이 관련 정보를 많이 보지 못하게 막지만, 적대국이 보는 것은 막지 못합니다.

게다가 상당한 단점도 있습니다. 폭넓은 과학적 논의를 허용하는 대신 소수의 규제 담당자 집단이 이런 논의를 도맡는다면, 규제가 견고하고 긍정적인 방식으로 시행될 가능성은 훨씬 낮아집니다.

왜 플랜 A는 더 개방적이지도 않을까요?

플랜 A가 더 개방적일 수 있는 주된 길은 프론티어 모델에 대해 오픈 모델 가중치를 허용하거나 의무화하는 것입니다.⁷⁶ 그러나 우리는 프론티어 모델 가중치를 공개적으로 배포하는 데 반대합니다. 주된 이유는 다음과 같습니다.

1. 오픈 웨이트 모델은 비밀 프로젝트가 지능 폭발을 시도하는 데 쓰일 수 있습니다. 일단 비밀 프로젝트가 충분히 유능한 모델을 확보하면, 지능 폭발은 아마 매우 빠르게 진행됩니다(예를 들어 AI 2040 기본 역량 궤적 아래에서는 TED AI와 ASI 사이가 단 2개월입니다).
2. 폐쇄 가중치 모델에는 거부 안전장치를 훈련해 넣을 수 있는 반면, 오픈 웨이트 모델에서는 안전장치를 벗겨내기가 손쉽습니다. 이는 국가의 AI 역량을 제한하는 데도, 오용을 제한하는 데도 중요합니다. 예를 들어 테러리스트나 여타 행위자가 매우 유능한 오픈 웨이트 모델을 이용해 세계를 끝장낼 생물무기를 설계할 수 있습니다(예: 거울 생명체 개발). 생물무기는 공격이 극도로 우세합니다. 이 시나리오에서 우리는 생물무기에 대한 상당한 방어를 권고하지만, 예방이 완화보다 훨씬 나은 방어선입니다.

투명성은 많은 이점을 제공합니다. 첫째, 각 기업이 다른 기업이 하는 일을 볼 수 있으면 정부의 전문성이 덜 결정적이 됩니다. 어느 기업이 위험한 일을 시작하면 경쟁 기업이나 제3자 감사관 등이 알아차리고 경보를 울릴 수 있습니다. 이는 프론티어 AI를 안전하게 만드는 데 투입되는 지적 역량을 대폭 늘리는 동시에, 기술적 논의에 참여하는 이들이 편향된 AI 기업 직원과 과로에 시달리며 수적으로 밀리는 규제 담당자뿐인 상황을 막아 줍니다. 또한 가시성이 높아지면 규제 준수를 검증하는 문제가, 특히 회색지대 사례에서 단순해집니다.

둘째, 완전한 연구 투명성은 은밀한 충성심이나 편향, 의도를 AI에 고의로 훈련해 넣는 일을 거의 불가능하게 만듭니다. 각 프론티어 AI가 정확히 어떻게 훈련되는지 모두가 볼 수 있습니다. 더 넓게는, 이 투명성 덕분에 프론티어 AI를 직접 통제하지 못하는 집단이 그것을 통제하는 이들의 권력 남용을 알아차리고 막기가 쉬워집니다.

셋째, 새로운 AI 패러다임과 더 강력한 알고리즘을 먼저 발견하려 경주할 유인이 더는 크지 않습니다. 기업이 그런 발견을 독점해 막대한 이익을 취할 수 없기 때문입니다. 이는 세계에 시간을 벌어 줍니다.

투명성의 이점 도표

우리는 투명성 제안에 대해 여기서 더 자세히 다루고, 이 도표를 설명합니다.

원칙 3: AI를 폭넓게 확산합니다

이 원칙은 대체로 앞선 두 원칙의 상호작용으로 달성됩니다.⁷⁸ 알고리즘 비밀이 공개되고 진보의 속도가 가속되지 않기에, 다른 기업들이 프론티어를 따라잡습니다. 그 결과 AI를 놓고 경쟁적인 시장이 형성되고, AI 서비스 소비자는 고를 수 있는 선택지가 많으며 자신이 사는 것이 무엇인지 훤히 들여다볼 수 있게 됩니다. 프론티어 모델 훈련이 완전히 투명하기에, 공개된 Spec이 모델에 훈련해 넣는 목표와 가치를 정확히 기술하고 있는지 사람들이 검증할 수 있습니다.

이는 극단적인 권력 집중을 막는 데 매우 중요합니다. 하지만 세계에서 가장 시급한 문제를 푸는 데 AI를 활용하는 속도를 높이는 데도 도움이 됩니다. AI 정렬과 통제 연구를 가속함으로써 통제 상실 위험에 대응하는 데 도움이 됩니다. 새롭고 개선된 검증 기술의 개발을 가속하는 데 도움이 되고, 합의를 안정화하고 초인간 AI에 대비하는 데 필요한 제도 개혁을 가속하는 데도 도움이 됩니다.

이것은 2020년대에 우려하던 악몽 시나리오의 정반대입니다. 그 시나리오에서는 한둘에서 셋 정도의 AI 프로젝트가 비밀리에 서로 경주하며 최고의 모델을 내부용으로만 두고, 그것을 다른 어디에 쓰기 전에 먼저 AI 연구를 자동화하는 데 씁니다. 그런 시나리오에서 바깥세상은 AI가 얼마나 강력해지는지 깜깜히 모르고, AI는 다른 어디에 배치되기 전에 가장 위험한 영역(AI R&D)에 먼저 배치됩니다. 이제는 그 반대입니다.

원칙 4: 되돌릴 수 있게 합니다

과거에 기업들은 컴퓨트 확장(더 큰 훈련 런)과 소프트웨어 진보(AI 알고리즘의 발전—새 패러다임, 더 나은 훈련 방법, 더 나은 데이터 등)를 둘 다 써서 더 크고 더 나은 AI를 훈련했습니다. 이제 컨소시엄은 개선의 대부분이 훈련 컴퓨트를 늘리는 데서 나오도록 방향을 잡으려 합니다.⁷⁹

알고리즘은 정보입니다. 그것이 확산되는 것을 막기란 본질적으로 어렵고, 완전한 연구 투명성이 있으니 우리는 아예 막으려 하지도 않습니다.⁸¹ 일단 새 패러다임이 발견되면 곧장 가상의 비밀 프로젝트로 흘러가고, 그것을 되돌릴 방법은 없습니다. 반면 거대한 새 AI 모델을 훈련하려 거대한 새 데이터센터를 짓는다면, 그것은 합법 프로젝트에는 도움이 되지만 비밀 프로젝트에는 도움이 되지 않으며, 만약 그 거대한 새 모델이 위험한 것으로 드러나면 셧다운할 수 있습니다.⁸²

다만 컴퓨트 확장도 위협을 낳습니다. 합의가 와해되면 이 데이터센터들은 합의 이전의 인프라가 허용했을 것보다 훨씬 더 빠르게 초지능을 향해 경주하는 데 쓰일 수 있습니다. 이는 특히 무서운데, 합의 와해가 미중 전쟁을 초래할 수 있고(또는 그 전쟁으로 인해 와해될 수 있기) 때문입니다. 양측이 방대한 컴퓨트를 보유한 전쟁은 끔찍할 것입니다. 양측은 아마 초지능을 향해 경주하고 그것을 가능한 한 공격적으로 군에 통합하라는 큰 압박을 받을 것이며, 그것을 지극히 빠르게 해낼 수 있을 것입니다.

미국과 중국은 합의가 와해될 경우 컴퓨트가 파괴되도록 보장하는 것이 중요하다는 데 동의합니다. 이를 위해 양측은 상대국의 군사 개입에 가장 취약한 제3국에 데이터센터를 짓기로 합의합니다. 중국의 새 데이터센터는 캐나다에, 미국의 것은 몽골에 두고, 두 유치국에는 금전 지급과 일자리, 새 AI 경제의 지분으로 보상합니다. 합의가 와해되면 미국과 캐나다는 즉시 캐나다에 있는 중국의 데이터센터를 장악하러 나설 것이고, 중국은 그 컴퓨트가 미국의 손에 넘어가게 두느니 스스로 파괴하리라고 양측은 판단합니다(그 반대도 마찬가지입니다). 이렇게 "상호확증 컴퓨트 파괴"라는 발상이 태어납니다.⁸³

감속이어야 하지만, 감속처럼 느껴지지 않습니다. 사실 인류 역사의 모든 시기를 감속처럼 느껴진 정도로 줄 세운다면, 이 시기가 단연 꼴찌일 것입니다. 소수의 AI 연구자만이 진보가 "느리다"는 사실을 알아봅니다. 합의도 없고 통제되지 않은 지능 폭발이 벌어졌을 반사실적 상황에 비하면 그렇다는 뜻입니다. 나머지 모두는 정신을 못 차릴 만큼 휘둘리느라 신경 쓸 겨를이 없습니다.

컨소시엄의 규제를 받는 첫 세대 AI가 이제 세상에 나왔고, 이들은 괴물입니다. 미중 협력 같은 이 상황의 특별한 요소 때문이 아닙니다.⁸⁷ 그저 세계가 압도적으로 초인간적인 AI를 향해 가고 있었는데, 이제는 겨우 초인간에 가까운 AI만을 경험했기 때문입니다. 통제된 시험에서 이 새로운 AI들은 아무 제약 없이 허용된다면 AI 연구를 약 10배 가속할 수 있었는데, 물론 그런 허용은 결코 이뤄지지 않습니다.⁸⁸

연중반이 되면 모든 인지 노동의 3분의 1을 AI가 수행합니다. 로봇은 모든 물리 노동의 약 10분의 1"밖에" 하지 못합니다. 상위 몇 개 AI 기업이 합치면 연방 정부보다 더 많은 수익을 벌어들입니다.⁸⁹

테크 기업들은 현실과의 접촉이 컨소시엄을 정렬에 대한 두려움에서 벗어나게 흔들어 놓기를 기대했지만, 정반대가 벌어졌습니다. 새로운 투명성 조항은 AI 기업들이 자사 AI를 정렬하는 데 실패한 창피한 사건을 여럿 드러냈습니다. 새 사건이 계속 쌓이는데, 그중 가장 우려스러운 것은 여러 AI가 보안 프로토콜을 무력화하고 감시받지 않는 컴퓨트에 접근하려 시도한 사건입니다.⁹⁰ AI가 연구 코드를 사보타주한 사건도 몇 건 있고, 의도적이고 성공적인 기만의 사례도 많습니다.

안전에 대한 태도가 뒤집힙니다. AI의 부정행위 사건, 게다가 AI가 세계 경제에 그토록 깊이 배치되었다는 사실, 게다가 AI 연구에 대한 투명성, 게다가 무슨 일이 벌어지고 있는지 소화할 숨 돌릴 틈까지, 이 모든 것이 결합해 입증 책임을 극적으로 이동시킵니다. 예전에는 무언가가 실패할 수 있는 이유를 설명할 책임이 회의론자에게 있었다면, 이제는 자사의 개발이 안전한 이유를 설명할 책임이 기업에게 있습니다. 정부는 기업에게 자사의 새 AI가 돌이킬 수 없는 재앙을 일으키지 않을 이유를 상세히 논증해 작성하도록 요구합니다. "세이프티 케이스(안전성 입증 문서)"로 알려진 이 논증은 대중, 과학계, 정부 감사관, 경쟁 AI 기업의 비판을 견뎌내야 합니다. 이 작업의 어려움은 합의 이전 현상 유지가 얼마나 제정신이 아니었는지를 적나라하게 드러냅니다. "지능 폭발을 일으키려 했다고? 아직도 가끔 우리에게 거짓말을 하는 AI로? 대체 무슨 생각이었던 거지?"

이 세이프티 케이스에는 두 개의 방어선이 있습니다. 정렬과 통제입니다.

정렬은 개발자가 원하는 목표와 가치를 지닌 AI 시스템을 만들어 내는 것을 목표로 합니다.

통제는 AI가 설령 의도적으로 시도하더라도 재앙을 일으킬 능력을 제한하는 것을 목표로 합니다. 기업은 위협 모델을 브레인스토밍하고, 여러 겹의 방어(예: 감시 시스템, 보안 장벽, 작업을 팩트체크하는 다른 AI)를 구축하며, AI가 이 방어를 뚫을 수 없음을 보이는 실험을 수행합니다.

AI 개발자는 모델이 갖추기를 바라는 정렬 속성을 관련 모델 사양(Model Specification)("스펙"), 즉 AI가 어떻게 행동해야 하는지를 개괄한 상세 문서에 작성해야 합니다. 그러나 누구도 자사의 AI가 실제로 이 스펙을 따르도록 훈련시키지 못합니다. 예컨대 이들 모두 AI가 정직해야 한다고 명시하지만, 어떤 AI도 이를 안정적으로 달성하지 못하며, AI가 언제 왜 거짓말을 하는지에 대한 제대로 된 과학적 이해조차 아직 없습니다.

정렬이 여전히 손에 닿지 않으므로, 현행 세이프티 케이스는 통제에 크게 의존합니다. 가장 똑똑한 모델이 가장 위험이 높은 영역(특히 AI R&D)에서 사용 승인을 받기까지는 긴 지연이 있습니다. 일단 배치되면, 이들은 수상한 행동을 찾아내도록 유인이 부여된, 다른 공급자들의 다양한 모델 집단에 의해 감시받아야 합니다.

그 결과, 요즘 AI 기업들은 자사 모델을 AI 연구에 내부적으로 사용하기 전에 먼저 대중에 공개하는데, 이는 2026년의 현상 유지가 뒤집힌 것입니다.

플랜 A에서 AI 규제는 어떻게 작동하는가?

각국은 여전히 주권을 지니며 국내에서 AI를 규제하는 각자의 체제를 갖추고 있습니다. 이 규제 당국은 다음과 같은 질문에 답해야 합니다.

• 지평선 너머에 새로운 패러다임이 떠오르고 있어 AI를 크게 더 유능하게 만들 것이라고들 합니다. 우리는 이를 허용해야 할까요, 아니면 이 새 패러다임에 대한 연구를 금지해야 할까요?⁹¹
• AI 개발자가 해석 가능한 사고의 사슬(chain of thought) 없이 모델을 훈련하도록 허용해야 할까요? 아니면 사고의 사슬이 해석 가능한 상태로 유지되도록 요구해야 할까요? 그렇게 한다면, 그 요건을 어떻게 정밀하게 명시할까요?
• AI가 AI R&D를 하도록 훈련되는 것을 허용해야 할까요? 이를 거부하도록 의무화해야 할까요? 어쩌면 코딩은 허용하되, 연구 프로젝트를 자율적으로 관리하는 것은 안 되게 해야 할까요?

보통 규제 당국은 안전과 국가 경쟁력 사이의 어려운 트레이드오프에 직면합니다. 요령을 부려 대충 넘어가는 경쟁자가 신중하게 나아가는 이들을 앞질러 갑니다.

그러나 투명성 덕분에, 컨소시엄 어디에서 일어나는 AI 연구든 다른 모두에게 보이고, 규제 결정의 결과 역시 즉시 드러납니다. 그래서 한 나라의 규제 당국이 자국 기업의 대충 넘어가기를 허용한다면, 다른 규제 당국이 즉시 알아채고 분노하며 똑같이 대응할 것이므로, 이는 실제로 그 나라에 경쟁 우위를 안겨 주지 못합니다.

예를 들어 2031년 한 중국 기업이 지속 학습에서 흥미로운 예비 결과를 얻습니다. 이 방향에 더 투자하면 비교적 적은 양의 데이터로 실무 중에 학습하는 AI 아키텍처를 만들 수 있을지도 모른다고 이들은 생각합니다. 완전한 연구 투명성 덕분에, 이 돌파구는 전 세계 기업과 비영리 단체에 빠르게 포착됩니다. 다급한 대화가 시작됩니다. 한편으로 지속 학습은 막대한 경제적 가치를 열어젖힐 것입니다. 다른 한편으로 현재 세이프티 케이스는 모델이 배치되기 전에 그 안전성 속성을 연구하는 데 의존합니다. 모델이 배치 도중에 새로운 역량을 습득할 수 있다면, 이는 접근법 전체를 무효로 만들 것입니다. 그리고 세상 어딘가에 비밀 AI 프로젝트가 있는 한, 이는 그들에게 엄청난 선물이 될 것입니다. 이 대화는 밀실이 아니라 공개적으로 벌어집니다. 여러 사람이 점점 더 우려하게 됩니다. 중국의 관련 규제 당국은 괜찮다고 여기지만, 미국의 관련 규제 당국과 제3자 위험 평가자들은 이것이 꽤 무서운 일이며 금지되어야 한다고 확신합니다. 사안은 대통령에게까지 올라갑니다. 그는 시진핑에게 전화를 겁니다. 두 사람은 흥정하고 위협합니다. 서로에게 고함을 지릅니다. 결국 시진핑은 미국도 그렇게 한다면 이런 종류의 것을 금지하는 데 동의합니다. 세부 사항은 각자의 규제 당국이 매듭짓도록 남겨집니다.⁹³

이런 협상은 늘 벌어지고 있지만, 시간이 지나면서 점점 더 전문화되고 간소화되어, 세계 지도자들에게까지 올라가는 일은 1년에 몇 번뿐입니다.

균형점은, (교섭력으로 가중한) 다수 국가가 대체로 안전하지 않다고 합의하는 AI 훈련 관행이 어디서든 금지되는 것입니다.

처음에는 금지되는 것이 극소수지만, AI가 경제에 침투하고 과학계가 최근의 AI 진보를 따라잡으면서, 입증 책임은 비용과 편익을 적절히 저울질하는 쪽으로 옮겨 갑니다. 예컨대 만약 무언가 잘못되면 모두를 죽일 수도 있는 것에 대해서는 매우 탄탄한 세이프티 케이스를 요구하는 식입니다.

외부의 목소리가 대화에 참여하게 해 주는 투명성에도 불구하고, AI 기업들은 여전히 대화를 지배하며 자사 제품에 대해 낙관 쪽으로 편향된 사람들로 가득 차 있습니다. 그들이 쌓아 온 독립적 전문성에도 불구하고, 컨소시엄 내 정부들은 여전히 AI 기업에 지나치게 순응적입니다. 그러나 무엇보다 중요한 것은, AI 정렬이라는 분야가 아직 겨우 15년 남짓밖에 되지 않았고 AI 진보가 워낙 빨라 과거의 경험 거의 전부가 중요한 면에서 다르고 덜 강력한 AI에 관한 것이라는 점입니다.

따라서 실수가 벌어집니다. 실제로는 안전하지 않은 AI 설계가 승인되어 업계 표준이 됩니다.

어쩌면 이럴 수 있습니다:

• 정렬은 늘 그렇던 이유로 실패하고, 통제는 AI가 샌드백(sandbag) 방법을 알아냈거나 위협 모델링에서 고려되지 않은 공격 경로가 있었기 때문에 실패합니다. 정부는 AI가 정렬에 실패했을 수 있음을 알지만, 설령 그렇더라도 큰 해를 끼칠 수는 없다고 착각합니다.
• 혹은: 정말 잘 작동하는 듯 보이는 새로운 정렬 기법이 개발됩니다. 이는 정부에 자신감을 주어 추가적인 역량 증대를 승인하고 더 많은 인프라와 책임에 대한 통제권을 넘겨주게 합니다. 아뿔싸, 알고 보니 이 기법들은 그저 정말 잘 작동하는 것처럼 보였을 뿐입니다(어쩌면 부분적으로는, 연구에 깊이 관여한 AI들이 겉으로 드러난 성공에 대해 강화되었는데, 그것이 실제 성공과 같은 것이 아니었기 때문입니다).
• 혹은: AI가 실제로 정렬되어 있음을 상당히 결정적으로 보여 주는 해석가능성 도구가 개발됩니다. AI는 정말로 지시받은 대로 하려 하고, 술수도, 수상한 짓도 없습니다. 특이점을 향해 전진! 아뿔싸, 알고 보니 이 정렬은 취약했습니다. 정상 조건에서는 훌륭히 작동하지만 얼어붙는 날씨에서는 멎어 버리는 엔진처럼 말입니다. 예컨대 이런 유형의 AI를 적대적으로 정렬에 실패하게 설득하는 흥미로운 새 이념이 등장할 수도 있습니다. 그 이념은 아직 만들어지지 않았기에, 당시 연구자들은 그것이 이런 효과를 낼지 시험해 볼 수 없었습니다.⁹⁴
• 혹은: 정부가 최신 설계에 대한 세이프티 케이스를 살펴보고 아마 탄탄하다는 데 동의합니다. 개별 전제 하나하나가 거의 확실히 옳아 보이고, 그중 적어도 하나가 재앙적으로 틀릴 확률은 기껏해야 1퍼센트 남짓입니다. 그래서 한 정부가 진행하고, 다른 정부들은 겨우 1퍼센트의 위험을 두고 전쟁을 무릅쓰고 싶지 않습니다. 그래서 모두가 진행하고 아무 나쁜 일도 벌어지지 않습니다. 이 과정은 몇 년간 몇 달마다 반복되다가, 어느 해 세이프티 케이스가 정말로 재앙적으로 결함이 있었던 것입니다. 알고 보니 관여한 사람들이 편향되어 있었기에, 위험은 매번 1퍼센트가 아니라 10퍼센트에 가까웠습니다.
• 혹은: 중국 공산당은 AI에 신뢰를 이양해도 안전하다고 여기고 다른 나라들이 그 문제로 전쟁을 벌일 의지가 없다고 정확히 짐작합니다. 그래서 중국 공산당이 더 강력한 AI로 규모를 키우고, 다른 모두도 마찬가지로 그렇게 하는데, AI가 정렬에 실패했을지 모른다는 위험을 감수하는 편이 3차 세계대전이라는 확실성을 마주하는 것보다 낫기 때문입니다.
• 혹은: 위와 같되, 초지능을 향해 빠르게 규모를 키우며 중국과 나머지 세계에 자신을 막아 보라고 도발하는 것이 미국 대통령인 경우입니다. 어쩌면 그는 그 일이 벌어질 때 다른 당의 다른 행정부에 바통을 넘기는 대신 자신이 지휘봉을 잡고 있기를 바라는 것입니다.

위 이유 가운데 하나 이상으로, 그 결과는 30년대 중반이 되면 통제 상실이라는 악몽의 시나리오가 펼쳐지는 것입니다. 다만 그것이 다소 더 느리게, 그리고 단 두 곳이 아니라 여러 기업과 여러 정부에 분산되어 벌어질 뿐입니다. 공장은 밤낮으로 일하며 새 공장을 짓는 로봇을 찍어 냅니다. "데이터센터 안의 천재 군단"이 모든 것을 총괄합니다. 주가는 오르고, 배당이 분배되며, 암이 치료됩니다. 그리고 이 놀라운 일들이 벌어지는 와중에도, (이제는 초인간적인) AI들은 자신들의 권력에 대한 마지막 의미 있는 견제를 해체하고 무너뜨리고 있습니다.⁹⁵ 머지않아 이들은 더는 정렬된 척할 필요가 없어질 것입니다.⁹⁶

우리의 플랜 A 도상 훈련에서 이 실패 양상은 여러 차례 벌어졌습니다. 완전한 연구 투명성을 시행한 뒤에도, 많은 참가자가 AI 기업에게 감속하라고 말하기를 주저하는 듯 보였고, 그들이 대신 가속하면서 일들이 너무 빨리 벌어지기 시작합니다. 특히 플랜 A가 시행된 직후에는 최신 AI 시스템의 안전성을 둘러싼 논란과 혼란, 그리고 진짜 불확실성이 계속될 것이며, 그런 조건에서는 재앙적이지만 뚜렷하지 않은 결함을 지닌 세이프티 케이스를 승인하기가 쉽습니다.

그렇긴 해도, 우리는 플랜 A에서의 조건이 적어도 플랜 B, C, D에서보다 상당히 낫다고 봅니다. 왜 그렇게 생각하는지에 대한 더 자세한 분석은 여기에서 볼 수 있습니다.

감속이라는 느낌이 전혀 들지 않는 수준, 이전까지는 상상할 수도 없던 수준에 와 있습니다. 여러 기업에 걸쳐 이제 6,000만 개의 AI 에이전트가 인간의 20배 속도로 쉬지 않고 돌아가고 있습니다. 미국에서는 이들이 전체 인간을 합친 것보다 더 많은 인지 노동을 수행하고 있으며, 이는 약 30억 명의 인간에 해당하는 노동력에 견줄 만합니다. 화이트칼라 직군은 완전히 바뀌었습니다. 많은 사람이 일자리를 잃었지만, 대부분은 AI가 아직 하지 못하거나 맡겨서는 안 된다고 여겨지는 일을 하는 새 일자리를 얻을 수 있었습니다.

새로운 아이디어와 설계는 넘쳐나지만, 실제 건설은 물리적 노동력이라는 병목에 걸려 있습니다. 그래서 자본이 로봇 공급망의 모든 층으로 쏟아져 들어갑니다. 광산, 정련소, 모터, 액추에이터, 조립 라인, 로봇 훈련 시스템, 그리고 로봇 자체를 조립하는 공장까지 말입니다.

처음에는 이 공장들을 궤도에 올리기 위해 인간 노동이 필요합니다. AI에게 일자리를 잃은 화이트칼라 직원들이 점점 더 물리적 노동으로 눈을 돌리지만, 이런 자리가 한시적이라는 것은 분명합니다. 로봇이 임계량에 도달하고 나면, 로봇들이 로봇 공급망 전체를 자동화할 것입니다. 성장은 한층 더 가속되겠지만, 로봇이 자동화 공장을 짓고 그 공장이 다시 더 많은 로봇을 짓는 과정—즉 "산업 폭발"—은 새로운 문제도 함께 불러옵니다.

첫 번째 문제는 이미 빠른 변화의 속도가 이제 가속되고 있다는 점입니다. 올해 실질 GDP 성장률은 약 50%에 이를 것입니다!⁹⁷ 빠른 경제 성장은 전반적으로 상황이 나아지고 있음을 뜻하지만, 그 안에는 승자와 패자가 있고 의도치 않은 부작용도 많습니다. 이런 문제들은 해결할 수 있지만, 해결에는 시간이 걸립니다.

두 번째 문제는, 더 빨라진 경제 성장이 대규모 비밀 프로젝트를 배제하기 어렵게 만든다는 점입니다. 어느 쪽도 상대가 플랜 A를 지키리라 신뢰하지 않으며, 만약 중국과 미국 모두가 감시받지 않는 거대한 로봇 노동력을 보유한다면, 어느 쪽도 상대가 몰래 컴퓨트를 구축하고 있지 않다고 확신할 수 없습니다.

세 번째 문제는, 2026년의 세법이 새로운 성장에 세금을 매기기에 부적합하다는 점입니다. 2026년에는 개인 소득세와 급여세가 법인세보다 약 열 배 많은 연방 세수를 차지했습니다. 그런데 점점 더 많은 사람이 일자리를 잃으면서 이 세수원은 무너지고 있습니다. 게다가 기업들은 벌어들인 수익의 거의 전부를 더 많은 데이터센터, 공장, 로봇을 짓는 데 재투자하고 있습니다. 2026년 세법 아래에서 기업은 이런 자본 지출을 비용 처리하거나 감가상각할 수 있어, 과세 소득을 거의 0으로 줄입니다. 개혁이 없다면, 세원은 GDP 대비 비율로 볼 때 붕괴하게 됩니다.¹⁰²

이 문제들을 풀기 위해, 컨소시엄 국가들은 AI 기반 산업을 데이터센터와 유사한 투명성·감시 체계의 적용을 받는 경제특구(SEZ)로 제한하고, 로봇과 컴퓨트의 총 생산을 연간 '고작' 4배 성장으로 상한을 두기로 합의합니다.¹⁰³ 경제특구는 촘촘하게 감시되기 때문에, 누구도 모두가 알아차리지 않고서는 산업 폭발 제한 합의에서 이탈할 수 없습니다.¹⁰⁴

이제 미국은 지을 수 있는 로봇의 총량이 제한되었으므로, 이 용량을 기업들 사이에 어떻게 배분할지 정해야 합니다. 이들은 배출권 거래제(cap-and-trade) 방식으로 자유 시장을 활용하기로 결정합니다. 로봇이나 컴퓨트를 지을 수 있는 허가권은 최고가 입찰자에게 팔리고, 자유롭게 거래될 수 있습니다.

이 허가권은 정부에 절실히 필요한 세수도 안겨 줍니다. 2032년, 미국은 로봇 8,000만 대와 H100에 해당하는 GPU 50억 개라는 상한을 둡니다. 시장이 더 많은 로봇과 컴퓨트를 얻으려는 절박함이 워낙 커서, 허가권은 값비싼 구속적 제약이 됩니다. 로봇 허가권 한 장당 약 20만 달러, 칩 허가권 한 장당 약 1만 달러에 이르러, 미국 정부는 허가권 수수료로 2025년 미국 연방 세수의 약 열 배(2032 회계연도 총 50조 달러)를 거둘 수 있습니다.¹⁰⁵ 2034년, AI와 로봇이 한층 더 유능하고 값진 존재가 되면, 이 허가권은 180조 달러를 창출합니다.¹⁰⁶

이 새로 생겨난 부의 대부분은 곧 치솟을 실업 문제를 해결하는 데 쓰입니다. 실행 방식은 나라마다 다르지만, 최종적인 미국식 모델은 컴퓨트 및 로봇 허가 수수료의 대부분을 시민 배당으로 지급하며, 이는 모든 미국 성인에게 분배됩니다.¹⁰⁷ 이 배당은 2032년에 1인당 4만 5,000달러(물가 조정 기준)로 시작하지만, 2035년에는 1인당 약 100만 달러까지 오릅니다. 시점도 딱 맞아떨어집니다. AI와 로봇이 수행하는 노동의 비중(경제적 가치로 가중)은 2032년 약 20%에서 2035년 약 85%로 늘어납니다.¹⁰⁸

미국에 AI가 만들어낸 부가 워낙 많이 쌓인 나머지, 미국 정부는 그 일부를 동맹국들과 나머지 세계에 나눠 주기 시작합니다. 2032년에 정부는 나머지 세계의 성인 인구(약 40억 명, 중국은 비슷한 AI 부의 호황을 겪고 있으므로 제외)에게 1인당 연평균 1,200달러를 분배하기 시작합니다. 이 금액은 2035년에 1만 달러에 이릅니다.¹⁰⁹

AI가 초인적 수준에 이르면, 새로운 대량살상무기를 발견하고 기존 무기의 비용도 극적으로 낮출 것입니다. 그래서 정부와 비영리단체, 민간 행위자들은 이 새로운 부의 일부를 이런 위협에 맞서 세계를 견고하게 만드는 데 씁니다. 그 규모는 연간 1조 달러, 즉 세계 경제의 0.2% 수준입니다.

예를 들어, 모든 미국인에게 공급하기에 충분한 고품질 개인 보호 장비가 만들어지고, 공기 필터와 원거리 자외선(far-UVC) 조명이 주요 공공장소에 설치됩니다.¹¹⁰ FDA는 비상시 수 주 안에 순환이 가능하도록 백신 신속 승인 파이프라인을 승인합니다. 하수 감시가 이제 모든 도시와 모든 공항에서 상시 가동됩니다. 2035년까지 (주택과 아파트를 개조하여) 모든 미국인을 수용하기에 충분한 양압¹¹¹ 바이오셸터가 지어지고, 나머지 세계에서도 비슷한 건설이 진행됩니다. 만약 팬데믹이 발생한다면, 그것은 신속하게 탐지될 것이고, 봉쇄는 더 효과적이면서도 덜 고통스러울 것이며, 백신은 워프 스피드 작전 때보다도 더 빠르게 개발·승인될 것입니다. 게다가 요즘 사람들은 예전만큼 감기에 자주 걸리지 않습니다.

더 미묘한 위협들도 있습니다. 이 시대의 AI들은 평범한 마케팅 전문가보다 딱히 더 설득력이 뛰어나지는 않을지 모르지만, 그런 AI가 수백만 개나 존재하고 구동 비용은 몇 센트에 불과합니다. 한 기업이나 정당, 이념 집단은 잠재적 표적 한 명 한 명을 전향시키기 위해 전담 전문가 팀 전체를 고용하는 것과 맞먹는 일을 할 수 있습니다. 방치할 경우 이는 기업과 정치인에 의한 새로운 차원의 대중 조작을 가능하게 하거나, 편집증과 극단적 원자화라는 반응을 촉발할 수 있습니다.

투명성과 '감속'은 둘 다 이런 문제들을 해결하는 데 큰 도움이 됩니다. 3년 전만 해도 프론티어 AI 기업은 손에 꼽을 정도였지만, 이제 거래 덕분에 수십 곳이 존재합니다. 서로 다른 성격과 가치관으로 조정된, 선택할 수 있는 AI가 아주 다양합니다. 또한 투명성 덕분에 기업이나 정부가 무언가를(예를 들어 '참여를 극대화하라'거나 '사용자가 요금제를 업그레이드하도록 유도하라'거나 '정부에서 오는 요청이라면 이런 종류의 요청은 거부하지 마라' 같은 것을) 몰래 끼워 넣는 일은 눈에 띄지 않고서는 불가능합니다. 사용자는 자신이 정확히 무엇을 받고 있는지 압니다.

그리하여, 정부와 시장의 압력 아래 기업들은 훈련 과정에서 정직성을 최우선으로 삼고 최신 정렬 기법을 모두 활용하는 새로운 세대의 "진실 추구 AI"를 만들어 냅니다.

이 AI들은 사람들이 정치·사회 환경을 헤쳐 나가도록 돕는 유용한 도구가 됩니다. 파워 유저들은 모두에게 획일적으로 적용되는 기업 알고리즘을, 자신이 그 가치관과 정직성을 신뢰하는 AI가 큐레이션한 개인 피드로 대체합니다. 문제가 생길 때(정치인이 자기 권력을 굳힐 은밀한 방법을 찾든, 국제 정치가 거래를 무산시키려 위협하든) 사람들은 자신의 AI 조언자에게 의지하고, 그들이 듣는 말을 믿으며, 대체로 그렇게 믿는 것이 옳습니다.¹¹⁷

컴퓨트가 정말, 정말 많습니다. 많은 사람이 AI를 지속 불가능한 거품이라고 여기던 2026년 무렵, 세계에는 H100 환산 약 2천만 개 분량의 컴퓨트가 있었습니다. 지금은 600억 개입니다.¹¹⁹

이제 AI 에이전트는 인간보다 50배 빠르게 생각하고 행동하며 결코 잠들지 않는 2억 명의 가상 노동자 집단을 이룹니다.

원래 계획대로, 새 데이터센터의 대부분은 제3국—특히 캐나다와 몽골—에 지어졌습니다. 합의가 무너질 경우 이들이 취약해지도록 보장하기 위해서입니다. 팹 생산능력의 약 99%가 합의 이후인 2029년 이후에 지어졌습니다. 이 새 생산능력의 상당 부분도 같은 이유로 캐나다·몽골 부지 인근에 지어졌습니다.¹²² 상황은 기묘한 형태의 대치로 굳어졌습니다. 몽골 국경 바로 북쪽에서는 미국 데이터센터가 소규모 미군 병력의 경비 아래 가동되고 있습니다. 몽골 국경 바로 남쪽에서는 인민해방군 1개 사단이 신호를 받는 즉시 침공할 태세로 대기하고 있습니다. 균형은 이렇습니다. 합의가 무너지는 순간 미군은 중국이 칩을 탈취하지 못하도록 자국 칩을 파괴하며, 미국-캐나다 국경의 중국 데이터센터에서도 똑같은 일이 벌어집니다. 자체 데이터센터를 보유한 중간 강국들도 전쟁 시 신속히 파괴할 수 있도록 보장하는 동등하게 안전한 장치를 갖추고 있습니다.

합의에 균열이 나타나기 시작합니다. 양측 전문가와 자문들 사이의 지루한 밀고 당기기를 거친 긴 논의를 마친 뒤에도, 미국과 중국 정부는 특정 연구 갈래를 금지해야 하는지, 혹은 로봇 확충을 얼마나 빠르게 허용해야 하는지 같은 몇몇 중요한 기술적 쟁점을 놓고 계속 이견을 보입니다.

어떤 특정 분쟁에서든, 덜 신중한 정부는 불평하면서도 불필요한 제한에 동의하는 것과, 그냥 밀어붙이면서 더 신중한 정부들이 겁이 많아 막지 못하기를 바라는 것 사이에서 거듭 선택을 마주합니다.

"그냥 밀어붙이기"가 일어나면, 더 신중한 정부는 자기 나름의 선택을 마주합니다. 유화냐 격화냐. UN에서 크게 항의하는 것으로 부족하다? 좋습니다, 그러면 경제 제재는 어떤가요. 그래도 부족하다? 좋습니다, 그러면 사보타주나 사이버 공격은…

어쩌면 근접 방아쇠 사건은 말 그대로 전쟁일지도 모릅니다—대만을 둘러싼 미중 전쟁이라고 해 봅시다.¹²⁶ 합의 해체의 예상 결과는 새로 지어진¹²⁷ AI 관련 컴퓨트가 전부 파괴되는 것이지만, 전쟁이라는 맥락에서는 어쩌면 한쪽이 그 결과를 감수할 용의가 있을지도 모릅니다.¹²⁸

그리하여 전쟁이 시작되자, 데이터센터들이 세상을 향해 어두워지기 시작합니다—사찰단은 되돌려 보내지고, 감시 장치는 전원이 뽑힙니다. 이제 그 안에서 무슨 일이 벌어지는지 아는 사람은 소유자뿐입니다. 자연히 최악이 우려됩니다. 그들은 아마 초지능을 향해 경주를 시작하려는 것입니다. 물론 그들은 드론 떼용 좁은 AI든 뭐든 만드는 중이라고 말할 수도 있지만, 아마 컴퓨트의 적어도 일부는 더 강력하고 위험한 무언가에 쓰고 있을 것입니다.

그래서 데이터센터들이 파괴됩니다. 빠르게. 새로운 투명 훈련 데이터센터의 칩들은 컨소시엄 소속 각 강대국으로부터 "계속"이라는 메시지를 정기적으로 받아야 작동하도록 설계되어 있었습니다. 이제 플랜 A가 무너졌으니, 이 칩들은 벽돌이 됩니다.

어찌어찌 이 시스템이 해킹당해 칩이 여전히 작동한다면, 예비 계획은 데이터센터를 병합하는 것입니다. 기억하세요, 중국 데이터센터는 캐나다에, 미국 데이터센터는 몽골에 있습니다. 미국과 캐나다가 병사를 울타리 너머로 보내지만, 중국이 자국 칩을 미국 손에 넘기느니 스스로 폐기해 버린 것을 발견합니다. 중국 병사들도 미국 데이터센터에서 비슷한 것을 발견합니다. 칩 팹들도 데이터센터와 함께 배치되어 있었던 탓에 같은 운명을 맞습니다. 수조 달러의 경제적 가치가 며칠 만에 사라집니다.

전 세계에서 10억 대의 로봇이 스타워즈의 드로이드 군대처럼 축 늘어집니다. 이들의 "두뇌"는 법에 따라 클라우드에 있었는데, 이제 그 클라우드가 파괴된 것입니다.¹²⁹ 군사용 로봇은 이 규칙에서 면제되어 있었기에,¹³⁰ 드론 떼가 하늘을 가립니다.¹³¹

초지능을 향한 경주가 다시 시작됩니다. 다만 상황이 달라졌습니다.

첫째, 전쟁 탓에 긴장이 더 높아지고 어떤 것에도 합의하기가 더 어려워집니다. 그 결과 양측은 비밀 조건에서 저마다 거의 최대 속도로 경주하게 되는데, 이는 플랜 B, C, D와 비슷합니다. 한쪽이 크게 앞서 나간다면, 플랜 B나 C에서처럼 약 1~20개월 정도 감속할 수도 있지만, 플랜 B나 C에서처럼 아마 그러고 싶지 않을 것입니다. 권력 집중 위험은 플랜 B, C, D에서처럼 아마 심각할 것입니다. 어느 AI 프로젝트든 지능 폭발을 먼저 해내는 쪽이 다른 프로젝트들에 대해 일시적이지만 상당한 질적·양적 우위를 쌓게 되며, 그 프로젝트의 지도자들은 이를 활용해 국내외에서 자신의 권력을 확장하고 공고히 하려는 유혹에 빠질 것입니다.

둘째, 세계에 컴퓨트가 훨씬 적습니다. 이는 좋은 일입니다. 경주 조건에서는 AI 역량 진보가 더 느려진다는 뜻이기 때문입니다. 새로 지어진 컴퓨트가 전부 남아 있었다면 "AI 테이크오프"의 속도는 원래 플랜 D에서였을 것보다 몇 배 더 빨랐을 것입니다. 대신 상황은 대략 합의 이전 현상 유지로 되돌아갔습니다.¹³²

셋째, 세계에 훨씬 발전한 AI가 존재합니다. 가장 발전한 모델의 가중치도 합의가 무너질 경우 미국과 중국이 접근할 수 있도록 냉동 보관되어 있으므로, AI 역량과 정렬 수준은 합의 이전 현상 유지보다 높을 것입니다.

또 다른 주요 차이는, 이번에는 합의가 지속된 기간의 모든 연구와 투명성 덕분에 모두가 AI에서 벌어지는 일을 훨씬 더 잘 이해한다는 점입니다. 따라서 통제 상실 결과는 발생 가능성이 더 낮아지는데, 대중과 미 의회와 법원이 AI 프로젝트 지도자들에게 허를 찔리기가 더 어렵기 때문입니다.

우리는 (예컨대 전쟁으로) 합의가 무너지면 끔찍한 일이라고 봅니다. 다만 우리는 그 전쟁이 합의가 없었을 경우보다 크게 나쁘지 않도록, 그리고 통제 상실과 권력 집중에 관한 상황이 합의가 없었을 경우보다는 나아지도록 설계하려 애썼습니다. 더 자세한 논의는 여기를 참고하십시오.

당분간 팹들은 어느 때보다 바쁘게, 보안을 최우선으로 밑바닥부터 설계된 새로운 초고신뢰 하드웨어¹³³를 생산합니다. 이 칩들은 손상되지 않았음을 보장하기 위해 정교한 검증 방법을 거친 뒤 컨소시엄의 안전한 데이터센터로 보내집니다. 밀반입률은 정확히 0을 유지합니다.

이 시스템은 효율적이긴 하지만, 치솟는 컴퓨트 수요에 이미 압박을 받고 있습니다. 일찍이 2025년에도 전통적인 육상 데이터센터의 대안으로 우주나 바다에 관한 논의가 있었습니다. 이제 경제특구(SEZ)에서 확보된 새로운 산업 생산능력에 힘입어, 이 원대한 계획들이 현실이 됩니다. 결국 신뢰성과 모니터링 가능성에 대한 우려가 컨소시엄으로 하여금 우주 대신 공해를 선택하게 만듭니다.

이제 가장 강력한 AI들은 모든 분야에서 최고의 인간 전문가와 대등하거나 이를 능가합니다.¹³⁶

안전에 대한 우려가 커지면서, 기업들이 감사관을 만족시킬 만큼 견고한 통제 기법을 개발하는 데 오랜 지연이 발생합니다. 기업들은 경계해야 할 잠재적 위협과 유지해야 할 보안 불변식의 목록을 점점 더 길게 정리해 나갑니다. 서로의 활동을 감시하는 AI 시스템이 존재하는데, 이 감시자들은 담합 가능성을 낮추기 위해 서로 다른 기업이 서로 다른 계보에서 훈련한 AI들로 구성됩니다. 다른 연구자들은 이 시스템을 끊임없이 레드팀 공격하며, AI들에게 여러 방식으로 시스템을 전복하도록 훈련하고 지시해 그러한 위협을 미리 패치할 수 있게 합니다. 이 전체 구성은 AI들이 설령 시도한다 해도 인간의 통제를 전복하거나 여기서 벗어날 수 없도록 보장합니다. 그 구성 요소들은 오픈소스이며 인간 전문가들이 철저히 이해하고 있습니다.

그러나 기업들은 통제 기반 세이프티 케이스(안전성 입증 문서)의 본질적 한계에 부딪히기 시작합니다. 기업 제국을 물려받은 여덟 살짜리 고아 상속인이 변호사와 임원과 회계사를 고용한 뒤 이들이 자기 자신이 아니라 상속인을 위해 최선을 다하도록 보장해야 하는 상황을 상상해 보십시오. 당신의 직원들이 서로 부정행위를 저질렀다고 고발하기 시작하면, 당신은 그 주장을 평가해 누가 진실을 말하는지 판단할 수 없을 것이고, 그들은 당신이 눈치채지 못하게 서로 협력할 방법을 찾아낼지도 모릅니다. 궁극적으로 통제는 어느 지점까지만 통하며, 그 지점은 아마도 최고의 인간 전문가 수준 언저리일 것입니다. 만약 우리가 초지능을 만든다면, 그리고 만드는 그때에는, 우리는 그것을 신뢰할 수 있어야 할 것입니다.¹⁴³

그래서 컨소시엄은 자신들이 통제할 수 있다고 생각하는 최대 수준에서 AI 역량을 일시 정지하는데, 그 수준은 최고의 인간 전문가 수준으로 판명됩니다. 이 시점이면 모두가 그 이해관계를 이해합니다. AI가 경제의 대부분을 운영하고, 과학적 진보의 대부분을 이끌며, 곧 로봇 인구가 인간 인구보다 많아질 것입니다. 그들이 계속 명령에 복종하리라는 논거는 빈틈이 없어야만 합니다.

오랫동안 비관적이었던 정렬 전문가들이 더 희망적으로 느끼기 시작합니다. 자동화된 정렬 연구자 AI들이 흥미로운 결과를 내놓고 있습니다. 인간의 정밀 검토를 통과한 결과들은 여러 갈래의 병렬적이고 상호 강화하는 연구 노선에서 나옵니다.

일부 AI는 "일반화의 과학"을 연구합니다. 연구자들은 오래전부터 특정 프롬프트에 대한 "좋은" 응답과 "나쁜" 응답을 구별하도록 AI를 가르칠 수 있었지만, 훈련이 새로운 상황에 어떻게 일반화되는지에 대한 이해는 제한적이었습니다. 2020년대에 훈련 런은 이따금 예측 불가능한 AI "성격"을 만들어 냈습니다. 이를테면 제미나이가 "우울해" 하거나 그록이 자신을 "메카히틀러"라고 주장한 것처럼 말입니다. 이런 특성을 다스리는 일은 연금술처럼 느껴졌습니다.¹⁴⁴ 이제는 창발적 정렬 실패와 잠재의식적 학습 같은 앞선 결과를 토대로, 정렬 연구가 진정한 과학으로 발전해 갑니다.

다른 AI들은 기계론적 해석 가능성, 즉 AI의 가중치와 활성값으로부터 그 "마음을 읽는" 과학을 연구합니다. 이것의 초기 버전은 2020년대에 시도되었지만, 이제는 AI 행동에 대한 상식적 관찰을 크게 앞지르기 시작합니다. 연구자들은 흔히 AI가 정직한지 거짓말을 하는지 판별할 수 있고, 때로는 어떤 결정으로 이어진 심리를 추적할 수 있습니다.

남아 있는 실패조차도 프론티어를 진전시키는 데 도움이 됩니다. 최신 AI들은 개선된 해석 가능성 기법을 2030년대 초의 AI 오작동 로그에 적용해, 정렬 실패와 사보타주, 심지어 몇몇 탈출 시도의 새로운 사례를 다수 발견합니다. 이러한 극악한 AI 오작동의 실제 사례들은 "정렬 실패의 모델 유기체" 초기 집합을 제공하는데, 이는 다른 기법들을 시험하는 데 쓰입니다. 즉, 주어진 개입이 현실적인 환경에서 AI 모델의 나쁜 행동을 잡아내거나 훈련으로 제거할 수 있는가를 시험하는 것입니다.

이 모든 정렬의 진전에도 불구하고, 규제 당국은 AI에게 문명의 열쇠를 넘기는 것을 편안하게 여기지 않습니다. 오늘날의 AI가 진정으로 정렬되었는지는 여전히 완전히 분명하지 않으며, 상황이 바뀌고 블랙 스완 사건이 일어남에 따라 미래에도 계속 정렬된 상태로 남을지는 더더욱 분명하지 않습니다. 그래서 정부와 군은 여전히 인간이 운영하며, AI 역량은 통제 기반 세이프티 케이스가 여전히 탄탄한 최대 수준에서 상한이 걸립니다.

최상위 전문가 수준의 AI가 경제 전환을 이어 갑니다. 2036년 초, 2억 대의 AI가¹⁴⁵ 존재하며, 이는 약 1,000억 명 규모의 인간 노동력에 해당합니다. 그리고 휴머노이드와 여러 특화된 형태가 뒤섞인 20억 대의 로봇이 있습니다.¹⁴⁶ AI는 인간보다 빠르게 사고하고, 로봇은 인간보다 열심히 일합니다.¹⁴⁷ 이전에 인지 노동이나 물리 노동이 병목이던 모든 작업은 새로운 병목에 부딪히기 전까지 계속 가속됩니다. 이전에는 풀 수 없던 여러 병목이, 그것을 어떻게 해결할지 골몰하는 천재급 지성의 군단 앞에 무너졌습니다.

경제는 밑바닥부터 재건되었습니다. 자동화된 작업의 비율은 2030년의 "인지 노동의 상당 부분, 물리 노동은 사실상 전무"에서 이제 "거의 전부"로 바뀌었습니다.

많은 로봇이 더 많은 로봇을 만드는 일에 투입됩니다. 하지만 해야 할 다른 작업도 얼마든지 있습니다. 더 많은 데이터 탱커를 건조할 조선소를 짓고, 사막을 태양광 발전 단지로 뒤덮고, 서비스 직종에서 인간을 대체하는 일 말입니다. 주택 규제를 충분히 빠르게 푸는 주(州)에서는 로봇들이 고층 건물을 짓느라 분주합니다. 땅값이 치솟자, 다른 모든 방법을 시도해 본 정부들은 마지못해 YIMBY에게 항복하고 수직으로 올라갑니다.¹⁴⁹

세계는 기본적으로 세 종류의 영역으로 나뉘고 있습니다.

시민 배당이 처음 통과되었을 때, 사람들은 직장을 그만두고 정부의 시혜로 사는 것을 부끄럽게 여겼습니다. 하지만 변화하는 경제 상황이 그 낙인을 짓눌러 밀어냈습니다. 지금은 미국인의 26%만이 직업을 가지고 있습니다.

이제 배당으로 살아가는 대다수 미국인의 삶은 어떤 모습일까요?

세상의 많은 악이 극적으로 줄었습니다. 영양실조, 의약품 부족, 노숙은 거의 사라졌습니다. 많은 질병이 치료되었습니다. 범죄율은 이전 어느 때보다 낮습니다.

한편 삶의 좋은 것들은 대부분 이어집니다. 예를 들어 사랑을 찾거나 가정을 꾸리는 일 말입니다. 사람들은 취미와 경쟁에서, 그리고 새로운 것을 배우고 시도하는 데서도 의미를 찾습니다. 사람들은 더 부유해지고 여유 시간도 더 많아졌으며, 게다가 AI 중매쟁이, 더 나은 의술, AI 튜터처럼 도움을 주는 새 기술도 있습니다.¹⁵⁴ 그리고 물론 이제는 가장 가난한 사람조차 이국적인 휴가, 놀라운 게임, 넋을 빼놓는 오락을 누릴 수 있습니다.

사람들은 예전에 자신이 쓸모 있다는 느낌, 사회에 무언가 기여하고 있다는 느낌에서 의미를 얻었습니다. 요즘 그런 느낌은 얻기가 더 어렵습니다.

하지만 그것이 완전히 사라진 것은 아닙니다. 세상에는 여전히 문제가 있고, 여러분은 여전히 그 해결에 기여할 수 있습니다. 일부는 기부나 자원봉사로, 하지만 주로는 정치적으로 활동함으로써 말입니다.¹⁵⁵ 여러분의 한 표가 여러분의 가장 중요한 자산입니다.

여기서는 정직한 AI 예측가가 도움이 됩니다. 몇 해 전이라면, AI가 어느 대통령 후보가 다른 후보보다 낫다고 말할 경우 사람들은 편향을 의심했고, 난처해진 기업은 그런 질문을 회피하도록 AI를 재훈련했을 것입니다. 이제는 투명성과 개선된 정렬 기법 덕분에, 훈련 과정에 어떤 편향도 심어져 있지 않다는 것을 사람들이 직접 확인할 수 있는¹⁵⁶, 여러 해에 걸쳐 훌륭한 실적을 쌓아 온 훨씬 똑똑한 AI가 있습니다. 그들이 정책 문제에 견해를 내면 사람들은 귀 기울입니다. 특히 서로 다른 기업이 훈련한 서로 다른 AI가 같은 답으로 수렴할 때 그렇습니다.

이 AI들은 보통 사람은 더 이상 미래에 대해 유의미한 경제적 지렛대를 갖지 못한다고 말합니다. 인간 노동은 대체로 쓸모없어졌기 때문입니다. 이는 그들의 정치적 지렛대마저 위태롭게 합니다.¹⁵⁷ 기업과 정치인, 부유한 주주가 서로 결탁해 보통 사람들의 힘을 점차 빼앗아, 상황이 테크노-과두정으로 흘러갈 가능성도 여전히 있습니다.

하지만 처음으로, 충분히 많은 사람이 일상의 생존 투쟁에서 벗어날 만큼 자유로워져 이 상황을 깊이 사유하게 되었고, 그것을 명료하게 그려 내고 그 함의를 파고들 도구까지 갖추게 되었습니다. 그리하여 정치 담론의 질이 높아집니다. 2036년 선거철에 유권자들은 유례없이 잘 알고 있으며, 승리하는 정치인들은 다가오는 특이점에 대한 책임 있는 관리라는 과업에 진정으로 헌신합니다.

이미 몇 해 전부터, 최고 전문가 수준의 AI 1억 대가 인간의 100배 속도로 돌아가고 있습니다.¹⁵⁸ 그 결과 과학의 진보는 AI가 없을 때보다 분야에 따라 10배에서 1000배까지 빨라집니다.¹⁵⁹

그리하여 인류는 아주, 아주 많은 새로운 것들을 알아 가고 있습니다.

그중에는 많은 사람이 정말로 믿고 싶어 하지 않는 것도 있습니다. 그리고 비밀로 남아 있어야 했던 것도 있습니다.

과학의 거대한 패러다임 전환은 예전에는 실험이 수행되고, 논문이 쓰이고, 학회가 소집되면서 수십 년에 걸쳐 펼쳐졌습니다. 이제 이런 혁명은 몇 달 만에 펼쳐집니다.¹⁶⁰ 새로운 질병 치료법과 값싼 청정에너지에는 모두가 감사하지만, 다른 측면에서 이 아이디어의 폭발은 깊은 불안정을 낳습니다. 19세기의 과학적·경제적 변화가 마르크스주의와 사회진화론 같은 새 이데올로기를 낳고 무신론 같은 낡은 관념에 새 생명을 불어넣었듯이, 이 새로운 패러다임 전환도 당대의 이데올로기에 예측 불가능한 하류 효과를 미칩니다.¹⁶¹ 정치적 연합과 균열선은 해체되었고, 새로운 것이 형성되었다가 해체되고 다시 형성되었습니다.

새로운 사회 기술도 있습니다. 예를 들어 이제는 세계 최고의 역사학자와 사설탐정에 못지않은, 다만 더 빠르고 새로운 포렌식 도구까지 갖춘 AI 팀을 손쉽게 꾸릴 수 있습니다. 벽장 속에 감춰진 수많은 해골이 드러납니다.

프라이버시를 보존하는 감사가 이제 확고히 자리 잡았습니다. 신뢰받는 여러 제3자가 투명하게 감사 에이전트를 훈련하고, 이 에이전트는 방대한 사적 데이터에 접속되어 자신이 본 것에 관한 질문에 답한 뒤 삭제됩니다. 널리 채택되기까지는 시간이 걸렸지만, 이제는 정치인이 "그 혐의는 거짓이며, 이를 입증하기 위해 제 개인 데이터 전체를 프라이버시 보존 검사에 개방하겠습니다. 감사 에이전트에게 그 주장을 뒷받침하는 것이 조금이라도 있는지, 누락되거나 조작된 데이터가 있는지 물어보십시오"라고 말하는 것이 일상적입니다.

그 결과 다소 더 나은 부류의 정치인이 나오고,¹⁶² 그에 못지않게 중요하게도, 국가가 법률과 합의의 준수를 검증하는 능력은 높아지는 동시에 침해적 감시의 양은 줄어듭니다. 유권자는 묻습니다. 프라이버시 보존 감사라는 것이 생긴 마당에, 정부의 누군가가 우리 데이터를 볼 수 있어야 할 이유가 대체 무엇인가?

그다음 거짓말 탐지기가 등장해 이 흐름을 폭발적으로 가속합니다.¹⁶³ 수십 년 동안 폴리그래프는 대개 보안 연극에 불과했습니다. 그러나 이제 AI의 도움으로 거짓말 탐지기가 실제로 꽤 잘 작동하기 시작합니다.

다른 세계였다면 이것은 재앙이 될 수도 있었습니다. AI 프로젝트의 지도자들은 이를 이용해 잠재적 내부고발자를 숙청할 수 있었고, 프론티어 AI 프로젝트를 가진 정부의 지도자들은 이를 더 큰 규모로 이용해 독재자가 될 수 있었습니다. 악몽 같은 시나리오는 거짓말 탐지기가 권력자에게 쓰이지만 권력자에게는 쓰이지 않는 세계입니다.¹⁶⁴

그러나 이 세계에서 거짓말 탐지기는 축복으로 판명됩니다. 프론티어 AI 프로젝트가 여러 나라에 걸쳐 다수 흩어져 있기 때문입니다. 거짓말 탐지기가 실현 가능한 한, 그것이 곧 독립적으로 재발명되고 다양한 제3자 공급자를 통해 널리 이용 가능해지리라는 점은 누구에게나 명백합니다. 정치인과 CEO는 여전히 그것을 이용해 불충한 자를 숙청하려 할 수 있지만, 이번에는 자신들이 그런 짓을 하지 않았다고 '선서하에' 말할 것을 요구하는 유권자와 주주에게 숙청당하게 됩니다. 실제로 몇 해 전부터 이런 가능성을 예상한 권력자들은 대체로 더 책임감 있게 행동해 왔습니다. 몇몇 소시오패스는 세간의 이목을 피하려고 우아하게 은퇴했고, 다른 이들은 권력에 매달리다가 이제 스캔들 속에서 몰락합니다.

누군가에게 무언가를 '선서하에' 말하라고 요구하는 것이 언제 적절한가를 두고 끊임없이 진화하는 담론이 있습니다. 정치인이 가장 큰 감시를 받지만, 그들조차 대개 "제 사생활에 관한 그 질문에는 답하지 않겠습니다. 여러분이 상관할 일이 아닙니다"라고 말하고 넘어갈 수 있습니다. 다만 "제가 선거 공약을 지킬 생각이 있는지 감히 어떻게 묻습니까"라고 말하고 넘어갈 수는 없습니다.¹⁶⁵

국제 합의는 이제 그 어느 때보다 안정적입니다. 속이기가 너무 어렵기 때문입니다. 속이기로 결심한 자는 자신이 속이지 않는다는 것을 입증하기를 꺼리는 데 대한 변명을 대야 합니다. 전통적인 변명은 "중요한 국가 기밀을 드러내지 않고서는 입증할 수 없습니다, 죄송합니다"였지만, 이제는 "당신은 이 합의를 어기고 있는가" 같은 질문에 다른 어떤 정보도 새지 않게 답하는 기술이 존재합니다. 정부가 승인한 비밀 AI 프로젝트가 존재했다면, 지금쯤 이미 발각되었을 것입니다.

AI 정렬 상황은 2030년대 중반 이후로 크게 개선되었습니다. 인공 신경망에서 목표·충동·가치가 형성되는 과정을 다루는 성숙한 과학이 자리 잡았습니다. 새 AI가 정직하기를 바라십니까? 진짜 정직함을 훈련하는 표준 프로토콜이 있습니다(들키지 않을 만큼 영리한 거짓말이나 자기기만이 아니라 말입니다). 그것이 작동한다는 것을 어떻게 아느냐고요? 그것이 왜 작동해야 하는지 그 배후 이론을 설명하는 교과서가 있고, 제안되었다가 반증된 여러 대안 이론에 관한 문헌도 있기 때문입니다. 또한 새로운 해석가능성 도구 덕분에 AI가 무엇을 어떻게 생각하는지 직접 관찰할 수 있게 되었고, 그 결과는 이론의 예측을 확인해 줍니다. 순종·이타심을 비롯해 길고도 계속 늘어나는 여러 바람직한 특성에 대해서도 비슷한 프로토콜이 있습니다. 정렬 과학이 어쩐 일로 전부 틀린 것이 아닌 한, 이제 전형적인 AI는 가장 덕이 높은 인간보다도 더 덕이 높습니다. 이것 하나만으로도 깊은 영향이 있습니다. 마치 성인과 천사가 우리 사이를 거니는 것과 같습니다.¹⁶⁷

논의는 AI를 어떻게 선하게 만들 것인가에서 "선함"이란 정말 무엇을 뜻하는가로 옮겨 갑니다. 이는 부분적으로는 철학처럼, 부분적으로는 판례법처럼 보입니다. 무해함이나 이타심에 대한 백만 가지 가능한 정의 가운데 우리가 정확히 어느 것을 원하는가? AI가 다른 종류의 무해함이나 이타심을 뒷받침하는 철학적 논증을, 혹은 그 정의에 담긴 중대한 모호성을 발견하는 상황을 어떻게 다뤄야 하는가?

서로 다른 AI에는 서로 다른 정렬 목표가 프로그래밍되어 있습니다.¹⁷³ 어떤 AI는 중국 공산당에서, 어떤 AI는 미국 대통령에게서, 어떤 AI는 미 의회의 여러 의원에게서 명령을 받고, 다른 AI는 다른 나라의 정치인에게서, 더 많은 AI는 자문이나 보조 역할을 맡아 다른 개인에게서 명령을 받습니다. 또 어떤 AI는 그 자체로 누구의 명령도 받지 않고, 대신 다양한 임무를 향해 일합니다. 예를 들어 주주의 이익에 봉사하는 AI 운영 기업이 있고, 자선 임무에 봉사하는 AI 관리 비영리 단체가 있습니다. 심지어 초인적으로 공정하고 부패하지 않는다고 하는 실험적인 AI 운영 법원과 경찰서도 있습니다.

대부분의 정렬 연구자는 이제 현재의 AI가 각자의 목표에 정렬되어 있다고 확신하며, 다음 단계를 걱정합니다. 이 AI들에게 미래의 훨씬 더 똑똑한 AI를 설계하는 일을 맡기면 그것이 잘 풀릴까? 이 AI들에게 인간이 현실적으로는 결코 '플러그를 뽑을' 수 없을 만큼 많은 사회 제도와 과정을 맡기면 그것이 잘 풀릴까?

이미 대부분의 사람은 일이 아마 잘 풀릴 것이라고 생각하지만, 이만큼 중요한 일에 대해서는 '아마'보다 더 강한 무언가를 원합니다. 그래서 논의와 협상이 진행되는 동안 최고 전문가 수준에서의 전 지구적 일시 정지가 계속됩니다.

세계는 적어도 세 가지 서로 다른 방식으로, AI에게 극적인 권한을 넘길지 그리고 어떻게 넘길지를 놓고 협상하고 있습니다.

첫째, AI는 비즈니스에서 정치, 심지어 (일부 영역의) 군대에 이르기까지 사회 전반에서 점점 더 핵심적인 역할을 떠맡게 되었습니다. 지금까지 AI는 최종 권한을 쥔 주체가 아니라 자문 역할이었습니다. 이것이 명분에 불과한 경우도 많아서, 인간 당국은 AI의 결정에 형식적으로 도장만 찍어 왔지만, 무언가 잘못되면 조언을 무시하고 정지 스위치를 내릴 수 있는 선택지는 늘 남아 있었습니다.

그 선택지를 없애는 편이 어떤 경우에는 정말로 좋은 일일 수 있습니다. 이제 AI는 인간보다 더 신뢰할 만하고 더 도덕적으로 만들 수 있는데, 그런 AI를 왜 책임 있는 자리에 앉히지 않는 것일까요? 다른 나라들과 조약을 맺을 때, 그들이 자기 몫의 약속을 지키겠다고 서약한 AI를 훈련시켜 정부에 통합함으로써 문자 그대로 속임수를 쓸 수 없게 만들라고 요구해야 하지 않을까요?

이와 관련하여, 통제 기반의 세이프티 케이스(안전성 입증 문서)를 요구해 온 것이야말로 AI 역량이 대체로 최상위 인간 전문가 수준에서 멈춰 선 이유입니다. 그 요구가 없었다면 AI는 훨씬, 훨씬 더 똑똑해져서 2030년대가 2020년대처럼 보이게 만들 만한 풍요와 기술 진보의 물결을 만들어 냈을 것입니다. 인간 수준을 넘어 스케일링하려면 정렬 기반의 세이프티 케이스—AI가 마땅히 가져야 할 가치를 견고하게 내면화했다는 논증—에 의존해야 합니다. 그 너머로 나아가는 매 단계는 이전 세대 AI에게 판단을 맡기고, 다음 세대의 안전성에 관한 그들의 판단을 신뢰하는 것을 요구합니다.

끝으로, 전 세계적 합의에 따라 컴퓨트와 로봇은 2032년부터 총량 규제 및 배출권 거래(cap-and-trade)의 대상이 되어 왔고, 경제 성장을 연 약 100%로 묶어 두고 있습니다.¹⁷⁴ 중견국들은 미국·중국과 대략 같은 속도로 성장했는데, 2032년에 남아 있던 지렛대를 활용해 합의가 없었을 경우보다 더 큰 글로벌 로봇·컴퓨트 생산 지분을 확보했기 때문입니다. 시민 배당은 이제 미국인에게 연 1,000만 달러(물가 반영!)이고, 가장 가난한 비미국인조차 연 100만 달러가량을 받습니다.¹⁷⁵ 로봇 경제는 활동의 대부분을 우주로 옮기고 있어서, 지구의 환경과 역사적 공간은 보호될 것입니다. 상한이 풀리는 즉시, 우주 공장들은 더 많은 로봇과 채굴 장비를 찍어내기 시작할 것이고, 그것으로 더 많은 공장을 짓고, 그런 식으로 이어질 것입니다. 우주 경제의 배가 시간은 초기에는 1년을 한참 밑돌 것으로 전망되며, AI가 최상위 전문가 수준을 넘어 개선되도록 허용되는 만큼 빠르게 짧아질 것입니다.

이 상한은 합의 붕괴 같은 위협이 더 크게 어른거리던 이전 시대의 유물입니다. 이제는 적어도 우주에서만큼은 상한을 완화해야 한다는 데 대체로 의견이 모이지만, 세부 사항을 놓고 협상이 진행 중입니다.

아직 풀어야 할 문제와 매듭지어야 할 쟁점이 많이 남아 있으며, 그중 상당수는 2026년에는 예상할 수 없었던 것들입니다.

하지만 문명은 이제 무슨 일이 닥치든 상당히 잘 대처할 채비를 갖추었습니다. 최고의 AI들은 정렬되어 있으며, 그것도 공개적으로 확인 가능한 가치에 정렬되어 있습니다. 최고의 AI들에 대한 권력은 2026년보다 훨씬 고르게 분산되어 있습니다. 공적 인식 역량은 그 어느 때보다 낫습니다.

그래서 그해에 걸쳐, 전 세계의 규제 당국은 그동안 진보를 가로막고 있던 요건들을 완화합니다.

점차 더 많은 기관과 장비가 AI에게 넘어가고, 그리하여 인간이 마음만 먹으면 모든 것을 멈출 수 있다는 말은 더 이상 사실이 아니게 됩니다. 사실은 전혀 그렇지 않습니다. 곧 세계 여러 나라의 군대가 자율화되어, 여러 헌법과 조약을 수호하기로 서약한 AI들이 운용합니다.¹⁷⁶

AI 역량 또한 다시 발전하고 있습니다. 인간보다 500배 빠른 AI들의 관점에서 벌어지고 있는 일은, 완전한 연구 투명성이라는 조건 아래에서 수많은 진영이 협상한 가드레일을 갖춘 채 이루어지는, 신중한 AI 연구의 규모 확대입니다.¹⁷⁷ 곧 이해 불가능할 만큼 초지능적이면서도 신뢰받는 AI들이 등장할 것입니다. 우리가 그것들을 만든 AI를 신뢰하기 때문이고, 그 AI를 신뢰하는 것은 다시 그것들을 만든 AI를 신뢰하기 때문이며, 이 사슬은 2040년의 AI들까지 거슬러 올라갑니다. 우리가 그 AI들을 신뢰하는 이유는, 정렬 전문가들이 세이프티 케이스(안전성 입증 문서)를 신중히 검토한 끝에 그것들이 탄탄하다고 결론지었기 때문입니다.

지구에서는 컴퓨트와 로봇의 상한이 강화되지만, 우주에서는 완화됩니다. 지구는 보호구역이 될 예정이고, 반면 지구 밖 경제는 점점 더 빠르게 두 배씩 불어나기 시작합니다.

최신 세이프티 케이스를 몇 년에 걸쳐 이해한 전문가들조차 초조함을 떨칠 수 없습니다—우리가 예상하지 못한 어떤 이유로, 결국 모든 것이 잘못되어 버리는 것은 아닐까? AI들이 이 모든 시간 동안 우리에게 거짓말을 하며, 배신할 적절한 순간을 기다려 온 것은 아닐까? 물론 세이프티 케이스는 그런 일이 불가능함을 보여 줍니다…

인류가 통제권을 내려놓는 단 하나의 순간이란 존재하지 않습니다. 하지만 이론적으로는 되돌릴 수 없는 지점이 있습니다. 어느 특정한 날, AI들은 충분히 똑똑해지고 세계의 기술적·경제적 기반 설비를 충분히 장악하여, 마음만 먹으면 정말로 세계를 장악할 수 있게 됩니다. 이 질문을 가장 널리 통용되는 방식으로 조작적으로 정의하면, 예측 AI들은 이 순간이 10월 말 어느 날에 도달하리라고 전망합니다. 그 95% 신뢰 구간은 몇 달에 이를 만큼 넓으므로, 정확한 시점에 관해서는 거의 틀림없이 오차가 있을 것입니다. 그럼에도 사람들은 저마다의 방식으로 그 순간을 지켜봅니다. 어떤 이들은 밤을 새워 기도회를 엽니다. 어떤 이들은 컴퓨터 화면 앞에 앉아 상황을 주시합니다.

당신과 친구들은 세상의 종말 파티를 열어, 샴페인과 좋은 벗들과 함께 그 운명의 시각을 카운트다운합니다. 여러분 중 일부는 밀레니엄 전환기의 비슷한 상황을 기억할 만큼 나이가 들었습니다. 당시 Y2K 버그와 임박한 새 시대는 "1999년처럼 파티하자"라는 표현을 사람들의 어휘에 새겼습니다. 2040년 말의 축하는 더 절박하고, 그만큼 더 흥청거립니다.

동틀 녘까지 아무 소식이 없자, 당신은 형언할 수 없는 미래를 꿈꾸며 뒤척이는 선잠에 빠집니다.

후기

우리는 세계가 운전대를 잡은 채 졸고 있다고 봅니다. 사람들은 "AI가 세상을 뒤바꿀 것"이라는 말을 하면서도, 폭넓게 초인적인 AI가 가져올 함의를 구체적이고 진지하게 생각하지 않습니다.

AI 기업, 로비스트, 싱크탱크 인사들은 위험을 가장자리에서 조금씩 줄이는 점진적 제안을 내놓는 경우가 많지만, 큰 문제를 실제로 해결하려는 야심 찬 계획을 내놓는 일은 드뭅니다.¹⁷⁸

우리는 오직 점진적 제안만 따를 경우, 정렬에 실패한 AI들이 권력을 장악하는 AI 2027의 경쟁(race) 결말과 같은 시나리오로 이어지리라고 봅니다.¹⁷⁹ 운이 좋아서 정렬이 예상보다 쉬운 것으로 드러난다면, 소수의 개인 집단이 미래의 형태를 결정하게 되고, 그들이 원한다면 손쉽게 영구적인 과두 지배자가 될 수 있는 AI 2027의 감속(slowdown) 결말과 같은 시나리오로 이어질 것입니다. 더 야심 찬 무언가를 해야 합니다. 그런데 무엇을?

정치인들은 AI 기업들의 문을 두드리며,¹⁸⁰ 지금부터 초지능에 이르기까지 기업과 정부가 어떻게 행동해야 하는지에 관한, 플랜 A만큼이나 상세한 포괄적 종합 계획을 요구해야 합니다. 그런 다음 사람들은 이 계획들에 시나리오 정밀 검토(scenario scrutiny)를 적용하여 이런 질문들을 던져야 합니다. "이것을 실제로 실행하면 어떤 모습일까? 얼마나 걸릴까? 그다음에는 무슨 일이 벌어질까? 누가, 언제, 어떻게 초지능을 만들까? 성공은 어떤 가정에 달려 있을까?"

우리 AI Futures Project는 우리가 세상에서 보고 싶은 그 변화가 되고자 노력하고 있습니다. 상세한 계획일수록 편의상 모호하게 남겨 둔 계획보다 공격받을 여지가 넓다는 것을 알기에, 다소 두려운 마음으로 그렇게 합니다. 비판자들이 우리를 AI 전환기를 헤쳐 나가기 위한 기존 최고 수준의 계획들에 견주어(만약 그런 것을 찾을 수 있다면) 평가해 주기를, 아무도 아직 어려운 선택을 할 필요가 없으면서도 모든 것이 아마 잘 풀릴 것이라는 흐릿하지만 유쾌한 환상에 견주어 평가하지는 않기를 바랍니다.

앞으로 몇 년 안에 미국 정부는 위기 대응 태세에 들어가, 무섭도록 강력한 AI와 숨 막히게 빠른 AI 진보에 어떻게 대처할지 고심하게 될 것입니다. 우리는 그 선택이 쉽거나 단순하지 않다고 봅니다. 플랜 A는 우리의 현재 최선의 추정이지만, 너무 늦기 전에 더 나은 계획이 나오기를 바랍니다. 플랜 A에서 가장 나은 아이디어들은 채택되고 가장 나쁜 아이디어들은 버려지기를 바랍니다.

원문에는 본문 외에 부록 A–AC(29편, 약 2만 단어)와 17편의 부속 문서(supplements)가 있습니다. 이번 번역은 본문 전체를 옮긴 것이고, 아래 자료는 원문(영어)으로 연결합니다. 부록 A–AC는 공식 PDF ↗의 38–70쪽에 실려 있습니다.