고스트건, 리신, 핵전쟁 오경보
— AI가 진짜로 위험해지는 방식

진짜 위협은 AI가 아니라, AI를 쓰는 사람

미국 국가안보 싱크탱크 Future of Life Institute의 AI 정책 전문가 함자 차우드리는 인류가 AI로 멸망하는 시나리오를 크게 두 갈래로 나눈다. 하나는 AI가 스스로 통제를 벗어나는 공상과학적 경로. 다른 하나는 훨씬 단순하다 — AI가 아무리 발전하든, 혹은 순전히 과장된 기술이든 상관없이, 사람이 그걸 나쁘게 쓰는 경로다.

그는 원래 핵무기와 생물무기 같은 전통적 대량살상무기 정책을 국무부에서 다루던 전문가다. 그런 그가 요즘 AI를 붙잡고 하는 얘기는 결국 같은 이야기라고 말한다. AI가 기존의 핵·생물·사이버 위협을 더 쉽게, 더 값싸게 만들어준다면, AI 자체가 이미 그 위협의 일부라는 것이다. 그의 표현을 빌리면, AI라는 기술의 '범용성' 자체가 이 문제를 말하기도 어렵고 생각하기도 무서운 이유다.

그가 그리는 이야기는 하나의 인물로 시작해 점점 스케일이 커지는 구조를 갖는다. 처음엔 그저 신기해하는 조카, 그다음엔 총을 원하는 사촌, 그다음엔 극단화된 10대, 마지막엔 국가 단위 행위자까지. 같은 작업 방식이 그대로 반복되며 피해 규모만 기하급수적으로 커진다는 게 그의 핵심 주장이다.

플라스틱 큐브에서 고스트건까지

차우드리가 드는 예시는 단계적으로 무서워진다. 시작은 순진하다 — 조카가 챗봇으로 3D 프린터 도면을 설계해 작은 플라스틱 큐브를 뽑아냈다는 이야기다.

문제는 같은 방식이 총으로도 이어진다는 것. '고스트건'이라 불리는 미등록 3D 프린터 총기는 원래도 다크웹에서 도면을 구할 수 있었지만, 미국 각 주(州)는 3D 프린터가 알려진 총기 도면을 인식해 차단하도록 규제해왔다. 문제는 AI 챗봇에 몇 마디만 던지면 이 필터를 피해가는 새 도면을 받거나 기존 도면을 살짝 바꿀 수 있다는 것 — 총기 제작 지식이 없는 사람도 검색엔진이 아니라 AI를 이용하면 원하는 걸 훨씬 효과적으로 얻을 수 있다는 게 그의 지적이다.

리신, 폴리오, 그리고 국가 단위로 커지는 위협

여기서 시나리오는 한 단계 더 나아간다. 총이 아니라 생물무기로.

차우드리는 최근 연구들이 리신과 폴리오 같은 병원체 합성 가능성까지 들여다보고 있다고 말한다. AI 챗봇에게 리신이나 폴리오 효과를 흉내내는 단백질 서열 계산을 요청하고, 그 결과를 DNA 합성 실험실에 주문으로 넣는 방식이다. 이런 실험실들도 유해한 주문을 걸러내는 소프트웨어를 갖추고 있지만, AI가 화학적으로 살짝 다르게 설계한 주문은 이 필터를 피해갈 수 있다는 게 그의 우려다.

실제로 마이크로소프트의 한 보안팀은 AI 모델을 이용해 잠재적 생물무기의 변종 설계를 만들어보는 실험을 했다. 그렇게 만든 설계를 DNA 합성 실험실에 주문으로 넣어봤는데, 실험실 소프트웨어가 이를 전부 걸러내지 못했다. 실제 주문은 완료하지 않았지만, 하려면 할 수 있었다는 뜻이다.

차우드리는 이 시나리오를 국가 단위까지 확장한다. 생물무기 프로그램을 이미 운영 중인 북한 같은 국가는 상업 실험실의 필터를 피할 필요조차 없다 — 자체 실험실이 있기 때문이다. 그는 MIT를 비롯한 생명공학자들이 바이러스학자용 시험 문제로 챗GPT와 인간 전문가를 비교했을 때, 챗GPT가 자기 전공 분야의 인간 전문가들조차 앞섰다는 결과를 언급한다. 여기에 그는 한 가지 반전을 더 얹는다 — 같은 AI 모델로 자신들 병력만 감염되지 않는 백신을 미리 만들어두는 것도 이론적으로 가능하다는 것이다.

물론 반론도 있다. 핵과학자회보(Bulletin of the Atomic Scientists) 소속 연구자들은 2024년 기고에서, AI가 보여주는 것들이 이미 구글 검색만으로도 가능한 수준이라고 반박했다. 생물무기 제작이 정말 그렇게 쉬웠다면 이미 더 많은 국가·테러조직이 보유하고 있었을 거라는 논리다 — 즉 리신 하나를 대량생산하는 데도 상당한 비용과 인프라가 필요하다는 것이다.

사이버공격, 허위정보, 그리고 무너지는 신뢰

생물무기가 스펙트럼의 한쪽 끝이라면, 반대쪽 끝에는 훨씬 흔하고 이미 벌어지고 있는 위협이 있다.

AI의 갈수록 정교해지는 코딩 능력은 새로운 컴퓨터 바이러스를 만드는 데도, 대량의 데이터를 처리해 서버를 마비시키는 서비스 거부 공격을 설계하는 데도 쓰일 수 있다. 차우드리가 그리는 그림에서 사이버 공격은 주식시장을 흔들 수도, 도시 전체의 전력망을 끄거나 병원 네트워크를 마비시킬 수도 있다. 여기에 더해 정교해진 딥페이크와 허위정보 생산 능력은, 무엇이 진짜인지 아무도 확신할 수 없는 상태로 여론 자체를 흔들 수 있다는 우려로 이어진다.

차우드리는 이걸 하나의 문장으로 요약한다 — AI를 모두에게 나눠주고, 그 능력이 우려한 만큼 좋아지면, 사람들은 그걸로 나쁜 일을 벌인다는 것. 20년 전보다 훨씬 쉽게 서로에게 해를 끼칠 수 있는 세상은, 그 자체로 살기 무서운 세상이라는 게 그의 결론이다.

1983년 페트로프, 그리고 2035년의 AI 버전

1983년, 소련의 핵경보 시스템이 미국의 미사일 5기가 날아오고 있다고 100% 확신을 담아 경보를 울렸다. 당직 장교 스타니슬라프 페트로프는 미사일이 5기뿐이라는 점이 미국의 선제공격치고는 너무 적다고 판단해 상부 보고를 미뤘다 — 그리고 그 판단이 옳았다. 시스템 오류였다.

차우드리가 던지는 질문은 이거다 — 그 순간 페트로프 대신 AI가 판단하고 있었다면 어땠을까. 지금의 AI는 방대한 센서·정보를 훨씬 빠르게 종합할 수 있지만, 동시에 아직도 확신에 찬 어조로 완전히 틀린 답을 내놓는 고질적 문제, 이른바 환각 현상에서 자유롭지 않다. 최상의 시나리오에서는 AI가 센서 이상을 정확히 짚어내 오경보라고 알려주겠지만, 최악의 시나리오에서는 환각을 일으킨 AI가 오히려 확신을 담아 공격이 진행 중이라고 잘못 판단할 수 있다. 그리고 그 순간, 미래의 '페트로프'가 이 판단을 거스를 수 있을지는 알 수 없다.

이건 가정이 아니다. 미국은 지금 노후한 핵 지휘통제 인프라를 새 미사일과 신형 격납고로 교체하는 100억 달러 이상 규모의 사업을 진행 중이고, 이 과정에 AI를 어느 정도까지 들일지에 대한 논의가 이미 진행 중이다. 차우드리는 진짜 위험은 실수로 무언가를 잘못 쏘는 것이 아니라, 그 실수를 두려워한 나머지 스스로 전쟁을 격화시키는 쪽에 있다고 본다.

차우드리와 함께 이 이야기를 짚은 우주정책 전문가 빅토리아는, 지금 AI를 둘러싼 국제 논의도 결국 같은 패턴이라고 본다. 대립하던 국가들이 서로 소통할 최소한의 규칙을 만들었던 그때처럼, AI도 각국이 대화 채널부터 만들어야 한다는 것이다.

그래서, 세계는 정확히 이 지점을 겨냥해 움직였다

흥미로운 건, 지금 세계 각국이 세우고 있는 AI 규제가 위에서 나온 시나리오들과 거의 정확히 겹친다는 점이다. 생물무기 확산, 사이버 공격, 핵심 인프라 오작동 — 규제 문서에 그대로 적혀 있다.

유럽연합의 AI법(Regulation 2024/1689)은 '시스템 리스크'를 지닌 범용 AI 모델을 별도로 분류해 강한 의무를 지운다. 그리고 이 법의 전문(前文, 110번째 고려사항)은 시스템 리스크의 구체적 사례로 화학·생물·방사능·핵무기 개발의 진입장벽이 낮아지는 것, 그리고 취약점 탐지·악용 같은 공격적 사이버 능력이 가능해지는 것을 콕 집어 언급한다. 팟캐스트가 그린 시나리오와 법 조문이 사실상 같은 그림을 그리고 있는 셈이다.

세계에서 가장 먼저, 가장 촘촘하게 짠 법

EU AI법은 2024년 8월 발효돼 세계 최초의 포괄적 AI 규제로 꼽힌다. 다만 실제로 이빨이 드러나는 시점은 한참 뒤다.

법은 AI를 위험도별로 나눈다. 가장 위쪽엔 아예 금지되는 관행이 있다 — 사람의 잠재의식을 조작하는 기법, 사회적 행동을 근거로 사람을 점수매기는 소셜 스코어링, 감정을 자동 인식해 채용·교육 현장에서 활용하는 것, 공개된 인터넷·CCTV 영상을 무차별로 긁어 얼굴인식 데이터베이스를 만드는 것 등이다(5조). 그 아래엔 생체인식·핵심인프라·의료·법 집행처럼 사람의 생명과 기본권에 큰 영향을 미치는 영역의 '고위험 AI 시스템'이 있어, 위험관리·데이터 거버넌스·인간 감독 같은 의무를 진다(6조).

그리고 챕터06에서 다룬 것과 같은 종류의 위협, 즉 대량살상무기 개발이나 사이버 공격 능력을 갖췄다고 판단되는 초거대 모델은 '시스템 리스크를 지닌 범용 AI 모델'로 따로 분류된다. 기준은 훈련에 쓰인 누적 연산량이 10의 25제곱 플롭스(FLOPs)를 넘는지, 혹은 EU 역내 등록 기업 이용자가 1만 명을 넘는지 등이다(51조, 부속서 XIII). 여기 해당하면 사고 보고, 적대적 테스트(레드티밍), 사이버보안 조치 같은 추가 의무를 진다(55조).

문제는 이 시간표다. 금지 관행과 시스템 리스크 모델 조항은 이미 적용됐지만, 정작 가장 두터운 '고위험 AI' 조항(6조 1항)은 2027년 8월에야 전면 적용된다. 법은 2024년에 만들어졌는데, 정작 챕터06~07에서 다룬 핵심 인프라·의료 영역의 실질 규제는 그로부터 3년을 더 기다려야 하는 셈이다.

"손 떼겠다"에서 "30일만 들여다보겠다"로

트럼프 대통령은 복귀 이후 줄곧 AI 규제 없는 질주를 약속해왔다. 그런데 6월, 그 기조에 처음 균열이 생겼다.

트럼프는 기업들이 새 AI 모델을 공개하기 전, 정부가 최대 30일간 들여다볼 수 있도록 하는 행정명령에 서명했다. 원래는 검토 기간을 90일로 정한 더 강한 버전이 추진되다 서명 직전 취소되는 우여곡절도 있었고, 재무·국방장관까지 참여한 백악관 회의를 거쳐 기간이 30일로 줄어드는 선에서 절충안이 나왔다.

배경엔 앤트로픽이 발표한 AI 모델 '미토스'가 있다. 이 모델이 소프트웨어 취약점을 찾아낼 수 있다는 소식에, 정부와 금융권에서는 같은 능력이 악용될 가능성을 우려했다 — 챕터04에서 살펴본 '공격적 사이버 능력'이라는 시스템 리스크가, 가정이 아니라 실제로 미국 정책을 움직인 사례다.

비슷한 시기, 중국의 오픈웨이트 AI 모델들이 서구 최상위 모델과 맞먹는 성능을 내놓기 시작하면서 미 상무부는 중국 AI 연구소들을 수출 제한 명단에 올리는 방안도 검토했던 것으로 알려졌다. 다만 이 접근을 둘러싼 실리콘밸리 내부 의견은 엇갈린다. 벤처투자자 빌 걸리는 오픈소스 AI를 안보 위협으로 모는 로비가 실은 정당한 경쟁을 막으려는 시도라고 반박했다.

가장 먼저 켰지만, 아직 다 채워지지 않은 법

한국은 올해 1월 22일 AI기본법을 시행하며, 포괄적 AI 법 체계를 실제로 '가동'한 나라로는 세계 첫 사례가 됐다. EU가 법은 먼저 만들고 시행은 미룬 것과 정반대다.

법은 에너지·먹는물·의료·원자력시설·범죄수사·교통처럼 생명과 안전에 중대한 영향을 미치는 AI를 '고영향 AI'로 분류해 사전 고지와 위험관리 의무를 지운다 — EU법의 고위험 AI 개념과 겹치는 지점이다. 여기에 AI가 만든 음성·이미지·영상엔 워터마크 표시 의무가 더해진다. 위반 시 최대 3천만 원의 과태료가 부과된다.

문제는 시행 직후 드러났다. 국내 AI 스타트업 101곳 중 98%가 아직 대응 체계를 갖추지 못했다고 답했고, '고영향 AI'의 기준이 모호하다는 지적이 업계와 법조계 양쪽에서 나온다.

더 날카로운 문제는 역차별 논란이다. 해외 빅테크는 국내 대리인 지정 의무만 지면 되고, 그 대리인이 본사와의 연락 창구 역할에 그치는 경우 실효성 있는 제재가 사실상 어렵다. 국내 기업만 곧바로 제재를 받고 해외 기업은 손도 못 대는 구조라는 지적이 나오는 이유다.