“AI 버블에 면역이 있는 기업은 없다” ─순디르 피차이(구글 CEO)
“우리는 지금 인공지능 버블 속에 있다” ─샘 올트먼(오픈AI CEO)

★ “이 책을 읽지 않았다면 AI 주식에는 한 푼도 투자하지 말라!”
★《타임》 선정 ‘AI 분야 가장 영향력 있는 100인’ 컴퓨터과학자가 쓴 최초의 ‘AI 거품’ 감별 가이드

AI가 인류를 멸종시킨다? 틀렸다.
진짜 위험은 당신의 지갑을 노리는 '가짜 AI'다.
프린스턴대학교 컴퓨터과학자이자 AI 연구의 최전선에 있는 두 저자는 단언한다.
“우리는 기술이 아니라 환상을 사고 있다.” 이 책은 챗GPT로 대표되는 ‘생성형 AI’의 과장된 마케팅을 걷어내고, 채용·의료·치안 등 우리 삶을 결정하는 ‘예측형 AI’가 어떻게 19세기 ‘뱀기름(Snake Oil)’ 사기극처럼 작동하는지 과학적으로 증명한다.
수조 달러가 오가는 AI 시장에서 ‘진짜 혁신’과 ‘가짜 기술’을 구분하는 가장 냉철하고 실용적인 기준을 제시하는 책.

‘탈것’이라는 집합명사만 있고 다양한 교통수단을 지칭하는 말이 따로 없는 세상이 어딘가에 존재한다고 상상해보자.
거기 사는 사람들은 자동차를 가리킬 때도, 버스를 가리킬 때도, 자전거를 가리킬 때도, 우주선을 가리킬 때도, 그 밖의 모든 이동 수단을 가리킬 때도 오로지 ‘탈것’이라는 말 하나에 의존한다.
이런 세계에서의 대화는 혼란스러울 수밖에 없다.
누군가는 자전거를, 다른 누군가는 트럭을 제각기 떠올리면서 그 ‘탈것’이 친환경적인지 아닌지로 뜨거운 갑론을박을 벌인다.
이제 ‘탈것’이라는 단어를 ‘인공지능’으로 바꿔서 우리가 사는 세계를 좀더 자세히 들여다보자.
--- p.17~18, 「1장 AI의 판도를 직시하는 법」 중에서

채용에 사용되는 AI는 삭막한 사례다.
미국에서는 고용주의 4분의 3이 자동화된 도구로 입사 지원자들을 걸러낸다.
이력서에 근거해 지원자를 걸러내는 도구도 있고, 영상 면접으로 지원자들을 시험하는 도구도 있다.
이런 도구들은 지원자를 추려내는 단계에서 첫 번째로 사용된다.
입사 시험에 떨어질 경우 그 사람의 이력서는 인간이 한 번 보지도 않은 채 버려진다.
하지만 그 과정은 불투명하다.
기업들은 채용 소프트웨어가 어떤 식으로 구축되는지 전혀 공유하지 않고, 그 때문에 지원자들은 자신이 어떤 기준에 따라 판단되는지 까맣게 모른 채로 있어야 한다.
--- p.78, 「2장 예측형 AI는 어떻게 망가지는가」 중에서

예측에 따라다니는 기존의 한계는 몇몇 경우 데이터의 양과 질을 개선해 극복할 수 있지만, 내재적인 한계도 보인다.
문화 상품 중에서 무엇이 잘나갈지 예측하는 일처럼, 몇몇 경우 우리는 예측 가능성이 훨씬 더 나아지리라고 절대 기대하지 않는다.
개인의 삶을 예측하는 일은 어느 정도 향상할 수 있겠지만 급격한 변화는 기대할 수 없다.
안타깝게도 그렇다고 해서 기업들이 사람들에 관한 중요한 결정을 내리는 미래 예측 도구로 AI를 파는 것을 막지는 못한다.
따라서 예측형 AI 기술이 개선되기를 소극적으로 희망하기보다 오늘날 이미 널리 사용되는 뱀기름 AI에 저항하는 것이 중요하다.
--- p.147, 「3장 AI는 왜 미래를 예측하지 못할까?」 중에서

뉴욕의 한 변호사가 챗GPT의 도움을 받아 변론 취지서를 작성했다.
이 챗봇이 부정확한 정보를 생성할 수 있다는 면책 조항을 깜빡한 모양이다.
취지서는 판례로 있지도 않은 사건들만 온통 늘어놓았다.
변호사는 챗봇에 그 사건들이 진짜인지 물었고, 챗봇은 그렇다고 대답했다.
문제의 사건들이 가짜라는 사실을 인식할 능력도 없으면서 말이다.
심지어 전반적인 판결문까지 조작했다.
변호사는 챗봇의 대답에 의지해 작성한 서류를 제출했고, 아니나 다를까 담당 판사는 곤경에 빠졌다. AI를 사용한 엉터리 서류를 제출하고 나서 벌칙을 받는 변호사들의 모습은 흔히 보이는 광경으로 자리 잡았다.
--- p.154~155, 「4장 생성형 AI에 이르는 기나긴 여정」 중에서

2023년 미래생명연구소(Future of Life Institute)는 전 세계 AI 실험실을 상대로 단 6개월 동안만이라도 GPT-4보다 강력한 AI 시스템의 훈련을 즉각 중단하라고 촉구하는 공개서한을 발표했다.
간단히 말해 AI 공동체의 많은 사람이 AGI는 당면한 실존적 위협으로 이를 막으려면 전 세계인의 과감한 행동이 필요하다고 말한다.
이게 사실이라면 이 책에서 다른 내용은 하나도 중요하지 않으며, 세상에서도 이 말고 중요한 사안은 없을 것이다.
앞으로 우리는 이러한 주장이 왜 모래 위에 세워진 성인지 밝힐 것이다. AGI가 절대 구축될 리 없다거나, 설사 구축되더라도 무엇 하나 걱정할 건 없다는 말이 아니다. AGI는 먼 미래에 충분히 실현 가능하며, 사회는 이미 그 위험을 차분하게 해결할 도구를 갖췄다.
--- p.219~220, 「5장 첨단 AI는 실존적 위협인가?」 중에서

2016년 페이스북은 흔히 ‘네이팜 소녀(Napalm Girl)’로 알려진 사진을 게시하는 족족 삭제해 널리 공분을 샀다.
문제의 사진은 당시 아홉 살이던 판 티 킴 푹이라는 소녀가 네이팜탄 공격에 심하게 화상을 입고 벌거벗은 채 고통에 겨워 내달리는 모습을 보여준다.
베트남전의 참상을 알리고 그 전쟁에 대한 여론을 바꾸는 데에 역사적으로 중요한 역할을 하며, 전 세계를 통틀어 가장 상징적인 사진의 하나로 꼽힌다.
언뜻 보면 이 사진이 차단당한 사건은 우리가 지금껏 이야기한 AI의 한계를 잘 드러내는 예처럼 보인다.
--- p.288~289, 「6장 AI는 왜 소셜미디어를 고칠 수 없을까?」 중에서

예를 들어 오픈AI는 “챗GPT-4는 전문적이고 학문적인 시험들 대부분에서 인간 수준의 성적을 낸다”고 주장했는데, 과연 챗GPT-4는 변호사 시험에서 상위 10퍼센트에 드는 점수를 기록했다.43 많은 사람이 이를 AI가 곧 변호사를 대신할 만큼 성능이 좋아질 거라는 신호로 받아들였다.
하지만 변호사의 일이 하루 종일 변호사 시험 문항에 답하는 것은 아니다.
실제 유용성은 벤치마크에서 거두는 좋은 성과와 다르다.
더욱이 전문직 시험, 그중에서도 특히 변호사 시험은 지식 암기 능력을 말이 안 될 정도로 강조하고 표준화된 시험으로는 측정이 훨씬 더 어려운 실무 능력은 과소평가하는 경향이 있다.
따라서 이런 시험은 AI의 실제 유용성을 제대로 파악하지 못할 뿐만 아니라 게 정확히 AI가 잘하는 것만 강조한다.
--- p.336~337, 「7장 AI에 대한 신화는 왜 집요하게 계속 이어질까?」 중에서

오늘날 기업들은 규제를 피하려고 광고에 수천만 달러씩 퍼붓는다.
빅테크 기업들이 경쟁사 제품보다 자사 제품을 우대하지 못하도록 막는 반독점법이 발의되자 이들 기업으로부터 자금 지원을 받는 옹호 단체들이 법안 반대 광고에 3600만 달러를 쏟아부었다.
이들 기업으로부터 자금을 지원받지 않은 법안 지지자들은 규제 찬성 광고에 20만 달러를 썼다.
전자에 비하면 이는 거의 200배가 적은 액수였다.
대기업들은 중소기업이 규제에 반대하는 것처럼 보이도록 하기 위해서도 옹호 단체에 자금을 지원해왔다.
예를 들어 페이스북의 지원을 받은 아메리칸엣지(Ameircan Edge)라는 단체는 전국 소상공인들의 입을 빌려 규제에 반대하는 목소리를 내고, 미국 기업이 중국에 밀릴지 모른다는 두려움을 부추기는 광고를 내보냈다.

--- p.381~382, 「8장 │ 여기서 우리는 어디로 가고 있을까?」 중에서