<넥서스>를 읽고

들어가며

유발 하라리는 <사피엔스>부터 좋아하게 된 작가입니다. 인류의 과거, 현재, 미래에 대해 굉장히 거시적인 관점에서 해석한다는 것이 재미있고 새롭게 느껴지기 때문입니다. 유발 하라리는 <넥서스> 책에서 인간이 정보 네트워크를 이용해서 번화해온 과정의 연장선에서 인공지능은 어떤 의미를 가지고 우리는 어떤 방향으로 나아가야 할지에 대해서 이야기하고 있습니다. 인공지능이 생활 속에 점점 더 깊숙히 들어오는 것을 느끼는 저로서도 정말 궁금하고 호기심 생기는 주제입니다. 출판되자마자 읽고 싶었는데 이런 저런 핑계로 미루다가 읽어보았습니다. 유발 하라리 책들을 예전부터 좋아하셨던 분은 이번 책도 비슷한 매력이 있으니 읽어보시길 추천합니다.

책 내용에 관하여

잘 쓰여진 책은, 어떤 질문들을 가지고 책을 읽어나가면 될지에 대해 ‘목차’가 좋은 길잡이가 되어 줍니다. 책을 다 읽고 나서 아래와 같이 목차를 간략히 정리해보니 읽은 내용들이 더 구조적으로 정리되는 것 같습니다.

• 1부(역사적 조사) : 인간의 정보 네트워크가 그동안 어떻게 발전해왔는지
  • 신화, 관료제 : 대규모 인간 네트워크에 필수인 두 가지 원리
  • 자정 장치의 중요성 : 약한 자정 장치(가톨릭교회) vs 강력한 자정 장치(과학 학회)
  • 분산형 정보 네트워크 vs 중앙 집중형 중앙 네트워크
• 2부(새로운 정보 네트워크) : AI의 등장이 갖는 정치적 함의
  • 유기적 정보 네트워크에서 비유기적 정보 네트워크로의 이동
• 3부(컴퓨터 정치) : 서로 다른 종류의 사회에서 비유기적 정보 네트워크의 위협과 가능성
  • 민주주의에서의 비유기적 정보 네트워크
  • 전체주의에서의 비유기적 정보 네트워크

목차를 살펴보면 이 책에서 다루고자 하는 가장 중요한 키워드로 ‘정보 네트워크’를 뽑을 수 있습니다. 책의 제목 ‘넥서스’처럼 저자는 정보의 근본적인 특징이 무언가를 항상 ‘연결’하는 것이라고 합니다. 이전 책들에서도 말해왔듯이, 사피엔스의 성공 비결은 정보를 활용하여 점점 더 많은 개인들을 연결하는 일에 탁월한 재능을 발휘한 것 때문이라는 것에서부터 이 책은 시작합니다. 그리고 정보의 교환, 연결로 생겨나는 것이 바로 ‘상호주관적 현실’입니다. 우리 사회에 있는 법, 신, 신화, 국가, 기업, 화폐 모두 그 정보를 알고 있는 사람들끼리 신뢰하는, 그래서 상호주관적인 현실이 되는 것입니다. 여기서 착각하기 쉬운 것은 정보가 많아진다고 우리가 더 진실에 가까워지는 것은 아니라고 합니다. 정보 네트워크가 성공하기 위해서는 ‘진실 발견’과 ‘질서 유지’ 사이에서 균형을 잘 잡아야 합니다. 네트워크가 진실을 더 우선시하면 지혜로워질 수 있지만 반대로 질서를 더 우선시하면 막강한 통제력을 가질 수 있습니다. 그래서 인류는 이 사이를 왔다갔다하며 흥망성쇠를 반복해왔습니다.

이 책에서 새롭게 이해하게 된 개념은 ‘관료제(bureaucracy)’입니다. 이 단어는 18세기 프랑스에서 생겨난 용어인데 당시 전형적인 관료들이 서랍이 달린 책상인 뷔로(bureau) 옆에서 업무를 보았기 때문에 ‘서랍 책상에 의한 통치’라는 뜻입니다. 이러한 어원처럼 관료제는 세상을 서랍에 문서들을 나누듯이 분리하여 통치한다는 개념이라고 합니다. 그래서 관료제는 질서있게 세상을 관리하기 위해서는 좋은 방법이지만, 세상이 돌아가는 이치와 원리가 점점 더 분리되고 복잡해지기 때문에 사람들은 세상의 시스템을 이해하기가 더 어려워진다는 부작용이 있습니다. 여기까지의 내용들을 제 개인적인 경험에 비춰보면, 갈수록 세상이 편리해지기는 하지만 지혜로워지지는 않는다고 생각해왔었습니다. 이를 저자가 말하는 인간 사회가 진실과 질서 사이에서 균형잡기를 하는 것에 대비해보니 조금 더 이 생각을 이해할 수 있었습니다.

또한 책에서 재미있었던 부분은 종교에 있는 ‘거룩한 책’에 대해 말하는 부분입니다. 문서라는 개념이 생겨나며 인류는 더이상 구전 이야기에 정보를 의존하지 않고 세대를 거스르면서도 정보를 유지할 수 있는 힘을 가지게 됩니다. 이러한 변화에 맞춰서 권력도, 기존에 신의 이야기를 전하던 샤먼, 사제, 예언자, 신탁, 전령이 아닌 문서를 다루는 전문가들에게로 옮겨가게 됩니다. 특히 각 종교에서 일컫는 ‘거룩한 책’들은 사실 그 최초의 원본은 하늘에서 내려온 것이 아니라 결국 그 당시 가장 지혜로우며 신뢰할 수 있는 사람들을 모아 그들이 동의하는 내용에 대해 기록한 것이라고 합니다. 이것 또한 이들이 신의 말씀을 옮겼다고 ‘믿는’ 것에 달려있기 때문에 그 믿음을 달리하면서 서로 다른 종교 분파(특히 유대교, 기독교)들이 생기게 되었습니다. 재미있는 것은 우리가 지금 최근 기술이라고 생각하는 분산 네트워크, 블록체인 개념을 유대인들은 2,000년 앞서 예견했다고 합니다. 이들은 거룩한 법전의 사본을 무수히 많이 생산하여 모든 유대인 공동체 회당이나 커뮤니티에 한 권 이상 가지고 있도록 했는데 여기에는 두 가지 목적이 있었습니다. (1)사본을 널리 보급함으로써 종교를 대중화하기 (2)같은 내용을 많이 보급하여 책 내용을 임의로 변경하지 못하게 해서 독재를 꿈꾸는 사람의 힘을 엄격하게 제한하기. 저는 항상 종교도 인간이 만들어낸 규칙이고 커뮤니티인데 왜 ‘신의 말씀’이라는 것으로 결국에는 근본적인 질문을 입막음하는지, 신에게 회개하면 모든 게 용서받는 것으로 생각해서 더 인간을 타락하게 만드는지 등 반감이 있었습니다. 저자의 이러한 설명 덕분에 지금까지 제가 생각해온 종교에 대한 의문점이 틀리지 않았다는 생각이 들고 한편으로는 위로를 받는 듯한 느낌도 들었습니다.

저자는 책에서 이 외에도 민주주의, 전체주의, 정치 체제 등에 대해 그만의 재미있는 방식으로 설명해줍니다. 이 내용들을 읽고 있자면 저자야말로 통찰력들을 잘 연결해서 독자가 잘 이해할 수 있는 이야기로 만들줄 안다는 느낌에 감탄스럽습니다. 이 내용들 사이에서 제 마음에 와닿았던 부분은 정보 네트워크가 더 좋아지는 사례는 결국 ‘무지의 발견’ 순간에 있었다는 말이었습니다. “교회는 절대 진리가 담긴 무오류의 거룩한 책을 내세우며 사람들에게 교회를 믿으라고 말했지만, 과학 기관은 기관 자체의 오류를 찾아내 고치는 것을 적극 장려하며 강력한 자정 장치를 토대로 권위를 얻었다.” 우리는 흔히 과학혁명의 촉매가 인쇄술의 발달이라고 이야기하지만 사실은 인쇄술이 발전된 이후로 역사 속에는 마녀사냥도 있었고 과학혁명도 있었습니다. 그래서 과학혁명의 진정한 촉매는 단순 인쇄술이 아니라 해당 정보 네트워크를 ‘강력한 자정 장치’ 위에 쌓아올렸다는 점에 있다는 설명입니다.

책의 후반부는 새로 생겨난 **‘비유기체 정보 네트워크’**인 컴퓨터, 알고리즘, 인공지능에 대해 해석합니다. 여기서 ‘비유기체’라는 부분이 생각보다 중요한 이유는, 지금까지 정보 네트워크의 구성원은 오직 인간이었는데 이제는 컴퓨터도 하나의 구성원으로써 네트워크에 참여하게 된 현상을 설명해줍니다. 인공지능을 인간과 대등한 입장에서 보는 것이 어느 면에서는 아직 너무 과하다고 생각할 수도 있습니다. 그래서 인간이 흔히 하는 오해를 저자는 설명하는데, 컴퓨터는 어떤 것도 믿지 않는 의식 없는 존재라고 생각해서 주관성이 없으니 ‘상호주관적 믿음’을 가질 수 없다고 우리는 흔히 착각합니다. 하지만 많은 컴퓨터가 서로 소통할 때 컴퓨터들끼리도 인간의 상호주관적 현실과 비슷한 상호 컴퓨터 현실을 창조할 수 있습니다. 비트코인 같은 암호 화폐는 상호주관적 현실과 상호 컴퓨터 현실의 중간입니다. 만일 이것이 일부라도 사실이라면, 우리는 인간 사회를 이해하기 위해 해당 사회가 만들어낸 종교, 국가, 화폐와 같은 상호주관적 현실을 이해하면 되었던 것을 앞으로는 AI를 이해하기 위해서 상호 컴퓨터 현실까지 이해해야만 할 것입니다. 저는 이 부분을 읽으면서, 얼마 전에 트위터에서 바이럴이 많이 되었던, AI끼리 서로만 알아들을 수 있는 소리(?)로 대화하는 영상이 충격적이었는데 이 장면이 바로 생각났습니다. 그리고 앞으로 인간인 척하는 컴퓨터와 토론을 하게 되면 인간이 두 가지 면에서 손해라는 저자의 주장이 정말 와닿았습니다. 이유는, (1)봇은 설득되지 않는 존재라서 인간이 봇을 설득하기 위해 들이는 시간이 무의미하고 (2)봇과 이야기를 하면 할수록 인간에 관한 더 많은 사실이 공개되고 그 결과 봇이 자신의 주장을 가다듬어 우리의 생각에 영향을 행사하기가 더 쉬워진다는 것입니다.

인공지능의 특징에 대해 설명한 뒤에 저자는 인공지능이 민주주의, 전체주의 각각에서 어떻게 잘못 사용될 수 있는지를 설명해주고, 최소한 우리가 대비할 수 있는 방책을 몇 가지 말해줍니다.

(인류 멸종을 제외한) 나쁜 시나리오

• 정렬 문제(Alignment) : 닉 보스트롬의 <슈퍼 인텔리전스>에서 소개된 사고실험으로, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 명령을 하는 바람에 컴퓨터는 클립을 만들 원자재를 얻기 위해 끝내 지구를 정복하고 모든 인간을 죽이고 탐사대를 보내 다른 행성들까지 점령한다. 이 사고실험에서 컴퓨터는 시킨 일을 정확히 실행했다. 하지만 그 목표가 인류에게 중요한 것과 정렬되지 않았다.
• 알고리즘의 편향이 가지는 근본적인 문제는 실제로는 알고리즘이 인간에게 어떤 질서를 부여해놓고는 인간에 대한 어떤 진실을 발견했다고 생각하는 것이다. 소셜 미디어 알고리즘은 인간이 분노를 좋아한다는 사실을 발견했다고 생각하겠지만, 애초에 분노를 더 많이 생산하고 소비하도록 인간을 조건화한 것은 알고리즘이다.
• 불철주야로 감시하는 새로운 컴퓨터 네트워크가 개인의 사생활을 없애고 우리의 말, 행동 뿐만 아니라 생각과 감정까지 모든 것을 처벌하거나 보상하게될 수 있다. 소련의 비밀경찰보다 헛점없고 잠도 자지 않고 감시 시스템이 가능해진 것이다.

몇 가지 안전장치

• 컴퓨터가 자신의 오류 가능성을 인식하도록 훈련시키는 것이다. 소크라테스가 가르쳐주었듯이, 지혜에 이르기 위해서는 ‘나는 모른다’고 말할 수 있어야 한다.
• 인공지능에 문제가 발생했을 때 그것을 확인하여 대응할 수 있는 기관을 분산시켜 만들어두어야 한다.
• 인공지능을 이용한 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 개인의 감시도 동시에 강화해야 한다. 정보 네트워크에서는 균형이 필수다.
• ‘월드컵’처럼 세계는 서로 몇 가지 세계 규칙을 지키고, 소수의 단기적 이익보다는 모든 인류의 장기적 이익을 우선시해야 하는 때가 항상은 아니라도 가끔식은 있다는 것을 인정하는 것이다. (예: 월드컵에서 약물 금지를 모두가 따르는 것)

나가며

이 책은 인공지능에 대해서만 이야기하는 것이 아니라 인간 사회가 어떻게 발달해왔는지부터 시작하기 때문에 기대하지 않았던 민주주의나 전체주의에 대한 이해도 함께 넓힐 수 있었습니다. 특히 저는 최근에 세계적으로 대중들의 정치 성향이 극단화되고 포퓰리즘이 인기를 얻는 것이 단순히 성장이 정체되어서 정해진 크기의 파이를 두고 사람들끼리 싸우는 세상이 된 것인가 의문스러울 때가 많았습니다. 이런 현상을 설명할 수 있는 여러 면이 있겠지만 이 책에서 얻은 한 가지 답변이 있습니다. 인공지능을 포함해서 점점 더 세상은 이해하기 불가능해지고 있는데, 사람들은 더 이상 세상을 이해할 수 없을 때 쉽게 음모론에 빠지고 자신들이 이해하는 ‘인간’을 더 쉽게 믿게 된다는 것입니다. 이러한 해석을 읽다보니, 앞으로 이해되지 않는다는 이유로 단순하게 그 반대의 이해 가능한 것을 쉽게 믿는 것은 경계해야겠다고 다짐했습니다.

개인적으로 요즘 인공지능 툴들을 사용하다보면 ‘아는 척’하는 환각 현상(hallucination)이 큰 문제라는 생각을 많이 했었습니다. 이 부분에 대해서 저자는 굉장히 강력하게 우리가 이 부분들을 제지해야한다고 말합니다. 그래서 “주화가 화폐가 발명된 이래로 화폐를 위조하는 것은 기술적으로는 항상 가능했다. 하지만 금융 시스템이 화폐 위조를 법으로 금지함으로써 수천 년 동안 자신을 지킬 수 있었다. 이처럼 화폐 위조에 적용되는 엄격한 원칙이 인간을 위조하는 AI에게도 똑같이 적용되어야 한다.” 라는 주장이 저에게는 정말 설득력있었습니다.

이렇게 책장을 덮고나니, 그동안 AI를 잘 쓸 생각만 해보았는데 AI를 견제하는 서비스도 필요하겠구나 생각해보게 됩니다. 무엇보다 앞으로 인공지능과 관련된 현상이나 생각들을 ‘정보 네트워크’라는 프레임으로 해석해볼 수 있을 것 같아서 이 책은 미래의 저에게 큰 도움이 되는 책이 될 것 같습니다. 제가 이 글에서 다 담지못한 저자의 더 촘촘하고 깊이있는 이야기가 궁금하신 분들은 직접 책을 읽어보길 강력 추천합니다.