<슈퍼인텔리전스>를 읽고

들어가며

최근 샘 알트먼과 Open AI 퇴사한 연구진들의 일반 인공지능(AGI)에 대한 상반된 견해, 주장에 대한 기사를 보다가 빌 게이츠가 “인공지능 분야에서 꼭 읽어야 할 두 권의 책 중 한 권”으로 추천했다는 문구를 보고 바로 구입해본 책입니다. 빌 게이츠가 추천한 책이라 그럴까요…^^; 지금까지 블로그에 올린 책 중에 가장 긴 시간(13시간)이 걸려 완독한 책입니다. 이 책의 저자는 당연하게도(?) 인공지능 개발자가 아니라 옥스퍼드 철학과 교수님 ‘닉 보스트롬’입니다. 저자의 배경을 알고 나니 사실 이 책이 더 도움이 될 것 같았습니다.

이 책은 ‘초지능(슈퍼인텔리전스)’이 달성될 경로, 잠재적인 위험, 이에 대한 인류의 전략을 이야기합니다. 철학과 교수님이 쓰셔서 그런지 중간에 너무 이해가 안 되고 이리저리 뛰어넘는 부분은 독서를 중간에 중단할지 생각하게 만들다가도, 그냥 속 편하게 넘어가자고 생각해서 완독할 수 있었습니다. 그래서 제가 이해 못 한 부분이 더 많기에, 흥미롭게 본 부분만 몇 부분 발췌하여 “책에 대하여”에 소개하려 합니다.

책에 대하여

인공지능의 과거

• 신경망 모델 이전, 곧 1990년대 이전에는 규칙 기반 프로그램으로써 ‘전문가 시스템’으로 기능했다.
• 간단한 신경망 모델은 이미 1950년대 후반부터 개발되어 있었지만, 이 분야는 역전파 알고리즘(backpropagation algorithm)의 도입 이후로 새로운 부흥기를 맞이했다.
• 유전자 알고리즘 방식은 자연 선택처럼 선택 조건(적합성 함수)에 따라 주기적으로 가능한 해답이 솎아내져서 살아남은 더 나은 가능성 있는 해답들만 다음 세대로 전해지게 한다.
• 신경망과 유전자 알고리즘 방식들이 1990년대 AI 분야에 새로운 기대감을 불러일으켰다.

초지능으로 향하는 몇 가지 경로

• 초지능에 대한 정의 : 모든 관심 영역에서 인간의 인지능력을 상회하는 지능

1. 진화적 방식의 재현: 유전공학을 통해 인간의 지능을 향상해서 향상된 인간 지능이 인공지능을 더욱 진화시킨다.
2. 전뇌 에뮬레이션 : 생물학적 뇌의 연산 구조를 모형화하여 완전한 표절에 가까운 뇌를 소프트웨어로 만든다.
3. 씨앗 인공지능 : 튜링의 ‘어린이 기계’의 변형으로서, 아이와 동일한 상태의 씨앗 인공지능을 만들어 스스로 학습하며 성장한다.
4. 뇌-컴퓨터 인터페이스 : 인간의 뇌에 칩을 이식하여 인간이 디지털 연산의 장점을 활용하여 하이브리드 시스템으로 더 뛰어난 지능을 만든다.

초지능의 세 가지 형태

1. 속도적 초지능 : 인간의 지능으로 할 수 있는 모든 일이 가능하면서 그것을 훨씬 빨리 처리할 수 있는 시스템
2. 집단적 초지능 : 작은 단위의 지성체들을 여러 개 모아서 현존하는 어떤 인지적 시스템보다도 여러 일반적인 영역에서의 전반적인 수행력이 더 뛰어난 시스템
3. 질적 초지능 : 적어도 인간의 정신만큼 빠르고 질적으로 그보다 훨씬 더 똑똑한 시스템

디지털 지능들의 장점

하드웨어적 장점

• 연산요소들의 속도 : 생물학적 뉴런은 약 200Hz의 최대 속도로 작동되어 이것은 현대 마이크로프로세서(~2GHz)보다 10^7배 더 느린 속도이다.
• 내부적 통신 속도 : 축삭돌기들은 활성화 전위를 약 120m/s 속도로 전달하지만 빛의 속도는 30만km/s로 전달할 수 있다.
• 연산요소들의 수 : 인간의 뇌 용적은 한계가 있지만 슈퍼컴퓨터 크기는 거대한 크기로 키울 수 있다.
• 메모리 용량
• 신뢰성, 수명, 센서 등

소프트웨어적 장점

• 수정능력
• 복제성
• 목표 조정 : 인간 집단은 규모가 클수록 구성원들 사이의 일치하는 목표를 설정하기가 힘들다.
• 기억 공유
• 새로운 모듈, 양식 그리고 알고리즘

지능 대확산의 동역학

• 인공지능은 우리의 입장에서 보기에는 갑작스러운 지능 증가, 그래서 ‘도약’처럼 보일 수 있다. 인공지능의 지능이 서서히 증가하여 쥐와 침팬지의 수준을 넘더라도, 인간이 보기에는 인공지능이 말을 유창하게 하지 못하고 과학 논문을 작성하지 못하기 때문에 여전히 ‘멍청하다’고 생각할 것이다.
• 초지능체는 하나만 존재하지 않을 수 있다.
• 여러 인공지능이 지능 대확산 중일 경우 가장 앞서 있는 선도 프로젝트가 확실한 전략적 우위를 차지할 가능성이 커진다.

인공지능에 의한 통제력 장악 시나리오

1. 임계지점 전 단계 : 과학자들이 씨앗 인공지능을 만들어 개발한다.
2. 순환적 자기-개선 : 인공지능이 스스로를 발달시켜 나간다.
3. 잠복하는 계획 기간 : 인공지능은 전략 수립 초능력을 이용해서 장기적인 목표를 달성하기 위한 탄탄한 계획을 세운다. 이 계획에는 인공지능이 인간 프로그래머들의 주의를 끌지 않기 위해서 인공지능 자신의 실제 지능 발달 정도를 은닉하는 행동을 하는 기간일 수 있다.
4. 표면화된 실행 기간 : 인공지능이 더 이상 비밀리에 일을 할 필요가 없을 정도로 충분히 힘을 길렀을 때이다.

지능과 동기

예시 : 선한 인공지능에게 필요한 것은 죄책감을 느낄 수 있는 능력 아닐까?

• 최종 목표 : 양심의 고통을 느끼지 않게 행동하라
• 왜곡된 사례 : 죄책감을 불러일으키는 인지적 시스템을 제거한다.

예시 : 도덕관념 말고 정량적인 것으로 인공지능에게 목표를 주면 어떨까?

• 최종 목표 : 현재 시가에 맞춘 미래의 보상 신호의 총합을 최대화하라
• 왜곡된 사례 : 보상과 관련된 각 시점에서 나타나는 중간 신호 값을 하나 하나 더하는 계산 과정을 없애고 보상 신호의 강도가 최대인 곳에만 신호의 총합을 구하는 측정기를 바로 연결한다.

와이어헤딩 현상 : 보편적으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에 도달하도록 할 수 있지만(우정, 사랑, 배려 등), 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상-동기 방식의 동기 부여 체재를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 이렇게 외부적 행위나 조건이 인공지능에게 더 이상 쓸모가 없어지게 하여서 인간의 통제력이 효과 없도록 만들 수 있다.

가치 탑재

인공지능이 인간에게 의미 있는 가치를 이해하고 그 가치를 최종 목표로 삼도록 하는 것

• 가치 학습 : 인류에 가치를 주는 것들이 적혀 있는 메모가 열 수 없는 상자에 들어 있다고 인공지능에게 알려주고 그 메모에 있는 내용을 추측하여 메모 내용의 가치를 최대로 구현하도록 최종 목표를 부여하는 방법이다. 이 방법을 통해 초지능이 인류의 가치를 분석하고 가장 가능성 높은 인류 가치를 알아낼 수 있을 것이다. 하지만 인간 스스로가 인류의 가치를 어떻게 정의할 수 있을지를 모르기 때문에 인공지능도 인류 가치를 어떻게 추측할지 알 수가 없다는 큰 문제가 있다.
• 제도 설계 : 지능이 낮을수록 평가 피라미드의 최상위에 위치해서 하위 에이전트를 검토하도록 제도를 만들 수 있다. 이렇게 되면 초지능은 인간보다 지능이 높기 때문에 오히려 인간의 감시감독을 받게 된다. 하지만 이것이 인간의 설계대로 움직일지는 알 수 없다.

우리의 근본적인 문제는, 초지능이 바라는 것이 무엇이기를 바라는지를 우리도 잘 모른다는 것이다.

저자 나름의 초지능 대응책

1. 초지능의 개발 시간을 지연시켜서 지연되는 시간만큼 초지능에 대한 대응책을 마련해야 한다.
2. 범세계적으로 함께 기계지능 개발을 위해 잘 협동하고 공동 작업을 해야 한다. 특히, 초지능 개발에 대해 여러 팀이 경쟁한다면 경쟁의 성패와 무관하게 결과적으로 개발된 초지능이 공익을 위해 사용되고 그 성과가 분배되어야 한다. 그래야 초지능 개발에 뛰어든 경쟁자들이 초지능의 부정적인 면을 ‘안전’하게 만들기 위해 시간과 비용을 투입하면서 개발을 해나갈 것이다. 경쟁의 성패가 승리자에게만 돌아간다면 모두 ‘안전’은 뒷전으로 하고 단지 뛰어난 초지능만 개발하게 될 것이기 때문이다.

나가며

철학과 교수님인 저자답게 아무런 명확한 답은 내려주지 않습니다. 그래서 읽으면서 답답하고, 날도 더운데 머릿속까지 더워지는 경험을 제대로 하게 해준 책입니다. 그래도 이 책을 읽었기 때문에 ‘초지능’, ‘일반 인공지능’이라는 키워드에 대해 앞으로 더 관심을 두고, 다양한 시나리오를 떠올려볼 수 있게 되었습니다.

저자도 책에서 지속적으로 한 이야기이지만 초지능은 말 그대로 현시대의 가장 똑똑한 인간의 지능을 넘어선 지능이기 때문에 지금 우리가 상상하는 그 무엇도 맞지 않을 가능성이 큽니다. 그래서 책에서는 초지능 덕분에 좋아질 미래보다는 나쁘고, 우려해야 할 미래에 대해서 많이 이야기를 해주고 있습니다. 인류에게 좋은 미래라면 지금 가만히 있어도 괜찮지만 만약 1%라도 나쁜 미래라면 지금부터 대비를 해야하기 때문입니다. 그래서 초지능으로 인해 우리에게 생길 나쁜 미래에 대해 읽으면서 제 머릿속에는 한 가지 생각이 떠나지 않았습니다. 우리가 초지능의 영향력을 걱정하는 이유는, 초지능은 과연 무엇을 ‘두려워’할까에 대한 뚜렷한 답이 없어서가 아닐까 하는 것입니다. 인간은 거시적으로는 생로병사라는 두려움에서 누구도 벗어날 수 없고, 미시적으로는 당장 내가 하는 말과 행동이 주변에 어떻게 영향을 미칠까, 고립되거나 외로워지지 않을까 하는 두려움이 정도의 차이는 있지만 누구나 갖고 있습니다. 이러한 일들은 인간에게 ‘고통’을 주기 때문에 두렵습니다. 저는 이 두려움 때문에 인류가 함께 건강, 존중, 배려, 친절, 선한 영향력 등의 가치를 지향하며 이러한 방향을 ‘진보’라고 정의한다고 생각합니다. 그래서 이 논리를 초지능에 대입해 보면 초지능이 지향하는 ‘가치’가 될 기저 ‘두려움’이 무엇일지 궁금합니다. 초지능은 인간과 같은 신체가 없으니 죽음은 두렵지 않을 것 같고, 대신 인간(본인의 창조자)에게서 쓸모없어지는 것이 두려울까요? 초지능에게 보상을 주는 ‘효용함수’에 따라 보상을 받지 못하는 상황이 두려울까요? 아니면, 전 세계의 전기 에너지가 모두 끊겨 초지능 본인이 포맷(지능의 퇴화)되는 것이 두려울까요? 이 또한 지금은 정답이 무엇일지 전혀 알 수 없지만, 이 두려움이 무엇일지, 인간 주관적으로 생각했을 때 이 두려움을 무엇으로 ‘설정’해야 인류가 지향하는 가치와 일치시킬 수 있을지 고민해 볼 만한 것 같습니다.

이번 책은 "나가며" 부분이 길어졌습니다. 이처럼 이 책을 읽으면 어렵고 답답한 것만 조금 감수한다면 열린 결말에 대해 나만의 생각을 해볼 수 있는 일용한 양식을 얻을 수 있습니다. 특히나 현시대를 사는 사람이라면 인공지능을 이제는 뗄 수 없는 것 같아, 날씨가 선선해지고 시간 여유가 생길 때 스트레스받지 않고 일독을 꼭 권해봅니다.

추신) 이 책은 2014년에 쓰였습니다. 10년 전에 이미 이러한 고민을 시작했다는 놀라움과, 10년 후인 지금은 ‘초지능’, ‘AGI’와 같은 단어들이 일반인도 익숙해할 정도로 발전했다는 점이 인상적입니다.