추천 알고리즘이 테러를 유발한다? 더닝 크루거 효과란?

 http://www.podbbang.com/ch/9344/

“여러분들은 스스로에 대해 잘 알고 계신가요?”

아마 “네”라고 대답하는 분들은 드물 것 같습니다. “내 자신을 나도 모르겠어”라는 말을 흔히들 하잖아요. 좋아하는 것, 하고 싶은 것에 대해 물어봐도 바로 대답이 나오는 경우도 많지 않죠. 어제 방송에서 플로리다마음연구소의 김소울 박사님이 이야기하신 거처럼 자신을 정확히 안다는 것은 매우 힘든 일이죠. 그래서 3000년 전에 소크라테스가 “너 자신을 알라”라는 깨우침을 남기기도 했죠.

 

‘갑자기 경불진에서 웬 철학이야기’라고 하시는 분들도 계실 텐데요. 우리가 스스로를 제대로 모른다는 사실을 이용한 서비스가 최근 늘어나고 있습니다. “도대체 뭘까?”하는 분들도 많으실 텐데요. 인공지능을 이용한 ‘추천 알고리즘 서비스’라고 들어보셨죠? ‘소비자의 이용패턴과 성향을 분석해서 취향맞춤형으로 제공한다’는 서비스들 있잖아요. IPTV의 경우 기존에 봤던 영화나 드라마 등을 분석해 좋아할 만한 것을 알아서 엄선해서 서비스한다고 광고하죠. 실제로 이용해보면 기가 막히게 좋아하는 것을 추천해주죠. 저 같은 경우에는 로맨스 영화, 박 피디 같은 경우에는 좀비·호러물···.

 

패션이나 유통 업체들도 마찬가지고요. 요즘은 금융사들도 고객의 금융거래 이력에 따라 선호할 만한 금융상품을 맞춤형으로 제공한다고 하더라고요. 심지어는 네이버도 기존에 이용했던 콘텐츠를 분석해 ‘000을 위한 AiRS 추천’이란 서비스를 제공하고 있죠. 여기에 보면 나의 취향에 맞는 뉴스만 올라오더라고요. 카카오도 마찬가지이고요.

 

그런데 이런 추천 알고리즘 서비스 하면 먼저 떠오르는 것이 외국IT기업들이죠. e북 추천으로 유통제국의 토대를 다졌던 아마존, 맞춤 동영상 추천으로 콘텐츠 제국을 이룬 ‘넷플릭스’ 등이 대표적이죠. 이런 서비스들 덕분에 우리는 내 자신이 뭘 좋아하지는 따져보지 않아도 내가 좋아하는 것만 골라서 보고 이용할 수 있게 됐습니다. 좋아하지 않는 것을 이용하느라 시간과 돈을 낭비하는 것도 줄일 수 있고요. 살 것과 볼 것, 즐길 것 등을 알아서 척척 선택해주니 유능한 비서를 둔 듯 한 착각에 빠질 정도죠. 특히 실제 비서는 뭐 해달라고 말을 해야 하는데 이같은 인공지능 추천서비스는 말도 필요 없죠. 내가 생각하기도 전에 내 취향을 기가 막히게 파악해서 눈앞에 가져다주니. 손가락 하나 만으로 노예들에게 지시를 내렸다는 로마 귀족 같은 느낌도 듭니다.

 

그런데 이런 서비스를 이용하다 가끔은 섬뜩함에 뒷머리가 싸늘해지는 경험을 하신 적은 없으신가요? 나도 모르는 내 취향을 인공지능 추천 서비스가 더 잘 안다는 것은 편리하긴 하지만 생각해보면 그리 좋은 느낌은 아니잖아요.

 

그래서 오늘은 우리 자신을 나보다도 더 잘 파악해주는 추천 알고리즘 서비스의 불편한 진실을 살펴볼까 합니다. 지금부터 드리는 이야기가 너무 극단적이고 과장된 이야기라고 하실 수도 있는데요. 하지만 이런 불편함의 경고는 몇 년 전부터 계속돼 왔습니다. 하지만 여러분이 접하는 네이버나 카카오 등에서는 이런 경고를 보기 힘드셨을 것입니다. 이유는 충분히 짐작하실 수 있겠죠?

 

불편한 진실을 알아보기에 앞서 추천 알고리즘이 어떻게 작용하는 지를 살펴볼까 합니다. “그냥 알파고 같은 인공지능이 하겠거니”라고 생각하는 분들도 많으실텐데요. 과연 그럴까요?

 

저희가 공대 출신이 아니기 때문에 직접 설명하기는 힘들고요. 책에 나온 설명을 참조할까합니다. 해나무출판사에서 지난해 펴낸 ‘알고리즘이 당신에게 이것을 추천합니다’란 책인데요. 저자는 ‘수학 시트콤’, ‘물리학 시트콤’ 등 일반인들도 이해하기 쉬운 과학책을 주로 썼던 크리스토프 드뢰서란 독일 과학저널니스트입니다.

 

알고리즘은 문제를 해결하기 위하여 구체적으로 계산하는 절차나 방법을 말하잖아요. 따라서 알고리즘을 이용해 인공지능이 앞서 말씀드렸던 추천을 한다고 생각하시죠. 그런데 이런 알고리즘을 가장 잘 이용하는 기업 꼽으라면 앞서 언급했던 아마존, 넷플릭스 등을 떠올리실 것입니다. 그런데 IT에 익숙하신 분들은 아니겠지만 일반인에게는 의외의 기업도 알고리즘의 대가로 꼽힙니다. 바로 검색서비스업체 구글이죠.

 

그런데 구글의 검색이 우리가 자주 사용하는 네이버나 카카오와는 조금 다르다는 것은 알고 계실 것입니다. 어떻게 다른지 알고 계신가요? ‘페이지 랭크’라는 용어를 들어보신 적 있으신가요? 맞습니다. ‘페이지 랭크’가 바로 구글의 검색 방식이죠. 구글의 설립자인 래리 페이지와 세르게이 브린이 스탠포드대학에서 컴퓨터 공학 박사학위 과정에 있을 때 학위 논문을 준비하는 과정에서 ‘페이지 랭크(PageRank)’라는 이론을 만들었다고 합니다. 이를 바탕으로 구글을 설립했고요.

 

페이지랭크는 논문에서 인용이 많이 될수록 중요한 정보라는 아이디어에서 착안한 것입니다. 이에 따르면 더 중요한 페이지도 더 많은 다른 사이트로부터 링크를 받기 때문에 특정 단어를 검색했을 때 각 페이지가 얼마나 많은 사이트에서 링크를 받았는지를 랭킹을 매긴 것이죠. 이를 순서대로 검색 결과로 보여주고요.

 

그런데 과연 구글의 검색 결과는 페이지 랭크 방식으로 제공될까요? 책에는 이런 내용이 나옵니다.

 

“최초의 검색 엔진들이 나오고 얼마 지나지 않아 검색 결과 순위를 조작하려는 시도들이 등장했다. 예를 들어 어떤 이들은 자신의 페이지에 “섹스 섹스 섹스 섹스”라는 문구를 흰색 바탕에 흰색 글씨로 100번 써서 보이지 않게 집어넣었다. 검색창에 “섹스”를 입력하는 사용자가 얻는 검색 결과 목록에서 자신의 페이지가 최대한 위에 뜨도록 하기 위해서였다. 그리하여 검색 엔진 운영자들의 끝없는 군비경쟁이 시작되었다. 그들은 그런 조작을 막기 위해 자신의 알고리즘에 관한 세부사항을 ‘검색 엔진 최적화(search engine optimization, SEO)’에 종사하는 사람들이 알 수 없도록 비밀에 부쳤다.”

 

구글도 마찬가지입니다. 검색순위 조작을 막기 위해 구글에 종사하는 수천 명의 프로그래머들이 매일 페이지랭크 상위에 노출되는 알고리즘 기준을 바꾼다는 것이죠. 그런데 좀 의문이 생기시죠. 매일 바꾸는 기준은 과연 공정할까?

이 책에서는 다소 과격한 주장도 합니다. 이런 알고리즘 추천이 누군가를 차별할 수 있다고요, 마이크로소프트 소속의 과학자 케이트 크로퍼드가 만든 스트리트 범프(Street Bump)라는 앱을 예로 드는데요.

 

스트리트 범프는 본래 보스턴 정부가 관내 도로에 난 구멍을 보수하는 작업을 용이하게 하는 데 도움을 주기 위해 고안됐습니다. 이 앱이 설치된 스마트폰을 가진 운전자가 주행 중에 구멍 때문에 차가 덜컹거리는 일을 겪으면 스마트폰이 그 충격을 기록해 보스턴 정부에 보고하는 것이죠. 그러면 보스턴 당국은 모니터링 결과를 통해 보수를 진행합니다. 그런데 이런 앱이 어떻게 사람을 차별할까요?

 

드뢰서에 따르면 스마트폰 보유 여부에 따라 차별이 있을 수 있다고 합니다. 우리나라에 스마트폰 보급률이 95%로 문제가 되지 않을 수도 있지만 미국은 아직 스마트폰 보급률에 81%에 그친다고 합니다. 즉 10명중 2명은 스마트폰이 없다는 것이죠. 따라서 상대적으로 스마트폰을 보유하지 못하는 저소득 계층 거주 지역의 도로 상황은 덜 보고되겠죠. 결국 스마트폰을 더 많이 가진 동네의 도로가 정비되는 경우가 많게 됩니다. 드뢰서는 이와 같은 알고리즘 과정이 부자 동네와 가난한 동네의 도로 인프라 차이를 불러올 수 있는 까닭에 문제가 있다고 짚어냅니다. 그런데 알고리즘을 만든 사람도 가난한 동네보다는 부자동네 출신일 가능성이 많기 때문에 이런 문제를 모르거나 알고서도 무시할 가능성이 있다는 것이죠.

 

겨우 이 정도 가지고 알고리즘 서비스의 불편한 진실을 운운하느냐고 하실 수도 있으실텐데요. 페이스북의 사례를 한번 볼까요? 애청자 여러분들 중에서 정치나 종교적 성향이 다른 사람의 페이스북을 보신 경험이 있으신가요? 혹시 있다면 아마 깜짝 놀라셨을 것입니다. 왜냐면 내가 보는 내용과는 전혀 다른, 즉 내 페이스북에서는 볼 수 없는 콘텐츠가 너무나 많기 때문이죠. 왜 이런 일이 벌어질까요?

 

페이스북도 지금 다르고 있는 추천 알고리즘을 쓰고 있는데요. ‘알고리즘이 당신에게 이것을 추천합니다’에서 설명한 페이스북의 추천 방식은 이렇다고 합니다.

 

“페이스북 알고리즘은 나의 뉴스 소비성향을 파악해 내가 보수적 사용자라면 진보적 기사 20건 가운데 1건을 보여주지 않는다. 반대로 내가 진보적 사용자라면, 보수적 기사 13건 가운데 1건을 나에게 숨긴다. 즉, 페이스북은 나의 성향에 맞게 뉴스를 미리 약간 걸러내면서 나에게 거슬릴 만한 뉴스를 숨긴다. 그런 다음에는 당연히 내가 뉴스를 재차 선택한다.”

 

이런 방식이 반복되면서 훨씬 강한 걸러내기가 진행되고 내 페이스북에는 내 성향에 맞는 피드만 올라온다는 설명입니다. 물론 이런 추천 방식은 과거의 예를 든 것이고 지금은 어떤 알고리즘을 쓰는지 비밀에 부쳐져 있다고 합니다. 또 이 알고리즘도 매주 페이스북 기술자들이 모여서 조정한다고 하네요. 그런데 어떻게 조정하는지는 역시 비밀이라고 합니다.

 

그럼 다른 서비스들은 어떨까요? 유튜브도 마찬가지죠. 유튜브도 어떻게 알았는지 내 정치성향, 종교적 배경, 콘텐츠 소비 성향과 비슷한 동영상들이 주로 노출되잖아요. 이 또한 추천 알고리즘 덕분인데요. 특정 동영상을 시청하면 계속해서 이용자가 즐겨 볼 만한 관련 동영상을 추천해주는 방식으로 이용자를 유튜브에 붙잡아 두죠. 이용자로서는 더 보고 싶은 동영상을 재검색하지 않아도 되기 때문에 자연스럽게 유튜브 체류시간이 늘어나게 됩니다. 하지만 유튜브도 추천 알고리즘을 어떻게 조정하는지 비밀에 붙이고 있죠. 넷플리스나 국내 IPTV, 네이버·카카오 등도 마찬가지고요.

 

그런데 문제는 이렇게 걸러진 콘텐트가 심각한 사회문제를 야기할 수 있다는 점입니다. 설마 사회문제까지 일으킨다는 것은 너무 과장된 이야기 아니냐고 하실 수 있는데요.

 

최근 뉴질랜드 테러가 전 세계를 충격에 몰아넣었죠. 지난 15일 오후 세계에서 가장 평화롭다던 뉴질랜드 남섬의 최대 도시 크라이스트처치에서 발생한 끔찍한 사건. 이 사건의 범인은 호주 국적의 백인 우월주의자를 자처한 브렌턴 태런트(28)라고 하는데요. 이 나쁜 놈이 이슬람 사원 2곳에서 무방비 상태의 무슬림을 향해 총기를 난사해 50명이 숨지고 34명이 크게 다쳤잖아요. 그런데 이 나쁜 놈은 범행 전 인터넷에 자신의 계획이 담긴 74쪽의 ‘선언문’을 올리고 범행 9분 전에는 뉴질랜드 총리와 정치인, 언론기관에 선언문을 보내는 대범함을 드러냈다고 합니다. 특히 헬멧에 카메라를 부착하고 범행 장면을 실시간으로 17분 동안 페이스북을 통해 생중계해 전 세계를 경악에 빠뜨렸죠.

 

그런데 이 나쁜 놈이 범행을 저지른 이유가 기가 막힙니다. 이민자들로부터 백인의 땅을 지키기 위해서라는 군요. 뉴질랜드는 원래 10세기부터 거주했던 원주민 마오리족의 땅이잖아요. 역시 역사를 모르는 멍청한 놈이 이런 나쁜 짓을 하죠. 아무튼 이번 사건이 발생한 후에 소셜미디어 책임론이 급부상 중입니다. 이런 극단주의자들이 소셜미디어 때문에 늘어나고 있다는 지적이죠. 극단주의자들은 소셜미디어를 통해 극단주의 정보를 수집하고 범행수법을 공유한다고 합니다. 정보 교류를 통해 전략을 수정하고, 정보당국의 추적을 따돌리는 기법을 서로 가르쳐준다는 군요.

 

그런데 더 중요한 것도 있습니다. 이런 극단주의자들이 페이스북과 같은 소셜미디어 때문에 자신의 편협한 생각에 대한 확신을 가지게 된다는 점입니다. 바로 앞서 설명했던 추천 알고리즘이 이들에게 극단주의를 합리화하는 콘텐츠를 지속적으로 노출시킨다는 것이죠. 이런 노출이 반복되면 어떻게 될까요? 예전 방송에서도 알아봤던 확증편향에 빠지게 된다는 것이죠. ‘거 봐 내말이 맞지’라면서 자기가 보고 싶은 것만 보고 믿고 싶은 것만 믿게 되는 현상 말이죠. 따라서 처음에는 긴가민가했던 사람들도 추천알고리즘이 골라준 확증 편향적 콘텐츠에 빠지게 되면 점점 더 극단적인 성향으로 바뀌게 된다는 것입니다. 마치 광신도처럼 말이죠.

물론 페이스북이나 유튜브 등에서도 이런 콘텐츠는 차단하거나 삭제한다고 하지만 과연 이 말을 믿을 수 있을까요? 이런 추천 알고리즘에 의한 콘텐츠로 사용자를 붙잡아 놓아야 광고 수익을 올릴 수 있는데요. 실제로 CNN은 뉴질랜드 테러가 발생한 후 “유튜브 등에선 테러 영상을 이미 극우·반이민 성향을 보인 사용자들에게 ‘자동 추천’하는 알고리즘을 통해 무한 유포했다”고 지적하기도 했습니다. 차단이나 삭제가 아니라요.

 

그런데 이런 의문을 제기하는 분들도 계실 것입니다. ‘아무리 걸러진, 추천된 영상을 본다고 극단주의에 빠지는 것이 말이 되느냐’ ‘바보가 아니고서는 그럴 리 없다’면서요. 과연 그럴까요?

 

혹시 ‘그래도 지구는 평평하다(Behind the Curve)’는 다큐멘터리 영화를 보신 애청자분 계신가요? 아마 거의 없으실텐데요. 그런데 제목이 좀 이상하죠? 갈릴레이가 했다는 “그래도 지구는 돈다”가 아니고 평평하다? 뭔 헛소리냐고 호통을 치는 분들이 많으실텐데요.

 

이 다큐는 지구가 평평하다고 믿는 사람들의 이야기를 다루고 있습니다. 이들이 신봉하는 이론이 있다고 합니다. 바로 ‘플랫 어스(Flat Earth)’. 말 그대로 지구가 평평하다는 황당한 이론이죠. 아니 인공위성이 날아다니고 달과 화성으로 우주선을 쏘는 시대에 이런 황당한 말을 믿는 사람이 과연 있느냐고 하실 수 있는데요. 이 다큐에 등장하는 마크 서전트란 사례를 들어보세요. 이 사람도 3년 전 우연히 지구가 평평하다고 믿는 다른 사람의 말을 듣고 그것이 틀렸다는 것을 증명하기 위해 다양한 자료를 찾아보기 시작했다고 고백합니다. 그런데 당초 목적과 달리 그는 SNS, 인터넷 검색 사이트, 책, 유튜브 등을 통해 다양한 정보를 접하다가 ‘실제로 지구가 평평하다’고 믿게 되었다는 거죠. 그는 플랫 어스 이론을 믿기 시작한 이후부터 스스로 과학적 정보에 반박하는 영상을 유튜브에 올리고, 직접 글을 적어 자신의 이론을 사람들에게 퍼뜨리기 시작했다는군요.

 

다큐에서는 플랫어스에 대해 ‘말도 안 되는 헛소리’라고 말하는 사람들이 등장합니다. 그런데 이 사람들에게 마크가 만든 영상을 보여주니 이 중 일부가 ‘마크의 말이 믿을 만하다’고 생각하기 시작했다는 거죠. 이유가 있습니다. 마크 등 플랫어스 신봉자들이 만든 콘텐츠가 그렇게 허접하지 않거든요. 나름대로 논리와 이론을 갖추고 있기 때문에 현대 과학에 조금이라도 의심을 갖고 있는 사람이라면 혹 할 수 있다는 말입니다. 그래서 이들은 미국 나사(미 항공우주국)나 과학자들이 미국 정부 등과 손을 잡고 지구가 평평하다는 사실을 숨긴다고 생각하죠.

 

왜 이런 황당한 일이 벌어질까요? 다큐 속 전문가들은 이런 확신에 관해 ‘더닝 크루거 효과’라고 설명합니다. 더닝 크루거 효과는 코넬대 대학원생 데이비드 더닝과 저스틴크루거 교수가 학부생을 대상으로 한 인지편향 실험을 통해 제안한 이론입니다. 실험은 간단합니다. 45명의 학부생에게 20가지의 논리적 사고 시험을 치르게 한 뒤, 자신의 예상 성적 순위를 제출하도록 주문했습니다. 그런데 결과가 재미있었다는 거죠. 성적이 낮은 학생은 예상 순위를 높게 평가했지만, 성적이 높은 학생은 스스로를 낮게 평가했다고 합니다. 즉 능력이 없는 사람은 자신의 실력을 실제보다 높게 평가하는 반면 능력이 있는 사람은 오히려 자신의 실력을 과소평가한다는 것이죠. 쉽게 설명하면 무식하면 용감하다는 말 있잖아요. 해당 분야에 대한 전문성이 없는 사람들이 그 분야를 잘 안다고 생각해 자신감이 높아지는 것을 의미하죠.

 

실제로 ‘그래도 지구는 평평하다’는 다큐에서는 플랫 어스 신봉자들의 진지한 표정을 하나하나 담으면서, 그들이 단순히 장난으로 하는 행동이 아니고 진짜로 이를 철저하게 믿는다는 사실을 보여줍니다. 그런데 여기서 중요한 것이 있습니다. 플랫 어스 신봉자들이 잘못된 정보를 순식간에 공유할 수 있었던 비법이 바로 유튜브였다는 점입니다. 유튜브의 추천 알고리즘이 플랫어스란 말을 듣고 호기심을 느껴 한번 검색하게 되면 이를 한두개 보여주고 실제로 보기시작하면 관련 영상을 수십 만개 제공하면서 확증편향과 더닝 크루거 효과를 가중시킨다는 것이죠. 실제로 다큐 중 한 사람은 이렇게 말합니다. “이 정보들이 가짜라면 왜 이렇게 많은 사람들이 믿겠어요?”

 

이 모습을 보면 바로 떠오르는 장면이 있더라고요. 바로 우리나라의 태극기 부대. 아직도 박근혜가 한푼도 해쳐먹지 않았다, 광주민주화운동도 가짜라고 믿는 사람들도 플랫 어스 신봉자들처럼 확증편향과 더닝 크루거 효과의 희생자들 아닐까요?

 

그러면 이런 부작용을 피하기 위해서는 어떻게 해야 하느냐고 물으실 수 있습니다. 우선 IT업체들의 각성이 필요하죠. 확증편향과 더닝 크루거 현상을 부추지 않도록 알고리즘을 수정해야 합니다. 하지만 자발적으로 이들 기업이 할까요? 이렇게 하면 광고가 떨어지는데요. 아마 쉽지 않겠죠.

 

그러면 SNS를 사용하지 않으면 어떨까요? 실제로 이번 뉴질랜드 테러 이후 페이스북 등 SNS를 탈퇴하겠다는 움직임이 거세다는 군요. 조선일보 마저 67만 페이스북 팔로어를 거느린 말레이시아 출신의 토니 페르난데스(54) 에어아시아 CEO가 “소셜미디어에 퍼지는 증오의 총량은 때로 소셜미디어의 장점들을 넘어선다”며 탈퇴해버렸다고 전하더군요.(혹시 조선일보 페이스북이 인기가 없어서일까요?)

 

그런데 SNS를 완전히 끊고 살 수 있을까요? 과거처럼 매번 전화로 소통하고 오프라인 모임만 참가하는 것이 현실적으로 가능할까요? 수험생이나 스님·신부님 등 종교인이 아니고선 불가능하잖아요.

 

‘알고리즘이 당신에게 이것을 추천합니다’의 저자 드뢰서는 이렇게 질문합니다.

 

“감정적이고 선입견이 있는 인간보다 감정 없는 컴퓨터 프로그램이 결정을 내리는 편이 더 나을까? 사람들이 자동차를 몰다가 때때로 사고를 일으키는 세상보다 자동차들이 스스로 운전하며 돌아다니는 세상이 더 나을까?”

 

저자가 왜 이런 질문을 했을까요? 알고리즘으로 최적화된 취향저격 맞춤형 서비스에 노출될수록 스스로 생각하고 사고하고 선택하는 인간의 본질이 점점 사라질 수 있다는 경고가 아닐까요? 방송 처음에 언급한 것처럼 우리 스스로가 자신에 대해 잘 모르기 때문에 나보다 나 자신을 더 잘 아는 유능한 비서 같은 추천 알고리즘 서비스의 달콤함에 빠져 들면서 자아를 상실할 수도 있다는 우려 아닐까요.

 

아동학자들은 아이들이 자아를 형성하는 과정을 이렇게 설명하더군요. 혼자만 있을 때는 자아가 거의 형성되지 않는데 놀이터나 유치원 등에서 다른 아이와 접촉하면서 자아 형성되기 시작한다고요. 즉 다른 아이도 있다는 사실을 깨닫고 다양성에 노출되면서 자아를 깨닫게 된다는 거죠.

 

어른들도 마찬가지 아닐까요? 페이스북, 유튜브, 넷플리스, 네이버, 카카오 등 세계적인 업체들이 알고리즘까지 써서 추천해주는 것이니 오죽 좋겠어라고 착각해서는 안된다는 것입니다. 이는 혼자만 있는 것과 같다는 것입니다. 이런 추천 알고리즘에서 벗어나 다양성을 추구해야 확증편향과 더닝 크루거 효과의 굴레에서 벗어날 수 있다는 말이죠. 따라서 일부로라도 알고리즘이 추천한 것과는 다른 것을 검색해 다른 취향의 사람들은 어떻게 생각하는지, 어떤 것을 보고 사고 노는지를 봐야 할 것 같습니다. 그래야 3000년 전부터 소크라테스가 그토록 강조했던 내 자신을 추천 알고리즘이 아닌 스스로 알 수 있을테고요. 게다가 우리 위에 군림하려고 하는 추천 알고리즘을 골탕을 먹일 수 있지 않을까요?

http://www.podbbang.com/ch/9344/