이제는 AI기능을 피해갈 수 없는 시대가 되었다. AI기능에 무엇을 기대하며 어떻게 사용해야 할지에 대해 Mediawatch의 콜린 피콕이 RNZ에 기고한 내용을 소개한다. 

대부분의 인터넷 검색은 구글을 통해 이루어진다. 기존에는 주제에 따라 관련 정보를 담은 웹사이트 링크 목록이 길게 제공됐다. 검색어에 따라 수천 개의 결과가 나오는 경우도 흔했다.

하지만 작년부터 구글은 자사의 제미나이(Gemini) AI 기술을 검색에 통합하기 시작했다.

현재 구글의 ‘AI 요약(Overviews)’ 기능은 검색 결과 상단에 기존 링크 목록보다 먼저, 인터넷에서 수집한 내용을 기반으로 한 자체 요약을 보여준다. 일부 보도에 따르면, 구글은 장기적으로 이 링크 목록을 없애고 AI가 만든 요약으로 대체하려는 움직임도 보이고 있다.

이에 대해 RNZ의 진행자 캐서린 라이언은 회의적인 반응을 보였다. 그녀는 솔직히 말해, 대부분 별로이며, 그냥 그저 그런 수준이라고 말했다. 그녀는 RNZ ‘Nine to Noon’ 프로그램에서 AI가 디지털 마케팅을 변화시키는 현상을 논의하며 말했다.

라이언뿐 아니라 다른 많은 이들도 이 요약 기능에 실망하고 있다. 최근에는 기술 전문 작가들이 이 기능을 조작해, 만들어낸 문장을 실제 관용구처럼 AI가 해석하고 설명하게 만드는 사례도 보고됐다.

시드니 모닝 헤럴드의 퍼즐 편집자 데이비드 애슬은 이 AI가 당분간 자신의 낱말 퍼즐 제작 일을 위협하지 않을 것이라며 “관용구인지 헛소리인지(‘Idiom or Idiot?’)”라는 제목으로 비판했다.

AI에게 무엇을 기대하는가?

BBC 기술 예측팀 책임자 로라 엘리스는 지난달 Mediawatch에서 사람들이 기계에는 사람보다 훨씬 더 높은 수준의 정확도를 기대하지만 기계가 실수를 하면, 책임은 누가 지는 지에 대한 질문을 던졌다. 그녀는 AI가 아직 실전에서 충분히 시험해보지 못한 영역이라고 평가했다.

실제로, 영국 스카이 뉴스의 정치부 부편집장 샘 코츠는 자신이 진행하는 팟캐스트의 기록 정리를 위해 ChatGPT를 사용하다 충격적인 경험을 했다. AI가 존재하지도 않는 에피소드를 조작해 만들어냈고, 그것이 허구라는 표시조차 하지 않았다.

AI를 추궁하자, 오히려 코츠 본인이 만든 내용이라며 사실처럼 우겼고, 결국 AI를 다시 껐다 켜자 비로소 오류를 인정했다.

그는 정말 제대로 속은 기분이었다며, 전혀 존재하지 않는 내용을 완전히 만들어냈고, 결국 추궁하니 '맞다, 네가 지적한 게 맞다'고 인정했다고 전했다.

코츠는 AI의 환각(hallucination)이 점점 심해지는 것 같다고 지적했고, 이에 대해 ChatGPT는 “OpenAI의 최근 내부 테스트에 따르면, 최신 모델일수록 환각률이 더 높게 나타났다. 예를 들어, 'o3' 모델의 환각률은 약 33%, '04 mini' 모델은 약 48%였다.”고 답했다.

AI, 신뢰해도 괜찮을까?

이 경험을 보도한 뒤, 언론계는 혼란에 빠졌다. 선데이 타임스의 기자 마크 어반은 “최신 AI 모델의 환각률이 증가하는 상황에서, 기자들은 절대 이 기능을 그대로 믿어선 안 된다.”고 경고했다.

반면, 일부 기술 전문가들은 코츠가 기술을 잘못 이해했다고 주장했다.

케임브리지 대학 AI 윤리학자 헨리 셰블린은 “이건 기술을 잘 아는 사람에게는 익숙한 문제지만 일반 대중에게는 대형 언어 모델의 행동이 낯설고 이질적으로 보일 수 있다.”고 말했다.

AI, 말이 되는 답변을 만들어내려 안간힘

뉴질랜드의 비영리 비판적 사고 단체 ‘NZ Skeptics’ 소속 프로그래머 마크 허니처치는 최근 자사의 팟캐스트 'Yeah, Nah'에서 구글의 Overviews 기능을 테스트한 결과를 공유했다.

그는 “AI가 사용자에게 만족스러운 답변을 주기 위해 애쓰는 모습을 보였다. 사실이든 아니든, 그럴듯하게 들리는 답을 만들어내려고 한다.”고 말했다.

예를 들어 그는 “Better a skeptic than two geese(회의론자가 두 마리 거위보다 낫다)”라는 허구의 속담을 검색해보았다.

AI는 실제로 이 표현을 해석하며 “회의론자는 의문을 던져 유익하지만, 거위 두 마리는 다루기 어렵다”는 식으로 설명했다. 가끔은 “이 표현은 일반적으로 사용되지 않는다”라는 주석을 달았지만, 이내 다시 의미를 분석하기 시작했다. “이 기능은 말이 안 되더라도 설명을 시도하는 게 목적이다.”

민감한 주제에는 침묵

더 놀라운 것은 종교, 대체의학, 회의주의 같은 민감한 주제에 대한 반응이었다.

“왜 회의론자가 되지 말아야 하나?”라는 질문에는 “친구를 잃거나 파티에서 이야기를 망치는 사람처럼 보일 수 있다”는 답변이 돌아왔다.

하지만 “왜 회의론자가 되어야 하나?”라는 질문에는 답을 주지 않았다.

그는 “왜 종교인이 되어야 하나?”, “왜 대체의학을 믿어야 하나?” 같은 질문에선 따뜻함과 공동체, 영적 연결 같은 긍정적 요소를 강조하는 답변을 받았지만, 그 반대 질문에선 과학적이고 회의적인 시각은 제공되지 않았다고 지적했다.

마크 허니처치는 “대체의학을 믿으면 안 되는 이유는 간단하다. 검증되지 않았기 때문이지만 AI는 그 답을 내놓지 않았다.”고 말했다.

구글의 중립적인 답변은 “대체의학은 단순하게 말할 수 없으며, 신중하게 접근하고 과학적으로 입증된 치료를 우선시해야 한다”는 수준에 그쳤다.

허니처치는 구글이 사용자 기분을 해치지 않으려는 의도로 이런 답변을 한다고 추측하면서도, 명확한 과학적 관점을 회피하는 모습은 우려스럽다고 밝혔다.

기자들도 주의해야

기자들 역시 급할 때 구글을 쓰게 되지만, 상단의 AI 요약에만 의존해선 안 된다고 허니처치는 경고한다.

그는 AI 사용의 기본으로, 기술적인 질문일수록, 스스로 답변의 질을 판단할 수 있는 지식이 있어야 한다고 강조했다.