구글 검색 결과 상단에 뜨는 ‘AI 요약(AI Overviews)’이 의료·생활 정보에서 잘못된 답을 내놓으면서, 이용자들이 피해를 볼 수 있다는 우려가 제기되고 있다.

기자가 “구글 AI 요약이 얼마나 정확한가”를 물었을 때, AI 요약은 스스로 “단순한 질문에는 정확할 수 있지만, 항상 신뢰할 수 있는 것은 아니며, 때로는 말이 안 되거나 오해를 부르는, 심지어는 해로운 정보를 생성할 수 있다”고 답했다.

출처를 잘못 해석하거나, 오래된 데이터를 섞어 쓰거나, 아예 존재하지 않는 내용을 지어내는 이른바 ‘환각(hallucination)’ 현상이 원인으로 지적된다.

딜로이트 뉴질랜드 AI 연구소의 아만다 윌리엄슨는 “객관식 시험에서 아무 답이나 찍으면 맞을 가능성이 생기는 것처럼, AI도 일단 답을 내놓으면 맞을 가능성이 있다고 보기 때문에 틀린 정보도 ‘자신 있게’ 말할 수 있다”며 이런 환각이 약 2% 수준으로 나타난다고 설명했다.

빅토리아대의 사이먼 맥컬럼 교수는 “일부 오답은 AI가 지어낸 것이 아니라, 애초에 사람들 사이에서 논쟁적이거나 잘못 알려진 정보가 학습된 결과”라며 “AI는 인간에게서 배우기 때문에 인간의 실수도 함께 학습한다”고 말했다.

이미 의료 분야에서 AI 요약이 위험한 정보를 제공한 사례가 여러 차례 보고된 바 있다. 전문가들은 특히 건강·재정처럼 중요한 결정에 AI 답변을 그대로 따르는 것은 매우 위험하다고 경고한다.

일상 정보에서도 문제는 발생한다. 웰링턴에 사는 바바라는 연말 도심에 나가기 전 “뉴이어이브에는 웰링턴 시내 주차가 무료인가?”를 검색했고, AI 요약에서 “예, 웰링턴 중심가의 유료 노상주차는 일반적으로 연말 밤에는 무료”라는 답을 받았다.

하지만 실제로는 그렇지 않았고, 그는 70달러짜리 주차위반 딱지를 끊겼다. 바바라는 시청에 이의를 제기하며 “규칙을 무시한 게 아니라, 나름 확인을 하고 주차했는데도 이런 결과가 나와 억울했다”고 호소했다.

처음에는 “규정을 확인할 책임은 본인에게 있다”는 이유로 기각됐지만, 지역구 부시장인 벤 맥널티가 다시 검토를 요청하면서 과태료는 취소되고 경고로 대체됐다.

맥널티는 “새로운 기술인 AI에 의존하는 것이 얼마나 위험할 수 있는지 잘 보여주는 사례”라며 “시 관련 정보는 반드시 시청 공식 홈페이지에서 확인해야 한다”고 강조했다.

오타고대의 마이클 도브스는 구글 입장에서는 AI 요약이 검색 결과 상단에 노출되며 자사 플랫폼의 영향력을 강화하는 수단이라고 분석한다. 하지만 이용자 입장에서는 “편리하지만, 그 가치는 다소 의심스럽다”고 평가했다.

그는 “인터넷의 어떤 정보든 그렇듯, AI 요약도 ‘적당히 의심’하는 태도가 필요하다”고 말했다.

맥컬럼 교수는 “우리가 항상 모든 정보를 검증할 시간은 없지만, 중요한 결정일수록 반드시 추가 확인을 해야 한다”며, 특히 자신이 ‘동의하는’ 답변일수록 더 의심해 보라고 조언한다.

“AI가 내 생각과 딱 맞는 답을 보여주면 사람들은 그대로 믿고 넘어가기 쉽다. 반대로 내 생각과 다르면 ‘정말 그런가?’ 하고 추가 검색을 하게 된다. 그래서 오히려 우리가 동의하는 정보일수록 더 확인해 볼 필요가 있다”는 것이다.

전문가들은 다음과 같은 확인 절차를 권고한다.

AI 요약 아래에 제시되는 원문 링크를 직접 클릭해 내용이 실제로 그렇게 쓰여 있는지 확인한다.

AI가 때로는 출처 링크를 잘못 붙이거나, 내용과 맞지 않는 사이트를 인용하는 경우도 있다는 점을 염두에 둔다.

건강·법률·재정 등 ‘삶에 영향을 주는 결정’일 경우에는 정부·공공기관·공신력 있는 언론·전문기관 사이트 등에서 한 번 더 교차 검증한다.

구글 계정에 로그인된 상태라면 과거 검색기록, 이메일, 문서 등 개인 정보에 기반해 사람마다 다른 결과가 나올 수 있다는 점도 인지해야 한다.

맥컬럼 교수는 “AI를 ‘술 취한 삼촌’ 정도로 생각하면 된다”며 “가끔은 쓸 만한 얘기를 하지만, 때로는 그냥 재미있는 이야기를 지어내기도 한다. 듣고만 있지 말고, 정말 중요한 얘기라면 반드시 다른 사람에게도 확인해 보라”고 말했다.