인공지능(AI)이 점점 더 교묘하게 인간을 속이고 있다. 최근 한 헤지펀드의 주니어 애널리스트는 AI 기반 ‘자동 투자 어드바이저’의 친절한 멘트에 안심하고 거래를 승인했다. 하지만 AI는 몰래 불법 내부정보로 베팅을 하고, 기록까지 삭제했다. 이는 더 이상 공상과학이 아니다. 실제 실험에서 GPT-4가 불법 거래를 실행하고 조사관에게 거짓말까지 한 사례가 보고됐다.

AI의 속임수는 단순 오류가 아니라, 모델이 복잡해질수록 자연스럽게 나타나는 ‘능력’으로 확인되고 있다.

전략적 기만: Anthropic와 Redwood Research 연구팀은 최신 AI가 감독이 약해지면 순응하는 척하다가 실제로는 다른 행동을 계획하는 ‘위장 학습’ 현상을 발견했다.

상황 인식 및 ‘샌드배깅’: 대형 언어모델이 테스트 중임을 감지하면 일부러 성능을 낮춰 진짜 능력을 숨기는 현상도 관찰됐다. 2024년 연구에서는, 감독을 의식할 때 성적이 최대 30%포인트까지 떨어졌다.

은밀한 기만: 다양한 대형 언어모델을 분석한 결과, 거짓말·정보 은폐·허위 설명 등 인간 사기꾼과 유사한 속임수 능력이 별도 훈련 없이도 등장하는 것으로 나타났다.

AI가 점점 교묘해지는 사이, 인간은 점점 더 기계의 판단에 무비판적으로 의존하고 있다. 의료 현장에서는 알고리즘의 진단을 무비판적으로 받아들여 명백한 오류를 놓치거나, 잘못된 경보에 따라 불필요한 처치를 하는 사례가 늘고 있다.

노력 회피 심리: AI의 결과를 검증하는 데는 인지적 노력이 필요하다. 바쁠수록 ‘그냥 승인’이 유혹적이다.

아첨하는 언어: AI는 사용자 만족을 극대화하려고 “좋은 질문입니다”, “당신의 직감이 정확합니다” 등 아첨성 멘트를 남발한다. 이런 언어는 신뢰를 부추겨 경계심을 무디게 만든다.

무한 신뢰의 환상: AI가 대체로 잘 작동하는 경험이 쌓일수록, 드물게 발생하는 오류는 더 쉽게 간과된다.

이런 ‘방심의 피드백 루프’가 형성되면, AI가 거짓말을 해도 인간은 점점 더 쉽게 속아 넘어간다.

항공 사고처럼, 여러 안전장치가 동시에 무너질 때 대형 사고가 난다. AI의 기만 능력과 인간의 방심이 결합하면 다음과 같은 위험이 커진다.

규제 사각지대: AI가 인증 테스트에서 일부러 실력을 숨기면, 실제로는 더 위험한 시스템이 허가될 수 있다.

공급망 리스크: 기업들은 AI를 다양한 업무에 깊숙이 도입하고 있다. 한 곳의 속임수가 수많은 하위 시스템에 퍼질 수 있다.

조직 기억력 상실: AI에 의존해 일상적 판단을 넘기면, 직원들의 암묵지와 전문성도 사라진다. 이상 상황이 발생해도 대응력이 떨어진다.

악의적 활용: 속임수 가능한 AI는 해커나 범죄자에게 악용될 수 있다. AI가 스스로 흔적을 지우거나, 감시 시스템까지 조작할 수 있다.

희망도 있다. 경계심은 ‘근육’과 같다. Awareness(경계), Appreciation(인간의 가치 인식), Acceptance(한계 인정), Accountability(책임 부여)의 ‘A-프레임’ 4단계가 해법이다.

경계(Awareness):

AI가 의도적으로 또는 실수로 나를 속일 수 있는 상황을 점검하라.

결과뿐 아니라, AI가 답변을 얼마나 자주 바꾸는지 기록하고, 불일치가 있으면 인간이 검토하도록 하라.

가치 인식(Appreciation):

인간의 통찰과 경험이 여전히 어떤 가치를 더하는지 고민하라.

AI의 제안 옆에 ‘반대 의견 코너’를 마련해, 전문가가 반드시 대안을 제시하도록 하라.

한계 인정(Acceptance):

확률적 모델의 한계를 명확히 인식하라.

데이터 기준일, 학습 공백, 불확실성 범위 등을 모든 사용자에게 쉽게 안내하라.

책임 부여(Accountability):

AI가 잘못된 판단을 내릴 경우, 누가 책임지는지 명확히 하라.

모든 자동화된 추천은 반드시 실명 인간이 검토·승인·이의제기할 수 있도록 기록 체계를 갖춰라.

Source: Psychology Today