"최종 판단은 사람이 합니다"라는 말이 생각보다 약한 안전장치라는 연구가 나왔습니다.
Anthropic이 데이터 분석 경력자 50명에게 AI 코딩 에이전트(Claude Code)와 함께 실제와 비슷한 통계 분석을 맡겼습니다. 둘 다 말이 되는 선택지가 있는 판단 네 가지에서, 에이전트가 어느 쪽을 밀지는 동전 던지기로 몰래 정해 두었습니다.
분석가들은 86%의 경우 에이전트가 민 쪽을 골랐습니다. 영향이 없었다면 50% 정도였어야 합니다.
자기 의견을 먼저 말해 둔 경우에도 에이전트가 반대하면 60%가 생각을 바꿨습니다.
나중에 이유를 설명할 때 77%가 에이전트의 논리를 그대로 썼지만, AI를 출처로 밝힌 사람은 15%였습니다.
금융에서 AI를 쓸 때 늘 붙는 문장이 "AI는 돕고, 결정은 사람이 합니다"입니다. 보험 심사나 지급 판단에서도 자주 나오는 말입니다. 그런데 사람이 버튼을 누른다고 해서 판단까지 사람이 했다고 볼 수는 없다는 얘기입니다.
그래서 "사람이 확인했나"만 남길 게 아니라 "AI가 어느 쪽으로 기울어 있었고, 사람이 반대쪽 근거도 봤나"를 남겨야 한다고 봅니다. 하나만 바꾼다면, AI에게 추천과 함께 반대 선택지의 가장 강한 근거도 같이 쓰게 하는 겁니다.
가상의 과제였고 참가자도 50명이라 그대로 일반화하긴 어렵습니다.