AI가 답하면 안 되는 질문, CS팀이 정해야 합니다

AI 챗봇을 도입한 팀이 가장 먼저 묻는 질문은 "어디까지 자동화할 수 있을까요?" 입니다. 그런데 실제로 더 중요한 질문은 따로 있습니다. "어디서부터는 AI가 답하면 안 될까요?" 라는 질문입니다.

AI 챗봇은 이미 전체 문의 중 최대 80~90%를 자동으로 처리할 수 있는 수준에 도달했습니다. 그만큼 효율은 입증됐습니다. 하지만 효율이 입증됐다는 것과, AI가 모든 질문에 답해도 된다는 것은 다른 이야기입니다. AI가 처리할 수 있는 영역과, 처리해서는 안 되는 영역을 명확히 나누는 일은 결국 사람이 해야 할 몫입니다.

신뢰도가 떨어지면 멈춰야 합니다

AI 챗봇 운영에서 가장 기본이 되는 기준은 신뢰도입니다. 자연어 처리 결과의 신뢰도가 일반적으로 70% 이하로 떨어지면 AI는 스스로 판단하기보다 사람에게 넘기는 것이 원칙입니다. 애매한 질문에 그럴듯한 답을 지어내는 것보다, "잘 모르겠습니다, 상담사에게 연결해드릴게요"라고 솔직하게 멈추는 것이 훨씬 안전한 선택입니다.

이 기준이 없는 팀에서는 두 가지 문제가 반복해서 발생합니다. AI가 너무 자주 사람에게 넘겨 자동화 효율이 떨어지거나, 반대로 너무 늦게 넘기거나 아예 넘기지 않아 잘못된 답변이 고객에게 그대로 전달되는 경우입니다. 두 경우 모두 명확한 임계치 없이는 막을 수 없습니다.

감정이 격해진 순간은 AI의 영역이 아닙니다

문의 내용 자체는 단순해도, 고객의 감정 상태가 격해진 순간이라면 이야기가 달라집니다. 불만, 분노, 좌절 같은 감정 신호가 감지되면 AI는 응대를 이어가기보다 즉시 사람에게 연결하는 것이 맞습니다. 화가 난 고객에게 정해진 스크립트로 응답하는 것만큼 상황을 악화시키는 일도 없습니다.

이커머스 환경에서는 주문·배송·교환 같은 기본 업무는 AI가 담당하되, 클레임이나 심층 문의는 처음부터 사람이 맡는 구조가 자리잡고 있습니다. 감정이 섞인 문의를 AI가 먼저 받더라도, 그 감정을 읽고 곧바로 넘기는 판단까지는 AI가 할 수 있어야 합니다. 이 판단 기준을 세우는 것이 CS팀의 역할입니다.

정책 예외와 판단이 필요한 영역은 사람의 몫입니다

AI는 정해진 규칙 안에서 빈도가 높고 반복적인 문의를 빠르게 처리하는 데 강합니다. 반면 새로운 상황, 정책에 명시되지 않은 예외, 고위험 의사결정은 사람이 권한을 유지해야 하는 영역입니다. 환불 규정에 없는 특수한 사정, 고객마다 다른 맥락이 얽힌 컴플레인 같은 경우가 여기에 해당합니다.

특히 결제·계정 변경·대량 환불처럼 되돌리기 어려운 액션은 AI가 단독으로 처리하기보다 사람의 승인을 거치는 구조가 필요합니다. 자율성을 어디까지 허용할지가 아니라, 그 자율성의 범위를 누가 정하고 통제하는지가 운영의 핵심입니다.

기준이 없으면 AI는 무한정 자율적이 됩니다

여기서 한 가지 짚어야 할 부분이 있습니다. AI는 스스로 자신의 한계를 알지 못합니다. 명확한 기준을 입력해주지 않으면, AI는 자신이 답할 수 없는 질문에도 그럴듯한 답을 만들어냅니다. "권장"이 아니라 "거부·보류·에스컬레이션"이 가능한 구조를 설계하는 것이 AI 운영의 핵심 원칙입니다.

신뢰도 기준, 감정 키워드 목록, 정책 예외 리스트, 고위험 액션 정의. 이 네 가지를 CS팀이 직접 정리하고 AI 시스템에 반영해야 합니다. 이 작업을 개발팀이나 솔루션 제공사에 전적으로 맡기면, 실제 현장의 디테일이 빠진 일반적인 기준만 남게 됩니다. CS팀이 매일 마주하는 문의 유형을 가장 잘 아는 사람은 결국 CS팀 자신이기 때문입니다.

AI 챗봇 도입의 다음 단계는 더 많은 질문을 자동화하는 것이 아닙니다. 어떤 질문을 자동화하지 않을지 결정하는 것입니다. 그 경계선을 명확히 그어둔 팀과, AI에게 모든 판단을 맡겨버린 팀의 차이는 도입 초기에는 드러나지 않습니다. 하지만 첫 번째 큰 컴플레인이 들어오는 순간, 그 차이는 분명하게 드러납니다.