보이스 에이전트가 자신 없는 답을 걸러내는 법

모델이 틀린 답을 자신 있게 말하는 것보다 더 나쁜 상황이 하나 있습니다. 틀린 줄 모르고 말하는 것입니다.

신뢰도를 왜 별도로 추정해야 하나

최근 arxiv에 발표된 TCP_α 연구(arxiv.org/abs/2608.20326)는 분류 모델의 신뢰도 점수가 실제 정답 가능성을 잘못 반영하는 경우를 체계적으로 분석합니다. 핵심 주장은 간단합니다. 모델의 출력 확률과 실제 오류율 사이의 간격—캘리브레이션 오차—을 줄이려면, 신뢰도를 분류 헤드와 분리된 별도 헤드로 추정해야 한다는 것입니다.

분류 결과와 신뢰도 추정을 하나의 헤드로 묶으면, 모델은 자신의 불확실성을 과소평가하도록 학습됩니다.

이 문제는 특정 도메인에만 해당하지 않습니다. 실시간 음성 통화에서 LLM이 고객 질문에 답변할 때도 동일한 구조적 취약점이 존재합니다.

콜 환경에서 저신뢰 응답이 위험한 이유

텍스트 인터페이스에서는 사용자가 모호한 답변을 읽고 다시 질문할 수 있습니다. 음성 통화에서는 그 기회가 없습니다. 상담사가 자신 없는 답변을 자신 있는 톤으로 전달하면, 고객은 틀린 정보를 사실로 받아들인 채 통화를 끊습니다.

저희가 호주 완성차 고객사와 함께 콜 파일럿을 운영하며 가장 먼저 설계한 것이 바로 이 지점이었습니다. 에이전트가 어떤 조건에서 스스로 멈춰야 하는가.

실제로 설계한 저신뢰 응답 자동중단 구조

세 개의 레이어로 답을 걸러냅니다.

1. 응답 생성 전 — 의도 분류 신뢰도 체크

고객 발화가 들어오면 에이전트는 먼저 의도를 분류합니다. 이때 분류 신뢰도가 임계값 아래로 내려가면 응답을 생성하지 않습니다. 대신 명확화 질문을 먼저 던집니다. "죄송합니다, 말씀하신 내용을 다시 한번 확인해도 될까요?"

2. 응답 생성 후 — 루브릭 기반 자가검증

에이전트가 답변 초안을 만든 뒤, 해당 답변이 허용된 정보 범위 안에 있는지 루브릭 체크리스트를 통과시킵니다. 체크리스트는 보장 범위, 예외 조건, 금지 발화 패턴을 항목별로 구조화해두었습니다. 한 항목이라도 실패하면 에이전트는 해당 응답을 폐기하고 에스컬레이션 스크립트로 전환합니다.

3. Critical Failure 자동중단

두 레이어를 통과했더라도 특정 패턴—부정확한 법적 조건, 허위 보장 약속, 확인되지 않은 가격 정보—이 감지되면 통화를 즉시 사람 상담사에게 넘깁니다. 이 단계는 소프트 에스컬레이션이 아니라 하드스톱입니다.

세 층은 서로 다른 신호를 봅니다. 어느 층에서 걸리든 그 답은 고객에게 발화되지 않습니다. 본문에서 설명한 설계 구조이며 측정치가 아닙니다.

이 방법이 통하지 않는 경우

세 겹을 다 쌓아도 새는 자리가 있습니다. 가장 흔한 건 의도가 하나로 떨어지지 않는 발화입니다. 고객이 한 문장에 두 가지를 섞어 물으면 분류기는 그중 하나를 높은 신뢰도로 골라내고, 그 하나에 대한 답은 루브릭도 무사히 통과합니다. 신뢰도 체크는 "모르겠다"는 신호에만 반응합니다. 절반만 알아들은 상태는 애초에 그 신호를 만들지 않습니다.

루브릭에도 같은 성질의 빈틈이 있습니다. 체크리스트는 허용된 범위를 항목으로 적어 둔 물건이라, 목록에 아예 없는 주제가 들어오면 걸릴 항목 자체가 없습니다. 규칙이 침묵하면 답은 그냥 나갑니다. 그래서 저희는 새로운 문의 유형이 관측되면 루브릭에 항목을 먼저 넣고, 들어가기 전까지는 그 유형을 통째로 사람에게 넘깁니다.

마지막은 운영 시간 문제입니다. 하드스톱은 넘겨받을 사람이 있다는 전제 위에서만 안전장치로 작동합니다. 야간이나 주말처럼 대기 중인 상담사가 없는 시간대에는 같은 하드스톱이 통화 종료로 끝나버립니다. 이 구조를 검토하신다면 에스컬레이션을 받을 사람의 근무 시간부터 확인해 보시길 권합니다. 콜백 예약 같은 대체 경로가 붙어 있어야 제 몫을 합니다.

설계할 때 선택해야 하는 것

이 구조를 실제로 만들 때 팀이 가장 많이 논쟁한 지점은 "임계값을 어디에 설정할 것인가"였습니다. 너무 낮으면 에이전트가 너무 많은 질문에 스스로 멈추고, 너무 높으면 저신뢰 응답이 그냥 나가버립니다.

저희가 내린 결론은 임계값을 하나의 수치로 고정하지 말자는 것이었습니다. 의도 유형별로, 리스크 수준별로 임계값을 달리 설정했습니다. 보장 내용에 관한 질문은 엄격하게, 일반 안내에 관한 질문은 느슨하게.

상담 업무를 밖으로 넘기는 경우라면 계약서에서 확인할 것들을 콜센터 아웃소싱 계약 전 체크리스트에 따로 정리해 두었습니다.

저신뢰 응답을 걸러내는 것은 에이전트를 약하게 만드는 일이 아닙니다. 에이전트가 말해도 되는 것만 말하게 만드는 일입니다.