규제

Voice AI 사기 방어 게이트: 음성 복제 시대의 본인확인·고지·감사 기록 설계

AI 음성 복제와 전화 사기(vishing)에 대응하려면 Voice AI 앞단에 발신 신호, 고지·동의, 위험 등급, 단계별 추가 인증, 통화별 감사 기록을 묶은 운영 게이트가 필요합니다.

Moon Kim2026년 7월 3일4분 읽기

AI 음성 에이전트가 전화를 자연스럽게 받을수록 기업은 "이 목소리가 진짜 고객인가"라는 질문을 먼저 풀어야 합니다. 2024년 미국 연방통신위원회(FCC)는 AI 생성 음성을 전화소비자보호법(TCPA)상 '인공 음성'으로 본다고 밝혔고, 연방거래위원회(FTC)는 음성 복제 탐지·워터마킹·인증 기술을 다룬 Voice Cloning Challenge 수상작을 발표했습니다. Voice AI 보안은 이제 모델 보안에 더해 통화 신원·동의·감사 기록을 묶는 운영 게이트까지 다뤄야 합니다.

음성 사기 방어가 Voice AI의 과제가 된 이유

음성 채널은 원래 신뢰를 전제로 움직였습니다. 고객은 전화번호, 상담 흐름, 목소리 톤, 일부 개인정보 확인만으로 본인 확인을 통과하는 경우가 많았습니다. 생성형 음성은 이 전제를 흔듭니다. 국내에서는 보이스피싱이 「전기통신금융사기 피해 방지 및 피해금 환급에 관한 특별법」으로 따로 다뤄질 만큼 오래된 문제이고, 음성 복제는 이런 사칭을 더 그럴듯하게 만듭니다.

FCC는 2024년 2월 8일 AI 생성 음성을 쓴 자동 녹음 전화(robocall)가 TCPA의 인공 음성에 해당한다는 판단을 발표했습니다. FTC도 2024년 4월 8일 Voice Cloning Challenge 수상작을 발표하며 AI 생성 음성 탐지, 워터마킹, 인증을 방어 방향으로 제시했습니다. 두 발표를 겹쳐 보면 AI 음성은 고객 경험 기술이면서 사칭·기망 위험이 들어오는 입력 채널이기도 합니다.

Voice AI를 도입하는 기업은 상담 자동화율보다 먼저, 어떤 통화를 믿어도 되고 어떤 통화를 사람에게 넘겨야 하는지 정해야 합니다.

첫 방어선은 통화 입구에 둡니다

많은 팀이 보안 검토를 LLM 프롬프트, 데이터 저장, API 권한에서 시작합니다. 필요한 검토지만 그것만으로는 부족합니다. 음성 사기는 모델이 답하기 전에 이미 시작됩니다. 공격자는 고객처럼 전화하고, 고객의 목소리를 흉내 내고, 급한 상황을 만들어 상담 흐름을 압박합니다.

그래서 Voice AI의 첫 보안 경계는 모델이 무엇을 말할 수 있느냐보다 이 통화를 어떤 위험 등급으로 다룰지에 놓여야 합니다.

Inbound call
→ channel / caller / context signal
→ consent + purpose notice
→ risk score
→ allowed automation scope
→ step-up verification or human escalation
→ audit receipt

고객을 번거롭게 하려는 절차는 아닙니다. 자동화가 처리해도 되는 통화와 사람이 책임져야 하는 통화를 나누기 위한 최소한의 운영 구조입니다.

5단계 사기 방어 게이트

발신 신호에서 시작해 감사 기록으로 끝나는 다섯 단계입니다.

1. 발신 신호: 번호만 믿지 않습니다

전화번호, CRM(고객관리시스템) 매칭, 최근 고객 여정, 콜백 요청 출처, 이전 접촉 기록을 함께 봅니다. 번호가 일치해도 고위험 요청이면 추가 확인이 필요합니다. 번호가 일치하지 않아도 위험이 낮은 일반 안내라면 자동화 범위를 좁혀 처리할 수 있습니다.

2. 고지와 목적: 녹음·AI 고지를 이벤트로 남깁니다

"AI 상담입니다"라는 문장을 한 번 말하고 끝내면 부족합니다. 어떤 목적의 통화인지, 어떤 데이터가 쓰이는지, 고객이 계속 진행했는지 기록해야 합니다. 이 기록은 사후 분쟁에서 "언제, 어떤 버전의 고지를 거쳤는가"를 보여주는 근거가 됩니다.

3. 위험 등급: 문의 유형마다 다르게 둡니다

배송 상태 조회와 환불 계좌 변경은 같은 통화가 아닙니다. 예약 확인과 보험금 청구 접수도 다릅니다. Voice AI는 문의 유형(intent)별로 자동 처리 한도를 가져야 합니다.

낮은 위험: 영업시간 안내, 예약 가능 시간 조회, 캠페인 정보 제공
중간 위험: 고객 정보 일부 수정, 콜백 예약, 민원 접수
높은 위험: 결제·환불·계좌·본인인증·법적 동의·계약 변경

4. 단계별 추가 인증(step-up verification): 막는 대신 확인 수준을 올립니다

위험도가 올라가도 바로 실패 처리하지 않습니다. 추가 인증, SMS 링크, 앱 푸시, 상담사 전환, 녹취 기반 사후 검토 중 하나로 확인 수준을 올립니다. 중요한 것은 Voice AI가 근거가 약한데도 모르는 척 계속 진행하지 않게 하는 것입니다.

5. 감사 기록: 운영팀이 다시 재현할 수 있어야 합니다

NIST AI 위험관리 프레임워크와 생성형 AI 프로파일(NIST AI 600-1)은 조직이 AI 위험을 식별·측정·관리할 수 있어야 한다는 방향을 제시합니다. Voice AI에서는 이 원칙이 통화 단위 감사 기록(audit receipt), 즉 통화 한 건의 판단 근거를 남긴 영수증 같은 기록으로 내려와야 합니다.

각 통화에는 최소한 다음이 남아야 합니다.

call_id
consent_notice_version
customer_intent
risk_score_bucket
automation_scope
step_up_reason
handoff_target
disposition

이 정보가 있어야 보안팀, 운영팀, 영업팀이 같은 사건을 같은 기준으로 복기할 수 있습니다. 개인정보 보호법의 최소 수집 원칙에 맞춰, 이 기록에는 판단을 재현하는 데 필요한 항목만 담고 녹취 원본은 별도 보관 정책을 따르게 합니다.

Zero Retention만으로는 충분하지 않습니다

Zero Retention(외부 LLM 서버에 개인정보를 남기지 않는 원칙)은 중요한 경계입니다. 하지만 음성 사기 방어는 데이터 보존 정책만으로 해결되지 않습니다. 고객이 누구인지, 어떤 목적의 통화인지, 어디까지 자동 처리해도 되는지를 운영 단계에서 판단해야 합니다.

BringTalk은 Voice AI를 설계할 때 맥락 주입(Context Injection)을 개인화 수단이자 위험 판단 재료로 봅니다. CRM, 캠페인, 최근 상담 이력, 고객이 직접 남긴 콜백 요청을 함께 보고, 잘 응답하는 AI보다 책임 있게 멈출 줄 아는 AI를 만드는 데 씁니다.

도입 체크리스트

Voice AI 프로젝트를 시작하기 전에 다음 6가지를 먼저 합의해야 합니다.

어떤 문의 유형이 고위험 업무인가?
AI 고지와 동의는 어떤 문구·버전으로 남길 것인가?
고객 신원 확인은 어느 단계에서 강화할 것인가?
상담사 전환 조건은 문의 유형 기준인가, 위험 점수 기준인가?
사칭 의심 통화는 어느 팀이 검토하는가?
통화별 감사 기록은 어디에 저장하고 누가 볼 수 있는가?

이 질문에 답하지 못한 채 자동화율만 높이면 Voice AI는 고객 경험 도구보다 운영 리스크에 가까워집니다.

참고한 공개 자료

FCC, FCC Makes AI-Generated Voices in Robocalls Illegal, 2024-02-08.
FTC, FTC Announces Winners of Voice Cloning Challenge, 2024-04-08.
NIST, AI Risk Management Framework / Generative AI Profile (NIST AI 600-1), 2024-07.
CISA, Avoiding Social Engineering and Phishing Attacks, 음성 사기(vishing) 안내.