Voice AI 비용 최적화, 이제 모델 크기가 아니라 통화 상태별 right-sizing입니다
Salesforce의 inference spend right-sizing 사례를 바탕으로, Voice AI가 통화 상태별 모델·규칙·사람 인계 정책을 어떻게 나눠야 하는지 정리합니다.
엔터프라이즈 AI 예산의 다음 병목은 “모델이 충분히 똑똑한가”가 아니라 “모든 업무에 같은 크기의 모델을 쓰고 있는가”입니다. Salesforce는 2026년 7월 8일, 내부 AI 운영에서 업무별로 적절한 모델을 배정하는 right-sizing을 통해 inference spend를 다루고 있다고 설명했습니다. Voice AI에도 같은 질문이 필요합니다. 모든 통화 턴이 frontier model을 필요로 하지는 않습니다.
큰 모델을 쓰는 것보다, 모델을 배정하는 방식이 중요합니다
Salesforce의 글은 “대부분의 엔터프라이즈 업무에는 모든 업무에 가장 큰 지능을 쓰는 것이 아니라, 각 업무에 맞는 지능이 필요하다”고 요약합니다. 이 관점은 Voice AI에서 더 직접적입니다. 전화 한 통 안에는 인사, 본인확인, 의도 분류, 상담 요약, 예외 판단, CRM 업데이트가 섞여 있습니다.
Voice AI 비용 관리는 “모델 단가를 낮추기”가 아니라 “통화 상태별로 어떤 판단을 어디까지 맡길지 정하는 운영 설계”에 가깝습니다.
예를 들어 인사말과 상태 확인은 작은 모델·규칙·캐시가 처리해도 됩니다. 반대로 환불, 민감정보, 계약 조건, 불만 escalations는 더 강한 모델과 사람 검토가 붙어야 합니다. 통화 전체를 하나의 모델로 처리하면 비용·지연시간·품질 책임이 한꺼번에 흔들립니다.
Voice AI의 모델 right-sizing은 ‘통화 상태’ 기준이어야 합니다
텍스트 챗봇은 메시지 단위로 판단해도 어느 정도 버팁니다. 하지만 Voice AI는 사용자가 기다리는 시간이 곧 품질입니다. 모델 선택은 “이 질문이 어려운가”만이 아니라 “지금 통화 상태에서 몇 ms 안에 답해야 하는가”까지 포함해야 합니다.
Call state Recommended intelligence layer
------------------------------------------------------
Greeting / consent Script, policy template, small model
Intent classification Fast classifier + confidence threshold
FAQ / appointment Retrieval + compact model
Pricing / contract Stronger model + policy guardrail
Complaint / risk Escalation gate + human handoff
After-call summary Batch model + CRM schema validation
이 구조의 핵심은 통화 중 실시간 판단과 통화 후 비동기 판단을 분리하는 것입니다. 고객이 기다리는 구간에는 빠르고 좁은 판단을 쓰고, 상담 후 요약·CRM 정리·품질 리뷰는 더 느려도 정확한 경로로 넘깁니다.
비용 절감보다 먼저 봐야 할 것은 실패 비용입니다
right-sizing을 단순한 비용 절감 프로젝트로만 보면 위험합니다. 작은 모델을 잘못 배치하면 오답, 반복 질문, 부적절한 고지, 사람 인계 지연이 생깁니다. 이 실패 비용은 모델 비용보다 훨씬 크게 돌아옵니다.
운영팀은 다음 3가지를 먼저 정해야 합니다.
- Low-risk lane: 스크립트·FAQ·예약 조회처럼 작은 모델 또는 규칙으로 처리할 수 있는 구간
- Judgment lane: 고객 맥락, 정책, 예외 판단이 필요해 더 강한 모델을 쓰는 구간
- Stop lane: 민감정보, 계약 변경, 클레임, 분쟁처럼 사람 승인 없이는 진행하지 않는 구간
아래로 갈수록 판단 책임이 커지고 사람이 붙는 지점이 앞당겨집니다. Salesforce의 right-sizing 논의를 통화 상태 기준으로 옮긴 본문 정리이며 측정치가 아닙니다.
Salesforce가 2026년 6월 공개한 Agentforce Help Agent도 “지식 연결, 액션 정의, 채널 배선”의 부담을 줄이는 방향을 강조했습니다. 이는 Voice AI에서도 동일합니다. 모델만 고르는 문제가 아니라, 어떤 지식·액션·승인 경로를 어느 상태에 붙일지 정해야 합니다.
Slackbot과 CRM은 모델 라우팅의 ‘출구’가 됩니다
Salesforce는 2026년 7월 Slackbot이 Salesforce 데이터, Tableau, Data 360, AI agents와 연결되어 업무가 일어나는 곳에서 기록 조회와 액션을 수행할 수 있다고 소개했습니다. Voice AI 관점에서 이 흐름은 중요합니다. 통화가 끝난 뒤 결과가 transcript에만 남으면 운영은 닫히지 않습니다.
모델 right-sizing의 마지막 단계는 다음 액션을 업무 시스템으로 보내는 것입니다.
- 영업 리드: CRM stage, next action, 담당자 알림
- 고객지원: ticket priority, escalation reason, SLA clock
- 예약/리콜: eligibility, slot hold, advisor handoff
- 민감 케이스: human approval queue, audit note, disclosure evidence
즉, 작은 모델은 빠르게 통화를 진행하고, 큰 모델은 중요한 판단만 맡고, Slack/CRM은 사람이 확인할 수 있는 실행 표면이 됩니다.
BringTalk 관점: “AI 통화팀”은 모델 하나가 아니라 라우팅 정책입니다
BringTalk이 말하는 AI 통화팀은 모든 전화를 하나의 거대한 모델에 던지는 방식이 아닙니다. 고객 여정 데이터는 Context Injection으로 필요한 순간에만 넣고, 민감정보는 Zero Retention 원칙으로 외부 LLM 저장을 피하며, 판단 위험이 커지는 순간에는 사람 승인으로 넘깁니다.
이 운영 모델에서는 LQA와 FUA도 더 선명해집니다. LQA는 리드를 점수화하는 한 번의 모델 호출이 아니라, 통화 상태·고객 맥락·후속 액션을 묶는 분류 체계입니다. FUA는 통화 후 재접촉 문구 생성이 아니라, CRM에 남은 근거와 다음 행동을 사람이 검토할 수 있게 만드는 루프입니다.
모델 right-sizing의 목표는 “가장 싼 AI”가 아닙니다. 고객이 기다리는 구간에는 빠르게, 책임이 큰 구간에는 신중하게, 사람이 봐야 할 구간에는 증거를 남기는 것입니다.
도입 체크리스트
Voice AI를 이미 파일럿 중인 팀이라면 다음 질문부터 확인해야 합니다.
- 통화 상태별로 모델·규칙·사람 인계 기준이 분리되어 있습니까?
- 작은 모델을 쓰는 구간의 confidence threshold와 fallback 문구가 정해져 있습니까?
- 민감한 판단은 통화 중 자동 처리하지 않고 승인 큐로 넘어갑니까?
- 통화 후 summary가 CRM schema에 맞게 검증됩니까?
- Slack/CRM 알림이 transcript 링크가 아니라 “다음 행동” 중심으로 생성됩니까?
이 질문에 답하지 못하면 모델 교체만으로는 비용도 품질도 안정화하기 어렵습니다. Voice AI의 다음 최적화는 모델 선택표가 아니라, 통화 상태와 업무 시스템을 함께 묶는 운영 정책입니다.
Sources
- Salesforce, “How We Cut Inference Spend by Right-Sizing Our Models,” 2026-07-08: https://www.salesforce.com/news/stories/cutting-inference-spend-by-right-sizing-models/
- Salesforce, “Slackbot Can Now Do Anything Salesforce Can. Just Ask,” 2026-07-08: https://www.salesforce.com/news/linked-content/slackbot-can-now-do-anything-salesforce-can-just-ask/
- Salesforce, “Salesforce Launches Agentforce Help Agent That Deploys in Minutes and Only Charges for Resolutions,” 2026-06-25: https://www.salesforce.com/news/stories/agentforce-help-agent-announcement/
