실시간 음성 에이전트에서 latency를 제품 경험으로 다루는 법

실시간 음성 Agent는 STT, 판단, tool call, TTS가 순서대로 이어집니다. 어느 한 단계가 느려져도 사용자는 시스템이 듣지 못했거나 멈췄다고 느낄 수 있기 때문에, latency는 백엔드 지표이면서 동시에 제품 경험의 일부가 됩니다.

음성 입력을 듣는 중인지, 요청을 이해하는 중인지, 외부 정보를 확인하는 중인지, 답변을 말할 준비가 됐는지를 흐름 안에서 구분해야 합니다. 상태가 보이면 짧은 대기에도 사용자는 다음 상황을 예측할 수 있습니다.

네트워크, 인식 오류, 도구 실패는 실제 사용에서 피할 수 없습니다. 그래서 재시도할 수 있는 단계, 이전 맥락을 유지하는 범위, 사람에게 넘겨야 하는 상황을 함께 설계해야 합니다.