로디 · 문서

07/ 08

상담 Agent 2 · 말로 묻고 안내받기

Owen Lee · 이원빈완성 원고

STT에서 상담 답변, 음성 문장, TTS 재생까지

로디는 고령층이 자신의 상황을 말하면 받을 수 있는 복지 지원과 문의할 곳을 안내하는 상담 서비스입니다. 긴 문장을 입력하거나 답변을 읽기 부담스러운 사용자를 위해 음성 입력과 안내를 연결했습니다. 기관의 주소와 준비물을 모두 외우도록 읽어 주기보다, 자세한 내용은 화면에 남기고 지금 확인할 것을 짚어 주려는 구성입니다.

예를 들어 “받을 수 있는 지원이 있는지, 어디에 물어보면 되는지 알고 싶습니다”라는 질문에도 거주 지역이 빠져 있을 수 있습니다. 이때 음성 안내는 제도 목록을 길게 읽는 것보다 지역을 먼저 알려 달라고 요청해야 합니다. 사용자가 그 요청을 듣고 화면에서 조건을 보완하면 다음 상담으로 이어집니다.

음성 입력과 출력은 각각 다른 과정을 거칩니다. STT는 사용자의 말을 상담에 사용할 text로 바꾸고, 상담을 담당하는 Main Agent가 그 질문에 답합니다. Speech Text Agent는 답변을 들려줄 문장으로 정리하며, TTS는 그 문장을 소리로 바꿉니다. 입력을 보낼 시점, 발화문에 남길 내용, 화면과 재생의 순서를 나눠 설계했습니다.

1. 말한 내용을 상담 질문으로 보내기

브라우저 STT가 만든 질문 text를 BFF로 보내고, Main이 답변한 뒤 Speech Text가 발화문을 만듭니다. Screen과 발화문 준비가 모두 끝나면 ElevenLabs TTS가 audio를 합성하고, backend와 BFF를 거친 audio 조각을 브라우저가 재생합니다.
구현 흐름을 정리한 설계도입니다. STT → Main → Speech Text → TTS → 재생을 연결하며, LLM이 문장을 만드는 단계와 음성 인식·합성·재생을 구분했습니다. 실제 상담 실행 화면은 아닙니다.원본 크기로 보기

음성 입력에는 브라우저의 SpeechRecognition API를 사용했습니다. 한국어 인식을 요청하고, 인식 중인 문장도 입력창에 표시합니다. 사용자는 자신의 말이 어떤 글로 받아들여지고 있는지 볼 수 있습니다. 이미 입력창에 적은 내용이 있다면 음성으로 받은 내용을 그 뒤에 이어 붙입니다.

인식 중간 결과가 바뀔 때마다 상담을 요청하지는 않습니다. 사용자가 마이크 버튼으로 입력을 마치거나 브라우저의 인식이 종료되면, 인식한 문장이 있는 경우 준비 상태로 바뀝니다. 자동 전송을 기다리는 입력이고 다른 상담 요청이 진행 중이지 않을 때 이 문장을 한 번 보냅니다. 전송 대기 표시를 지우고 인식 상태를 초기화해 같은 결과를 다시 보내지 않도록 했습니다.

이후에는 키보드로 입력한 질문과 같은 경로를 사용합니다. 완성된 text와 현재 화면 정보를 frontend의 중계 계층인 BFF에 보내고, BFF가 대화 ID와 최신 질문을 상담 backend에 전달합니다. 현재 backend의 입력은 마이크 audio가 아닌 질문 text입니다.

브라우저에서 음성 인식을 제공하므로 별도의 STT 서버를 두지 않고 입력창과 인식 상태를 연결할 수 있었습니다. 대신 API 지원 여부와 마이크 권한, 브라우저의 인식 서비스에 영향을 받습니다. 지원하지 않는 환경, 권한 거부, 음성 미감지, 장치와 네트워크 오류를 구분해 안내하도록 했습니다.

2. 화면에 남길 답변과 들려줄 문장

Main의 답변에는 조건과 근거, 여러 항목을 비교하는 목록이 들어갈 수 있습니다. 이를 그대로 TTS에 보내면 표의 문장과 링크까지 이어서 읽게 됩니다. 듣는 동안 필요한 부분을 고르기 쉽지 않아, 음성으로 안내할 문장을 따로 준비했습니다.

Speech Text에는 Main의 최종 답변과 발화문 작성 기준만 전달합니다. 검색 결과 원문이나 현재 화면 정보를 따로 주지 않고, 별도의 검색 tool도 두지 않았습니다. 상담 결론을 다시 판단하기보다 이미 정한 답변을 듣기 편하게 정리하는 역할입니다. 결론, 중요한 조건, 다음 행동을 남기고 반복되는 설명과 읽을 필요가 없는 형식을 덜어 내도록 했습니다.

설명용 사례 · 지역을 먼저 확인하는 상담

앞의 질문을 받았지만 아직 거주 지역을 모르는 상황입니다. 아래 질문·답변·발화문은 전달 기준을 설명하기 위해 작성한 예시이며, 실제 모델 출력이나 재생 성공 기록은 아닙니다.

단계전달하는 내용이어지는 판단·행동
사용자의 질문“받을 수 있는 지원이 있는지, 어디에 물어보면 되는지 알고 싶습니다.”지원과 문의처를 찾으려 하지만 거주 지역은 아직 확인되지 않았습니다.
Main의 최종 답변“받을 수 있는 지원을 확인하려면 거주 지역부터 알아야 합니다. 지역에 따라 제도와 문의처가 달라집니다. 거주 지역을 알려주세요. 확인한 조건에 맞춰 안내하겠습니다.”이 답변을 Speech Text의 입력으로 사용합니다. 지역을 모르는 상태에서 지원 대상을 확정하지 않습니다.
들려줄 발화문“받을 수 있는 지원을 확인하려면 거주 지역부터 알아야 합니다. 지역에 따라 제도와 문의처가 달라집니다. 어느 지역에 사시는지 알려주세요.”지역 확인이 먼저라는 결론, 안내가 달라지는 조건, 답해야 할 다음 질문을 남깁니다.
화면과 다음 행동Screen이 지역 입력 화면을 준비하고, 사용자는 음성 안내를 들으며 거주 지역을 입력합니다.사용자가 보완한 조건을 다음 상담 요청에 포함합니다. 실제 화면 표시와 음성 시점의 일치는 별도로 확인해야 합니다.

기관 주소나 준비물처럼 다시 확인해야 할 내용은 화면에 남깁니다. 음성에는 필요한 경우 기관 이름이나 문의 방법을 담되, URL이나 문서 ID, 지도 좌표를 그대로 읽지 않도록 했습니다. 원래 답변의 말투와 종결 표현도 유지하도록 지시했습니다.

발화문은 일반적으로 2~4문장, 공백을 제외한 한국어 70~110음절 정도를 목표로 합니다. 조건이 복잡하면 110~160음절 정도, 최대 약 200음절을 기준으로 instruction을 작성했습니다. 길이를 맞추기 위해 자격 조건이나 예외가 빠지면 안 되므로, 평가할 때는 원래 답변과 발화문을 한 쌍으로 비교해야 합니다. 이 길이 기준을 강제하는 별도의 검사 코드는 아직 없습니다.

Speech Text의 결과가 비어 있으면 Main의 원래 답변을 TTS에 넘깁니다. 이는 소리로 읽을 내용이 없어지는 상황을 막는 대체 경로이며, 원문이 길거나 읽기 어려운 형식을 포함하면 발화 품질은 달라질 수 있습니다. 반환한 발화문은 별도 출력으로 저장하고, 작성 중 생긴 메시지는 Main의 대화 history에 추가하지 않았습니다. 다음 상담은 압축된 발화문 대신 사용자의 질문과 Main의 답변을 이어받습니다.

3. 화면 준비와 음성 안내의 순서

화면을 준비하는 Screen과 발화문을 만드는 Speech Text는 Main의 같은 답변을 받아 함께 실행됩니다. 위 사례에서는 Screen이 지역 입력 화면을 구성하는 동안 Speech Text가 지역을 묻는 문장을 준비합니다. 이렇게 Main 뒤에서 두 작업을 나누는 fanout 구조와 필수 후속 단계를 연결한 이유는 상담 Agent 1에서 설명합니다.

이 순서는 화면에 보이는 대상을 설명하기 위한 것입니다. 기관을 안내한다면 사용자가 기관 목록을 보며 설명을 듣고, 준비물을 안내한다면 체크리스트를 보며 따라갈 수 있어야 합니다. 음성 문장이 먼저 준비되더라도 화면 구성 작업이 끝나기 전에 TTS를 시작하지 않도록 연결했습니다.

현재 LangGraph는 Screen과 Speech Text가 실행되는 단계가 끝난 뒤 다음 단계의 TTS를 시작합니다. backend에서 기다리는 것은 Screen 작업의 완료이며, 브라우저의 렌더링 완료 신호를 받는 방식은 아닙니다. 실제 화면 표시와 첫 소리가 의도한 순서로 이어지는지는 브라우저 실행에서도 확인할 항목입니다.

4. 합성한 음성을 조금씩 받아 재생하기

TTS에는 ElevenLabs의 streaming API를 사용했습니다. 완성된 발화문을 전달하면 합성된 audio가 작은 조각으로 돌아옵니다. backend는 각 조각의 순서와 크기, 형식을 함께 보내고, BFF는 이를 브라우저의 음성 재생 경로로 전달합니다.

현재 TTS는 Main이 처음 생성한 단어부터 바로 읽는 방식이 아닙니다. Main이 답변을 마치고 Speech Text가 발화문을 만든 뒤 합성을 시작합니다. 답변의 조건과 다음 행동을 모아 읽을 문장을 정하기 위해서입니다. 합성 단계부터는 전체 audio 파일이 완성될 때까지 기다리지 않고 도착한 부분을 재생에 사용할 수 있습니다.

브라우저에서는 MediaSource와 SourceBuffer로 audio/mpeg 데이터를 순서대로 붙입니다. 일정량이 쌓이면 재생을 시도하도록 했으며, 현재 시작 기준은 4개 audio 조각 또는 16KiB입니다. 이 기준에 못 미치는 짧은 응답도 전송이 끝나면 재생을 시작할 수 있습니다.

MediaSource를 지원하지 않거나 초기 처리에 실패한 경우에는 모든 조각을 모아 Blob으로 재생합니다. 이때는 전송이 끝난 뒤 재생할 수 있으므로, streaming 재생과는 시작 시점이 다릅니다. 브라우저가 자동 재생을 막으면 이를 별도의 blocked 상태로 구분합니다.

5. 소리가 끝났다는 것은 언제일까

서버가 audio를 모두 보냈더라도 브라우저에는 아직 재생할 부분이 남아 있을 수 있습니다. 따라서 전송 완료와 재생 종료를 서로 다른 상태로 관리했습니다. data-audioDone은 더 받을 audio가 없다는 신호이고, 실제로 끝까지 재생했는지는 audio element의 ended event로 확인합니다.

도착한 audio를 buffer에 모아 재생을 시작합니다. 서버의 data-audioDone 이후에도 브라우저는 남은 audio를 재생할 수 있으며, 마지막 소리가 끝나면 ended event를 받습니다.
Streaming 재생의 순서를 설명한 예시입니다. 막대 길이는 측정 시간이 아니며, 전송 완료와 실제 재생 종료를 구분해 표시했습니다.원본 크기로 보기

사용자에게 보여주는 상태도 이 구분을 따라야 합니다. 현재 로디의 말하기 animation은 음성을 buffer에 모으는 중이거나 재생 중일 때 표시됩니다. animation이 켜진 시점과 실제 첫 소리가 난 시점이 같지는 않습니다. 첫 음성까지 걸린 시간을 확인하려면 player의 재생 상태와 audio event를 기록해야 합니다.

새 질문을 보내거나 상담을 초기화하면 이전 player, buffer와 object URL을 정리합니다. 음성 출력을 끄는 기능도 frontend 재생을 제어합니다. 현재 이 설정은 backend의 합성 요청을 생략하는 옵션으로 전달되지 않으므로, 재생을 끈 것만으로 TTS 호출 비용이 줄어들지는 않습니다.

한편 상담 요청이 진행 중일 때는 새 질문 전송을 막고 있습니다. 사용자가 말을 시작하면 진행 중인 backend 요청까지 취소하고 다음 상담으로 넘어가는 barge-in은 현재 구현 범위에 포함되지 않습니다.

6. 검증 · 문장 준비와 실제 재생은 따로 확인합니다

음성 입력 단계에서는 인식 결과가 만들어졌는지부터 봅니다. 마이크 권한을 얻지 못한 경우와 말을 인식했지만 전송하지 못한 경우는 처리할 위치가 다릅니다. Main이 답변한 뒤에는 발화문이 만들어졌는지, TTS가 audio를 보냈는지, 브라우저가 이를 재생했는지 순서대로 확인합니다.

대체 경로가 있는 실패와 상담을 멈추는 실패

발생 지점현재 코드의 처리확인할 결과
Speech Text의 빈 출력Main의 원답변을 합성에 사용합니다.내용은 남지만 길이와 읽기 어려운 형식이 그대로 남는지 확인합니다.
Speech Text 호출 예외이 호출을 감싼 별도의 예외 복구 처리가 없습니다.빈 출력 fallback과 달리 발화문 생성 이후로 계속 진행된다고 보장하지 않습니다.
TTS 설정 누락·provider 오류오류 event를 받은 BFF가 audio를 중단하고 답변에 오류 문구를 추가한 뒤 stream을 멈춥니다.이미 받은 답변과 화면, 남은 event에 미치는 영향을 확인해야 합니다.
브라우저 재생 실패MediaSource 미지원·처리 오류에는 Blob 대체 경로가 있고, 자동 재생 차단은 blocked 상태로 구분합니다.전송 완료 후 재생되는 경우와 재생이 시작되지 않는 경우를 구분합니다.

현재 근거가 확인하는 범위

현재 wrapper 테스트에는 고정된 모의 응답으로 발화문만 별도 반환하는지와 Main 답변을 발화문 입력으로 기록하는지를 검사하는 두 항목이 있습니다. 두 turn을 잇는 대화 테스트는 두 번째 Main 입력에 첫 질문·Main 답변·두 번째 질문만 남고, 하위 작업의 발화문과 메시지는 섞이지 않는지 검사합니다. 실제 모델이나 TTS를 호출하는 검증은 아닙니다.

상담 관련 17개 테스트와 기존 16개 통과·1개 실패 기록, 2026-06-26 보고서의 결과는 상담 Agent 1의 검증 자료에서 구분합니다. no-tool 모델 비교는 질문에 대한 모델 응답의 비용과 latency를 측정했습니다. 화면 반영과 TTS를 포함한 전체 음성 응답 시간, Screen·Speech 분리 전후의 차이는 별도 측정 대상입니다.

다음 검증 계획 · 같은 상담을 끝까지 연결하기

실제 사용자 음성의 인식 품질, 발화문에 남은 조건, 화면과 재생 시점은 한 상담의 자료로 연결해 검증해야 합니다. 다음 표는 실행 전 계획입니다.

질문·통제 조건남길 산출물판정 기준
같은 발화에서 인식 종료와 전송이 올바르게 연결되는가음성 표본·인식 text·종료 시점·요청 횟수를 연결합니다. 브라우저와 마이크 환경을 고정하고 권한 거부·무음도 분리합니다.지역·부정 표현 등 질문 조건이 보존되고, 중간 결과를 보내거나 같은 질문을 중복 전송하지 않아야 합니다.
같은 Main 답변의 결론·조건·다음 행동을 보존하는가짧은 답변과 긴 근거·예외·목록이 있는 답변을 각각 발화문과 짝지어 기록합니다. 모델·prompt·입력 답변을 고정합니다.지원 대상을 새로 단정하거나 조건을 누락하지 않아야 합니다. 길이 목표와 읽지 않을 형식도 별도로 확인합니다.
화면을 보며 안내를 듣는가같은 답변에서 느린 Screen·빠른 Speech와 반대 조건을 둡니다. backend 완료·화면 반영·첫 재생·전송 완료·재생 종료 시점을 남깁니다.화면을 가리키는 안내 전에 해당 화면이 보여야 합니다. animation 시작을 첫 소리로 대체하지 않고 streaming과 Blob 경로를 따로 비교합니다.

이 계획의 STT·LLM·TTS 실험은 아직 실행하지 않았습니다. 모델·표본 수·반복 수·API 비용 상한은 실행 전에 정할 항목으로 남아 있습니다.

다음 상담 Agent 3에서는 같은 답변을 받은 Screen이 어떤 화면을 선택하고, 그 선택을 브라우저에 전달하는지 살펴봅니다.

구현 코드와 검증

구현은 SKN28-3rd-1Team의 commit 8f6a074를 기준으로 확인했습니다.

음성 입력과 전송: use-browser-speech-dictation.ts · use-chat-page-controller.ts

발화문 입력과 작성 기준: agent_wrappers/speech_text.py · speech_text_prompt.j2

음성 합성과 전달: SpeechSynthesisNode · backend-chat-stream-adapter.ts

브라우저 재생: use-tts-streaming-playback.ts