로디 · 문서

06/ 08

상담 Agent 1 · Main에서 화면과 음성으로

Owen Lee · 이원빈완성 원고

고령 사용자를 위한 상담 흐름과 Agent 사이에 전달되는 정보

로디는 긴 안내문을 읽거나 복잡한 화면에서 필요한 정보를 찾는 데 어려움을 겪는 고령 사용자를 위한 복지 상담 서비스입니다. 지원 제도를 찾아 답변하더라도, 사용자가 그 글에서 자격 조건과 문의처, 준비물을 다시 골라내야 한다면 상담의 다음 단계로 이어지기 어렵습니다. 그래서 말로 질문하고, 지금 필요한 정보를 화면에서 확인하며, 다음 행동을 음성으로 안내받는 흐름을 만들고자 했습니다.

화면과 음성에는 서로 다른 내용을 담았습니다. 기관의 주소와 연락처, 신청에 필요한 항목은 화면에 남겨 다시 확인하게 하고, 음성은 지금 알아야 할 조건과 다음 행동을 짧게 안내합니다. 이 글은 팀이 만든 로디 중 상담 답변을 화면과 음성으로 전달하는 설계를 다룹니다. 근거를 찾는 RAG와 구분되는 상담 인터페이스의 과제입니다.

1. Main에서 갈라지는 두 작업

Main은 사용자의 질문과 대화 문맥을 읽고, RAG와 외부 검색 도구로 근거를 찾습니다. 상담 답변이 준비되면 그 답변을 Screen과 Speech Text에 전달합니다. 하나의 결과에서 두 작업을 함께 시작하는 이 구성을 fanout으로 만들었습니다.

Main의 답변에서 Screen과 Speech Text가 병행하며, backend의 두 작업 완료 뒤 TTS와 브라우저 재생으로 이어지는 설계도
설계도 · 같은 답변에서 화면과 발화문을 함께 준비합니다. Backend 작업 완료 뒤 TTS로 이어지는 순서이며 브라우저 표시 완료를 측정한 결과는 아닙니다. 출처: 로디 실행 graph, 8f6a074. 모바일은 같은 흐름을 재배치했습니다.원본 크기로 보기

Screen은 답변을 보조할 화면과 데이터를 고릅니다. 기관을 안내하는 답변이면 기관 목록과 위치를, 신청 순서를 설명하는 답변이면 체크리스트를 구성합니다. 실제 화면의 배치와 버튼 동작은 미리 구현한 frontend가 맡습니다.

Speech Text는 같은 답변에서 들려줄 내용을 고릅니다. 결론과 중요한 조건, 사용자가 할 다음 행동을 짧은 문장으로 정리합니다. 이 문장이 준비되면 text를 소리로 바꾸는 TTS가 음성을 합성하고 브라우저가 재생합니다. 음성 합성은 정해진 문장을 처리하는 단계이므로 별도의 Agent 판단을 넣지 않았습니다.

이 구조에서는 역할마다 제공하는 도구도 다릅니다. Main에는 근거를 찾는 도구를, Screen에는 화면을 바꾸는 도구를 줬습니다. Speech Text에는 별도 도구 없이 최종 답변과 발화문 작성 기준을 전달합니다. 화면 규칙을 고칠 때 Main의 검색 지침까지 함께 수정하지 않아도 되도록 작업 범위를 나눈 것입니다.

2. 상담 답변과 사용자가 할 일

“받을 수 있는 지원이 있는지, 어디에 물어보면 되는지 알고 싶습니다”라는 질문을 생각해 봤습니다. 거주 지역을 모르는 상태에서 기관부터 안내하면 다른 지역의 문의처를 보여줄 수 있습니다. 먼저 지역을 확인한다는 Main의 판단을 화면과 음성에도 이어야 했습니다.

설명용 사례 · 거주 지역을 확인하는 한 turn

질문과 답변 한 차례를 turn이라고 부릅니다. 아래는 역할을 설명하기 위해 구성한 예시이며, 실제 상담의 실행 로그나 성공 사례가 아닙니다.

단계받는 정보와 결과
사용자 → Main받을 수 있는 지원과 문의할 곳을 묻습니다. 대화에는 거주 지역이 아직 없습니다.
Main의 답변“지원 대상과 문의처를 확인하려면 거주 지역을 먼저 알아야 합니다. 거주 지역을 알려주세요.”
Screen 입력 → 출력최종 답변, 이번 turn의 메시지·조회 결과, 현재 화면 snapshot을 받아 지역 입력 양식을 구성합니다. 확인하지 않은 지역은 비워 둡니다.
Speech Text 입력 → 출력최종 답변과 발화문 작성 기준으로 “지원과 문의처를 확인할게요. 먼저 거주 지역을 알려주세요.”라는 안내를 준비합니다.
사용자의 다음 행동화면에서 지역을 입력하거나 말로 답합니다. 다음 turn의 Main은 그 지역을 바탕으로 상담을 이어갑니다.

답변을 그대로 소리 내어 읽는 것만으로는 이 흐름을 만들기 어려웠습니다. 근거와 예외가 길게 붙은 문장, 주소와 URL, 여러 후보를 비교하는 목록은 글로 확인할 때와 들을 때의 부담이 다릅니다. 음성으로 모든 정보를 한 번에 전달하면 사용자가 필요한 부분을 다시 찾아 듣기도 어렵습니다.

로디에서는 상담 내용을 판단하는 Main Agent와, 답변을 화면에 담는 Screen Agent, 듣기 좋은 문장으로 정리하는 Speech Text Agent를 나눴습니다. Main이 확인한 답변을 함께 사용하되, 화면에는 비교하고 확인할 정보를 남기고 음성에는 다음 행동을 안내하는 문장을 담는 구성입니다.

3. 서울 어디가에서 남은 문제

이전 프로젝트인 서울 어디가에서는 한 Agent에 검색, 화면 변경, 답변 작성과 음성 준비를 맡겼습니다. 각 기능을 tool로 제공하고, 어떤 상황에 어떤 tool을 사용해야 하는지 instruction에 적었습니다. 검색 결과를 보고 다음 조회를 고르는 일과 마지막 음성 출력까지 마치는 일이 같은 모델의 판단에 들어 있었습니다.

문제는 반드시 필요한 마무리 단계도 instruction에만 기대고 있었다는 점입니다. 마지막에 voice_prepare_speech를 호출하라고 지시했지만, 검색과 화면 갱신을 마친 뒤에도 발화문을 준비하지 않는 실행이 있었습니다. 사용자는 화면을 받았는데 음성 안내는 나오지 않는 상황을 겪게 됩니다.

여기서 바꾸려던 것은 Agent의 개수보다 필수 단계의 실행 방식이었습니다. 무엇을 검색하고 어떤 화면을 보여줄지는 답변에 따라 판단해야 합니다. 반면 상담 답변 뒤에 화면을 검토하고 음성을 준비하는 순서는 매번 모델이 다시 선택할 이유가 없었습니다. 로디에서는 이 후속 작업을 코드의 실행 흐름에 연결했습니다.

Main이 끝나면 Screen과 Speech Text를 호출합니다. Screen은 화면을 바꿀 필요가 있는지와 보여줄 내용을 판단하고, Speech Text는 읽을 문장을 만듭니다. 화면 변경이 필요 없는 turn에는 기존 화면을 유지할 수 있지만, 후속 작업을 시작할지 자체를 Main의 tool 선택에 맡기지는 않습니다.

이전 프로젝트의 구현과 호출 누락 사례: 서울 어디가 · 필수 단계의 호출 누락

4. 화면을 먼저 준비하려고 정한 순서

두 작업을 함께 시작하더라도 음성이 먼저 나와서는 곤란했습니다. 아직 기관 화면이 준비되지 않았는데 “여기 보이는 기관으로 문의해 보세요”라는 안내가 먼저 나오면, 사용자는 무엇을 보고 따라야 할지 찾게 됩니다. 로디에서는 화면 변경을 먼저 보내고, 준비된 화면을 보며 설명을 들을 수 있도록 순서를 잡았습니다.

Screen이 화면을 준비하는 동안 Speech Text는 읽을 문장을 만듭니다. 두 작업이 끝난 뒤 TTS를 시작하므로, 음성 문장을 준비하는 시간은 화면 구성과 겹치되 실제 음성 안내는 그 뒤에 이어집니다. 화면과 음성의 내용을 맞추고, 사용자가 볼 대상을 먼저 제시하려는 UX 설계입니다.

이 순서는 LangGraph의 실행 단계로 구현했습니다. 같은 단계에서 Screen과 Speech Text가 실행되고, 그 단계가 끝나면 준비된 발화문을 TTS에 넘깁니다. 이전의 “마지막에 음성 도구를 호출하라”는 지시를, 답변 이후 실제로 실행되는 순서로 옮긴 것입니다.

현재 backend가 기다리는 기준은 Screen 작업의 완료입니다. 화면 변경 요청은 그 작업 중 브라우저로 전달됩니다. 브라우저가 실제 렌더링을 마쳤다는 확인 신호까지 받는 구조는 아직 없으므로, 화면 표시와 첫 음성의 순서는 브라우저에서도 확인해야 합니다.

5. Agent 사이에 전달되는 것들

같은 답변을 받더라도 각 작업에 필요한 정보는 달랐습니다. 음성 문장을 만들 때는 최종 답변이면 되지만, 기관 화면을 구성할 때는 답변에서 짧게 정리한 주소나 연락처의 원래 조회 결과도 필요합니다. 각 Agent에 전달하는 내용을 다음과 같이 정했습니다.

Main의 최종 답변을 Screen과 Speech Text에 전달합니다. Screen에는 이번 turn의 조회 결과와 현재 화면 정보도 보냅니다. Screen의 command는 UI state로, Speech의 발화문은 TTS로 이어지며 하위 Agent의 작업 메시지는 Main의 대화에 합치지 않습니다.
설계도 · 같은 답변에서 출발하지만 입력 범위와 결과가 다릅니다. 화면 command와 발화문은 상담 history와 분리합니다. 출처: 로디 Agent wrapper, 8f6a074.원본 크기로 보기
받는 쪽전달하는 정보돌려주는 결과
Main Agent사용자 질문과 이전 상담 대화근거를 확인한 상담 답변
Screen Agent최종 답변, 이번 질문의 조회 결과, 현재 화면 정보화면을 바꾸는 command
Speech Text AgentMain의 최종 답변과 발화문 작성 기준음성으로 읽을 문장
TTS준비된 음성 문장브라우저가 재생할 audio

Screen에는 마지막 사용자 질문부터 Main이 답하기까지의 메시지를 전달합니다. 여기에는 그 turn에서 호출한 tool과 반환 결과가 들어 있습니다. Main이 이미 찾은 기관 정보를 화면에 옮길 때 최종 답변에서 생략한 세부 내용을 참고하기 위한 범위입니다. 이전 turn의 조회 결과까지 모두 넘기지는 않습니다.

현재 화면의 종류와 선택 항목은 UI state를 요약한 snapshot으로 보냅니다. UI state는 브라우저가 어떤 화면과 데이터를 보여주는지 관리하는 상태입니다. Snapshot은 요청 시점의 일부 정보이므로 전체 화면 내용이나 요청 이후의 조작까지 나타내지는 않습니다. 같은 화면을 유지할지 바꿀지 판단하는 참고 자료로 사용합니다.

Speech Text에는 검색 과정 전체를 전달하지 않습니다. Main이 만든 답변을 읽기 편한 문장으로 바꾸는 작업이므로, 이미 답변에 담긴 결론과 조건을 기준으로 삼습니다. 어떤 정보를 조회할지와 어떤 말을 들려줄지를 같은 context에서 다시 판단하지 않도록 했습니다.

결과를 돌려줄 때도 상담 대화와 작업 결과를 구분했습니다. 화면 tool의 처리 결과나 음성을 다듬는 중간 메시지가 다음 상담에 섞이면, Main이 사용자의 질문과 무관한 실행 기록까지 읽게 됩니다. Screen은 화면 변경 요청을 보내고, Speech Text는 최종 발화문만 별도 상태에 남깁니다. Main이 이어서 읽는 대화에는 사용자 질문과 Main의 답변이 연결됩니다.

이 경계는 두 turn을 잇는 테스트 코드로도 표현했습니다. 모델 대신 정해진 답을 반환하는 FakeAgent와 메모리 저장소를 사용합니다. 두 번째 Main 입력에 무엇이 남아야 하는지를 검사하며, 실제 모델의 답변 품질을 평가하는 테스트는 아닙니다.

테스트 단계검사하는 경계
첫 turn첫 질문에 Main은 main answer 1을 반환합니다. 하위 역할은 별도로 발화문과 작업 메시지를 만듭니다.
두 번째 Main 입력첫 질문 → 첫 Main 답변 → 두 번째 질문만 이어지는지 확인합니다.
합치지 않는 결과spoken answer와 child output은 Main 입력에 없어야 합니다. 발화문은 별도 출력 상태에 남아야 합니다.

6. 판단은 Agent에, 순서는 실행 흐름에

로디에서 Agent에게 맡긴 일은 답변의 근거를 찾고, 그 답변에 필요한 화면과 발화문을 정하는 것입니다. Main 이후 두 작업을 시작하고, 화면을 준비한 뒤 음성을 합성하는 순서는 코드로 정했습니다. instruction에는 각 작업의 판단 기준을 담고, 반드시 거칠 단계는 실행 흐름에서 연결했습니다.

역할을 나누면서 Main 뒤에 두 하위 Agent의 실행과 정보를 전달하는 과정이 추가됐습니다. 화면 선택과 발화문 작성 기준을 각각 조정하고, 어떤 입력에서 어떤 결과가 나왔는지 나누어 확인할 수 있습니다. 실제 호출 비용과 전체 응답 시간은 이 추가 작업을 포함해 살펴봐야 합니다.

음성 입력부터 재생까지의 과정은 상담 Agent 2 · 말로 묻고 안내받기에서, 화면 선택과 반영은 상담 Agent 3 · 답변에 맞는 화면에서 이어 설명합니다.

7. 검증 결과와 남은 측정

실행 흐름을 연결한 사실과 사용자에게 화면·음성이 전달된 결과는 나누어 확인해야 합니다. 현재 구현은 SKN28-3rd-1Team@8f6a074를 기준으로 읽었으며, 아래의 기존 실행 기록과 보고서 수치는 이번 콘텐츠 수정에서 재실행한 결과가 아닙니다.

현재 테스트 코드와 과거 보고서

근거와 조건확인한 범위결과를 읽는 기준
현재 코드의 관련 테스트 17개Agent wrapper 5개, 두 turn 대화 분리 1개, stream 변환 8개, 화면 tool 3개입니다.입력·출력 경계와 command 구조를 검사합니다. 실제 모델·브라우저·음성 재생을 함께 실행하는 검증은 아닙니다.
기존 원고의 실행 기록17개 중 16개 통과, 화면 tool 등록 목록 1개 실패로 기록돼 있습니다.실행 일시와 원본 출력은 확보하지 못했습니다. 현재도 테스트가 기대하는 workspace_show_access_summary는 등록 목록에 없습니다.
수동 integration 보고서2026-06-26, SKN28-4th-1Team 표기. 브라우저 검증 30개 중 29개 통과·1개 부분 통과, 별도 2개 제외입니다.체크리스트 항목의 표시·클릭은 가능했지만 세부 내용이 펼쳐지지 않은 항목이 부분 통과입니다. 현재 3rd 코드와 같은 실행이라고 확인되지는 않았습니다.
unit·자동화 보고서같은 날짜·프로젝트 표기. Backend 40개, external MCP 23개, blackbox 28개 통과를 보고합니다.UI 자동화는 0개이며 HTTP 상담 stream의 종단 간 검증은 포함하지 않습니다. 보고서가 인용한 trace 원본을 확보하지 못해 집계의 재검증에는 한계가 있습니다.

출처: 현재 저장소의 테스트 코드 · integration 보고서 · unit 보고서. 보고서의 팀 단위 검증 수치를 개인 구현 성과로 환산하지 않았습니다.

모델 답변 비교는 전달 구조의 검증과 구분했습니다

기존 no-tool 실험은 검색 도구를 연결하지 않고 시스템 지침과 복지·법률 질문을 넣어 모델의 답변을 비교한 자료입니다. 2026-06-02~04 UTC에 저장된 raw CSV 네 개와 LLM judge의 정오 판정 1,280건을 확인했습니다. 대체 provider로 자동 전환하는 설정은 꺼져 있었습니다.

모델 / providerJudge 정답 / 평가 수Raw 응답 상태
DeepSeek V4 Flash / DeepSeek249 / 360 (69.17%)성공 360건
DeepSeek V4 Pro / DeepSeek274 / 360 (76.11%)성공 359건·오류 1건
GPT-OSS 120B / Cerebras228 / 360 (63.33%)성공 360건
Qwen3.7 Plus / Alibaba124 / 200 (62.00%)성공 200건

출처: 저장된 no-tool judge 집계. 비율은 정답 수를 해당 모델의 평가 수로 나눠 소수 둘째 자리까지 표시했습니다. 서로 다른 표본 수를 유지했습니다.

Judge 집계는 Pro의 오류 1건도 오답에 포함합니다. 반면 별도의 비용·latency 차트는 성공 응답만 집계합니다. 비용을 360문항으로 환산한 값도 관측 총비용과 구분해야 합니다. 이 자료는 모델 응답의 품질·비용·응답 시간을 비교하는 데 쓰며, Screen·Speech 분리의 효과나 RAG 검색 품질, 전체 음성 응답 시간의 근거로 쓰지 않았습니다.

도구를 연결한 with-tool 기록은 Flash가 no-tool에서 틀린 두 문항을 다시 평가한 표본입니다. 결과는 1개 정답·1개 오답입니다. 두 문항의 결과만으로 전체 360문항의 도구 사용 정확도나 상담 성공률을 계산할 수는 없습니다.

다음 검증은 한 상담의 화면과 음성을 함께 기록합니다

한 turn의 질문·Main 답변·화면 command·발화문을 실제 브라우저 화면과 재생 기록까지 연결한 자료는 아직 확보하지 못했습니다. 아래는 이 공백을 확인할 실험 계획이며 실행 결과가 아닙니다.

확인할 질문고정할 조건과 산출물판정 기준
필수 작업과 대화 경계를 지키는가같은 Main 답변·화면 snapshot으로 지역 확인, 기관 안내, 준비물 안내, 화면 유지 사례를 비교합니다. 두 turn의 입력과 하위 작업 시작·종료를 남깁니다.Screen·Speech가 시작되는지, 화면 유지도 유효한 선택인지, 하위 메시지가 다음 Main 입력에서 제외되는지 각각 검사합니다.
화면과 발화가 같은 행동을 안내하는가모델·prompt·조회 결과를 고정하고 결론·지역 조건·예외가 있는 답변을 사용합니다. 질문, command, 실제 화면, Main 답변과 발화문 쌍을 저장합니다.화면 선택의 적절성과 schema 통과를 따로 평가합니다. 발화문에는 결론·조건·다음 행동이 남아야 합니다.
사용자가 볼 때와 들을 때의 순서가 맞는가느린 Screen/빠른 Speech와 반대 조건, streaming/Blob 재생을 나눕니다. Backend 완료, 브라우저 화면 반영, 첫 음성, 전송 완료, 재생 종료 시점을 기록합니다.안내가 가리키는 화면이 첫 음성 전에 보이는지 확인합니다. 캐릭터 animation 시작을 첫 소리의 대체 지표로 쓰지 않습니다.
실패 후에도 결과와 상태가 설명 가능한가Screen 실패, Speech 빈 출력과 호출 예외, TTS 설정 누락·provider 오류, 브라우저 재생 차단을 나눠 기록합니다.남은 답변·화면, fallback 발동 여부와 최종 player 상태를 확인합니다. 오류를 성공 건수에 넣지 않습니다.

실행할 때는 source commit, 브라우저·음성 provider, 모델·prompt 버전, 문항 수와 반복 수를 먼저 고정해야 합니다. 모델과 TTS의 예상 호출량·비용 상한·중단 조건은 실행 범위를 정한 뒤 확정할 항목입니다. 이번 원고 작업에서는 새 모델·Judge·TTS 호출을 하지 않았습니다.

구현 근거

전체 실행 순서: backend/src/graph/graph.py

Agent 입력과 대화 상태: backend/src/nodes/agent_wrappers · state.py

대화 분리 검증: test_agent_wrapper_nodes.py · test_chat_graph_agent_wrappers.py