DearMate는 SNS에서 알게 된 AI 캐릭터와 개인 대화를 이어 가는 서비스입니다. 사용자가 다시 찾아왔을 때 캐릭터는 자신의 설정과 앞선 이야기를 참고해 답하고, 방금 나눈 대화도 다음 만남에 이어 갈 수 있어야 합니다. 이를 위해 모델 호출 전에는 필요한 맥락을 준비하고, 호출 후에는 답변과 대화 상태를 함께 남겼습니다.
캐릭터 구성 요소에서 정리한 페르소나·기억·활동 경험은 매번 응답을 만들 때 만납니다. 이 글은 그 입력을 준비하는 순간부터 저장된 답변을 API로 반환하고, 이후 검색에 쓸 임베딩을 만드는 과정까지 다룹니다.
1. 답변을 만든 뒤에도 한 번의 대화는 끝나지 않습니다
사용자가 “지난번에 말한 발표, 오늘 잘 끝났어.”라고 보냈다고 가정하겠습니다. 캐릭터가 자연스럽게 반응하려면 어느 발표였는지 찾고, 최근에 나눈 대화와 함께 읽어야 합니다. 답한 뒤에는 발표가 끝났다는 새 사실과 그에 대한 응답이 남아야 합니다. 다음 대화에서도 여전히 발표를 앞둔 상황으로 돌아가면 안 되기 때문입니다.
지난번에 말한 발표, 오늘 잘 끝났어.
답하기 전에캐릭터 지침과 최근 대화, 발표에 관한 과거 기록을 준비합니다.
답한 뒤에이번 발화와 새 응답을 저장하고 다음 검색에 쓸 작업을 남깁니다.
모델은 준비된 입력으로 답변을 만드는 역할을 맡습니다. 누구의 대화인지 확인하고, 어떤 기억을 읽게 할지 고르고, 성공한 결과를 저장하는 일은 애플리케이션이 맡았습니다. 이 구분을 기준으로 기본 대화 루프에 맥락 준비와 저장 절차를 연결했습니다.
2. 보관할 대화와 이번에 읽을 맥락을 나눴습니다
원본 대화는 사용자가 실제로 무엇을 말했고 캐릭터가 어떻게 답했는지 남기는 기록입니다. 현재 실행에 쓰는 active context는 모델이 이번 응답에서 읽을 내용입니다. 대화가 길어지면 active context의 오래된 부분을 압축하되, 원본은 검색과 이력 조회를 위해 보존했습니다.
앞의 예시에서도 발표를 준비하던 대화 전체를 매번 넣을 필요는 없습니다. 현재 세션의 요약과 최근 발화를 먼저 읽고, 필요한 과거 기록을 검색해 보충합니다. 같은 사용자의 대화 식별자는 유지하면서 내부 맥락 세션은 압축 결과에 맞춰 교체할 수 있게 했습니다. 기억과 context 글에서 압축·최근 대화·검색의 관계를 자세히 설명합니다.
3. 무엇을 준비하고, 어디까지 저장한 뒤 답할까요?
요청이 들어오면 접근 권한과 대화 상태를 확인합니다. 이어 현재 세션을 읽고 필요한 압축을 마친 뒤, 캐릭터의 지침과 활동 기억, 이번 발화와 관련된 대화 검색 결과를 모읍니다. 입력 조립을 마친 시점에 모델을 호출합니다.
대화 API · 요청 안에서 마치는 일
- 상태 조회대화 접근 권한과 요청 상태를 확인합니다.
- context 준비현재 세션·압축, 페르소나·기억을 조립합니다.
- 모델 응답준비된 입력으로 새 답변을 생성합니다.
- 정리 · commit임시 검색 내용을 제거한 뒤 발화·세션·후처리 task를 함께 저장합니다.저장된 task가 별도 worker의 출발점입니다.
- 정산 확인 · API 반환저장된 발화를 다시 읽고 Sand 정산을 확인해 답변을 반환합니다.
임베딩 worker · commit 이후 독립 실행
- 저장된 task 조회처리 대기 작업을 찾아 실행 권한을 확보합니다.
- 원본 발화 읽기task가 가리키는 저장된 텍스트를 가져옵니다.
- 임베딩 생성발화를 검색용 벡터로 변환합니다.
- 벡터 저장 · 작업 완료유효한 실행 권한을 확인하고 두 상태를 함께 반영합니다.
모델이 답하면 영구 보관할 내용만 추려 저장 형식으로 바꿉니다. 발화, 현재 세션이 어디까지 읽었는지 나타내는 체크포인트, 후처리 task를 하나의 트랜잭션으로 저장합니다. 사용자 발화와 캐릭터 응답은 별도 기록이며 같은 interaction ID로 묶입니다.
API는 저장된 두 발화를 다시 조회하고 서비스 이용 재화인 Sand의 정산 완료를 확인한 뒤 답변을 반환합니다. 모델에서 문자열을 받는 시점과 사용자에게 성공 응답을 돌려주는 시점을 구분한 것입니다. 저장·정산 중 연결이 끊겼을 때의 처리는 대화와 Sand의 실패 복구에서 이어집니다.
4. 참고한 기억을 새 사용자 발화로 남기지 않았습니다
발표에 관한 과거 기록을 이번 질문 뒤에 붙였다면, 모델은 그 내용을 함께 읽습니다. 하지만 이를 새 사용자 발화에도 그대로 저장하면 사용자가 이번에 다시 말한 것처럼 기록되고 이후 검색에서 반복될 수 있습니다. 검색 결과와 캐릭터의 활동 기억에는 임시 자료를 뜻하는 transient 표시를 붙이고, 기본 정책에서는 저장 직전에 제거했습니다.
| 내용 | 이번 응답에서 사용 | 새 대화 기록에 저장 |
|---|---|---|
| 발표를 마쳤다는 사용자 발화 | 사용합니다. | 원본 발화로 남깁니다. |
| 검색한 과거 발표 기록·캐릭터 활동 기억 | 임시 자료로 붙입니다. | 기본 정책에서 제거합니다. |
| 캐릭터가 생성한 새 응답 | 사용자에게 답합니다. | 새 응답으로 남깁니다. |
현재 구현에는 검색 내용을 남기는 실험 설정도 있습니다. 기본 보존 정책과 비교할 수 있도록 둔 옵션입니다. 압축과 검색이 기억 정확도에 미치는 영향은 기억 실험 글에서 별도 조건으로 다룹니다.
5. 저장에 성공한 대화에서 후처리를 시작합니다
준비나 모델 호출이 실패하면 새 발화의 commit으로 넘어가지 않습니다. 모델 호출 전 압축은 별도 저장 단계이므로, 이 조건은 이번 interaction의 새 발화 저장에 적용됩니다. 동시에 들어온 요청이 오래된 세션을 기준으로 저장하려는 경우에는 데이터베이스의 버전 검사에서 거부합니다.
발화와 후처리 task를 함께 저장한 이유도 같습니다. 발화만 남고 검색용 벡터를 만들 작업이 빠지거나, 발화가 없는데 작업부터 실행되는 상태를 피해야 했습니다. worker는 메모리 안의 알림 대신 데이터베이스에 commit된 task를 조회합니다.
임베딩이 늦어져도 저장된 대화는 남아 있습니다
임베딩은 텍스트를 의미 검색에 사용할 벡터로 바꾸는 처리입니다. 별도 프로세스의 worker가 task를 가져와 원본 발화를 읽고, 임베딩을 생성한 다음 벡터 저장과 task 완료를 함께 반영합니다. 작업의 실행 권한에는 유효기간을 두어 중단된 worker의 작업을 다시 가져올 수 있게 했습니다. 다른 worker가 작업을 다시 가져간 뒤에는 이전 worker가 늦게 결과를 보내도 교체된 실행 권한으로 저장하지 못합니다.
처리에 실패하면 재시도 시각을 남깁니다. 현재 기본값은 최대 5회 시도이며, 마지막까지 실패한 task는 실패 상태로 남습니다. 이 동안 원본 발화와 active context는 유지됩니다. 따라서 최근 대화로 이어 읽는 경로와, 벡터가 준비된 뒤 의미 검색으로 찾는 경로의 준비 시점은 다릅니다.
이 구조에서 API가 기다리는 범위는 답변 생성과 대화 저장·정산까지입니다. 후처리 분리 전후의 실제 응답 시간은 같은 조건으로 비교하지 않았습니다.
6. 구현한 범위와 확인한 조건
초기 기본 Agent Loop는 팀원이 작성한 PR #8을 바탕으로 합니다. 제 작업은 런타임과 대화 영속성 통합(PR #30), 입력 준비·출력 정리의 분리(PR #33), API·맥락·저장·worker 경계 재구성과 압축·검색 연결(PR #53)입니다. 모델 입력 정책과 저장 정책을 나눠, 각각의 조건을 테스트에서 확인하도록 구성했습니다.
| 경계 | 테스트에 명시된 조건 |
|---|---|
| 입력과 기록 | 검색·활동 기억은 모델에 전달하고 기본 정책의 저장 기록에서는 제거합니다. |
| 대화 저장 | 새 발화와 대기 task를 함께 남기고, 오래된 세션 버전의 추가 저장을 거부합니다. |
| worker 실행 | 주기적 조회로 작업을 찾고, 처리 실패 시 재시도한 뒤 마지막 실패를 기록합니다. |
| worker 완료 | 벡터와 작업 완료를 함께 저장하며 이미 교체된 실행 권한의 쓰기를 거부합니다. |
입력 정리와 저장 조건은 가짜 모델·저장소를 사용하는 테스트에, 임베딩과 완료 상태의 저장 조건은 데이터베이스 adapter 테스트에 담았습니다. 실제 환경에서의 응답 지연, 동시 요청, worker 중단 후 복구는 별도 실행 기록으로 확인할 항목입니다. 기억 정확도는 저장 구조 자체의 성과로 묶지 않고 앞의 기억 실험 결과로 제시합니다.
여기서 읽어 온 캐릭터의 활동 기억은 공개 콘텐츠 운영과 개인 대화를 잇는 접점입니다. 어떤 내용을 생성하고 검토한 뒤 게시 기록으로 남기는지는 Text·Image·Video 생성과 Social Automation 운영에서 설명합니다.