DearMate · 문서

05/ 11

오래 대화하기 위한 기억·맥락 설계

Owen Lee · 이원빈완성 원고

DearMate는 SNS에서 활동하는 캐릭터와 개인 대화를 이어 가는 서비스입니다. 사용자가 이전에 말한 약속이나 취향을 기억하고, 캐릭터가 공개한 활동도 대화에서 이야기할 수 있어야 했습니다. 캐릭터의 구성 요소에서 다룬 대화의 연속성을 실제 입력과 저장 정책으로 옮긴 부분입니다.

대화가 길어질수록 모든 발화를 매번 모델에 넣기는 어려워집니다. 오래된 대화를 요약하면 입력은 줄지만, “토요일은 안 된다” 같은 조건도 빠질 수 있습니다. DearMate는 원본 대화는 보존하고, 현재 모델이 읽을 맥락은 요약·최근 대화·검색 결과로 구성했습니다.

한 약속을 세 가지 형태로 읽기

사용자가 예전에 “토요일은 안 되고 일요일 오전은 괜찮아요”라고 말한 상황을 생각해 봅니다. 시간이 지난 뒤 “내가 가능하다고 했던 시간에 네 공연 얘기하자”라고 묻습니다. 답변하려면 약속의 시간 조건과 캐릭터의 공연 기록이 함께 필요합니다.

  1. 01 · 원본 대화

    이전에 실제로 말한 내용

    사용자 “토요일은 안 되고 일요일 오전은 괜찮아요.”

    캐릭터 “일요일 오전으로 기억할게요.”

    발화 순서와 질문·답변의 묶음을 보존합니다.
  2. 02 · 현재 대화 맥락

    요약 + 최근 질문·답변

    요약 예시 “주말에 대화할 계획이 있음.”

    최근 대화 “공연 이야기는 나중에 들을게요.” → “좋아요, 편한 시간 알려주세요.”

    이 요약에서는 토요일 제외·일요일 오전 조건이 빠졌습니다.
  3. 03 · 이번 응답의 입력

    질문에 필요한 과거와 활동

    대화 검색 원본에서 “일요일 오전”과 “토요일은 안 됨”을 다시 찾습니다.

    활동 기억 캐릭터 자신의 금요일 공연 기록을 함께 읽습니다.

    페르소나·현재 맥락·새 질문에 이 참고 자료를 더합니다.
설명용 재구성 · 같은 약속이 원본, 요약과 최근 대화, 검색을 더한 입력으로 이어지는 모습입니다. 실제 사용자 대화나 실행 결과가 아니며, 요약 손실과 출처 구분을 보여주기 위해 만든 예시입니다.

이 입력에서 기대하는 답변은 “일요일 오전에 금요일 공연 이야기 들려드릴게요”입니다. 일요일은 사용자의 가능 시간이고, 공연은 캐릭터 자신의 활동입니다. 서로 다른 기록을 함께 읽더라도 함께 공연을 보러 갔다는 경험을 만들어서는 안 됩니다.

원본 대화와 현재 입력은 수명이 다릅니다

원본 대화에는 저장을 마친 발화가 순서대로 남습니다. 이전 대화를 다시 조회하거나 검색할 때의 근거입니다. Active context session은 다음 모델 호출을 위해 읽을 맥락입니다. 오래된 내용을 담은 요약과 아직 요약하지 않은 최근 발화로 구성하며, 대화가 길어지면 새 세션으로 교체합니다.

앞의 예시에서 “주말에 대화할 계획”이라는 요약으로 바뀌어도, 원본의 “토요일은 안 되고 일요일 오전은 괜찮아요”는 남아 있습니다. 요약이 어디까지의 발화를 포함하는지 기록한 지점인 checkpoint를 기준으로, 그 이후의 최근 발화를 원본에서 다시 읽습니다. Context 교체가 원본 대화 삭제로 이어지지 않도록 두 수명을 나눴습니다.

답변에 쓸 공간을 남기고 압축합니다

오래된 맥락을 짧게 요약하는 작업을 compaction이라고 부릅니다. 입력이 모델의 최대 용량에 닿은 뒤 처리하기보다, 응답과 추가 자료에 쓸 공간을 미리 남기고 저장된 맥락의 크기로 압축 시점을 판단했습니다.

저장 맥락의 입력 예산

Context window − 응답 예약 − 안전 여유코드 기본값: 32,768 − 1,024 − 2,048 = 29,696 tokens

안전 여유에는 페르소나, 검색 결과, 현재 사용자 입력이 들어갈 공간을 예약합니다. 저장된 토큰 수와 현재 계산기의 식별자가 같으면 기존 합계를 사용하고, 계산 방식이 바뀌면 요약과 최근 발화를 다시 셉니다. 위 숫자는 확인한 버전의 코드 기본값입니다. 모델별 메시지 처리 비용까지 정확히 보장하는 실측값은 아닙니다.

압축할 때는 이전 요약과 오래된 발화를 함께 읽혀 새 요약을 만들고 최근 대화는 그대로 남깁니다. 최근 보존량의 기본값은 8개 메시지 단위입니다. 다만 경계가 같은 질문·답변 사이를 가르면 경계를 앞으로 옮깁니다. 예를 들어 최근 3개만 남기면 질문 하나가 잘리는 경우, 해당 질문까지 포함한 4개를 남기는 방식입니다.

새 요약은 저장한 상태를 다시 읽습니다

요약을 만든 다음에는 새 context session과 active 포인터를 함께 교체하고, 저장소에서 새 세션을 다시 읽습니다. 이때 새 세션이 실제로 active 상태인지와 입력 예산 안에 들어오는지를 확인한 뒤 모델 호출을 준비합니다. 메모리에 만든 요약과 저장소가 가리키는 상태가 다르면 다음 대화의 출발점도 달라지기 때문입니다.

압축할 오래된 묶음이 없거나 요약이 비어 있으면 진행을 중단합니다. 새 세션을 다시 읽지 못한 경우도 마찬가지입니다. 단위 테스트에는 오래된 묶음이 없는 경우, 빈 요약, 최근 질문·답변의 보존, 저장 후 재조회 순서가 작성되어 있습니다. 저장 도중의 충돌과 실패 복구는 대화 저장과 SAND 정산에서 이어집니다.

검색한 과거와 캐릭터의 활동을 구분합니다

Conversation RAG는 현재 질문을 단서로 같은 대화 안의 과거 발화를 찾아 입력에 보태는 경로입니다. 기본 semantic 검색은 질문과 저장된 발화를 같은 embedding 모델로 표현한 뒤 가까운 발화를 찾습니다. 비교용 lexical 검색도 별도 선택 경로로 두었습니다. 예시의 시간 조건은 이 경로에서 원본으로 돌아가 확인합니다.

캐릭터의 공개 활동은 다른 경로에서 가져옵니다. 현재 구현은 Persona에 연결된 READY 상태의 활동 기억을 최신순으로 모두 읽습니다. 벡터 검색이나 개수 제한을 적용하지 않습니다. 활동 설명, 승인 시각, 원래 작업 설명을 묶어 전달하므로, 사용자의 약속과 캐릭터의 공연을 서로 다른 출처로 읽을 수 있습니다. 활동 기억을 만드는 과정은 콘텐츠 검토·승인·운영과 연결됩니다.

두 경로의 결과에는 transient tag를 붙입니다. 이번 응답에만 쓸 참고 자료라는 표시입니다. 응답을 저장하기 전에는 이 표시가 붙은 부분을 제거하고, 새 사용자 발화와 모델의 새 메시지만 원본 대화와 active session에 반영합니다. 일요일 약속을 다시 찾았다는 이유로 옛 약속 문장 자체가 새 사용자 발화로 중복 저장되지는 않습니다.

검색 결과를 저장하는 실험용 설정도 있지만, 기본 정책은 제거입니다. 이 제거는 원본 기억을 지우거나 시간이 지난 기억을 잊게 하는 기능과는 별개입니다. 무엇이 요약에서 빠지고, 검색으로 무엇을 보완했는지는 다음 글의 140문항 압축·검색 비교에서 확인합니다.