DearMate는 AI 캐릭터의 SNS 활동과 개인 대화를 연결하는 서비스입니다. Social Automation은 그 캐릭터의 공개 콘텐츠를 만드는 운영 도구입니다. 운영자가 기획을 정리하고, 글·이미지·영상을 생성해 검토한 뒤, 승인한 결과를 게시하고 이후 대화의 참고 기억으로 남깁니다.
생성 도구를 연결하는 것만으로는 이 흐름을 관리하기 어려웠습니다. 재생성한 결과 가운데 무엇을 검토했는지, 승인한 콘텐츠가 실제로 게시됐는지, 캐릭터가 어떤 활동을 기억해야 하는지를 따로 기록해야 했습니다. 저는 운영자와 기획을 정리하는 대화, 제출한 작업의 생성 실행, 승인본의 게시 처리를 나눠 Social Automation Agent와 콘솔을 연결했습니다.
1. 운영자의 기획과 생성 실행을 나눴습니다
Main Agent는 관리 콘솔에서 운영자와 대화하며 기획을 정리합니다. 기획은 Content Task라는 작업 단위에 저장합니다. 누구의 콘텐츠인지, 무엇을 만들지, Text·Image·Video 중 어떤 결과가 필요한지와 매체별 지침을 함께 담습니다.
Management Agent는 제출된 작업을 실행하는 역할입니다. 요청한 매체의 생성 Agent를 호출하고 결과를 받아 콘텐츠를 구성합니다. 기획을 바꿀 수 있는 대화와 제출한 작업을 끝내는 실행은 종료 조건이 다르므로, Main의 대화 세션과 Management의 작업 세션도 따로 관리했습니다.
Google ADK가 Agent를 실행하고 CopilotKit이 콘솔의 대화 스트림·도구·화면 상태를 연결합니다. Main에는 기획에 필요한 도구를, Management에는 해당 작업의 생성과 검토 도구를 제공합니다. Management 실행이 끝나면 임시 검토 미디어와 세션은 정리하고 작업·산출물·결정은 별도로 보존합니다.
2. 한 콘텐츠의 기획부터 승인까지 따라가 봅니다
운영자가 캐릭터의 카페 휴식 시간을 글·이미지·영상으로 만들려는 상황을 예로 들겠습니다. 공통 기획에는 활동의 목적을, TEXT 문서에는 장소와 이야기를, IMAGE·VIDEO 문서에는 구도와 움직임을 적습니다. 아래는 구현의 연결 관계를 보여 주는 설명용 재구성입니다. 실제 작업의 생성 결과나 게시 이력은 아닙니다.
기획 → 생성 → 운영자 검토 → 승인 후 처리
같은 Content Task를 따라 생성본을 모읍니다. 승인 이후 게시 처리와 활동 기억 생성은 각자의 상태를 갖습니다.기획·제출
- Main + 운영자Persona와 공통·매체별 문서를 정리합니다.
- 작업 큐요청한 매체의 문서를 확인하고 실행을 예약합니다.
생성·검토 준비
- Management + 생성 AgentTEXT 완료 후 시각 생성을 요청하고 결과를 모읍니다.
- 운영자 검토글·이미지·영상을 확인해 승인·수정 요청·거절합니다.
승인 후 두 경로
- 게시 worker게시를 예약했다면 대상 계정에 보내고 외부 결과를 기록합니다.
- Activity Memory승인본의 활동 설명을 만들어 이후 생성과 대화에 전달합니다.
| 단계 | 전달하는 자료 | 다음 단계에서 확인할 것 |
|---|---|---|
| 기획 제출 | Persona, 공통 목적, TEXT·IMAGE·VIDEO 문서 | 요청한 매체에 필요한 기획이 있는지 확인합니다. |
| TEXT 생성 | 공통 기획과 TEXT 지침 → 완성된 글 | 글에 정해진 장소·시간·행동을 시각 생성에도 전달합니다. |
| IMAGE·VIDEO 생성 | TEXT 기획·완성된 글·매체별 지침·준비된 참조 자료 → 미디어 | 같은 작업의 결과인지 확인하고 검수 의견과 함께 모읍니다. |
| 운영자 검토 | 글·미디어·자동 검수 의견 → 승인 또는 수정 요청 | 사용할 결과를 고정합니다. 수정 요청에는 추가 지시를 남깁니다. |
| 승인 후 처리 | 승인 snapshot → 게시 예약·활동 기억 작업 | 게시 성공 여부와 기억 생성 상태를 각각 확인합니다. |
시각 생성에는 완성된 글뿐 아니라 TEXT 기획도 전달합니다. 두 입력이 맡는 역할과 영상 checker의 범위는 매체별 생성의 연속성에서 설명합니다.
3. 긴 생성 작업은 요청이 끝나도 남겨 두었습니다
콘솔에서 생성 버튼을 누르면 제출한 기획을 검사하고 작업을 큐에 넣습니다. DRAFT에서 QUEUED로의 상태 변경, Management 실행 기록, PostgreSQL 기반 PGMQ 메시지 추가를 하나의 데이터베이스 트랜잭션으로 처리합니다. HTTP 요청은 생성 전체가 끝날 때까지 기다리지 않습니다.
Worker는 작업의 처리 권한을 확보한 뒤 실행하고, 결과를 기록할 때도 그 권한을 나타내는 claim token을 확인합니다. 작업 식별자·실행 식별자·큐 메시지를 연결해 제출부터 완료까지 추적합니다. 재시도에서는 같은 실행에 이미 완료된 생성 결과가 있는지 확인해 재사용합니다.
생성을 시작하는 예약과 콘텐츠를 공개하는 예약은 따로 관리합니다. 생성이 오래 걸리거나 운영자가 수정을 요청해도, 검토가 끝나지 않은 결과가 게시 시각만을 이유로 공개되어서는 안 되기 때문입니다.
4. 생성 완료와 사람의 승인을 다른 상태로 뒀습니다
Management가 반환하는 CONTENT_READY는 요청한 매체의 결과를 모아 사람이 검토할 준비가 됐다는 뜻입니다. 자동 checker의 PASS도 검토 의견입니다. 운영자는 저장된 글·이미지·영상을 보고 승인·수정 요청·거절 가운데 하나를 결정합니다.
수정 요청에는 무엇을 바꿀지 추가 지시가 필요합니다. 카페 장면을 요청했는데 이미지가 야외라면 장소를 맞춰 달라는 요청을 남길 수 있습니다. 다시 생성한 결과와 검토 결정을 추적하고, 승인 시점의 콘텐츠·기획·파일 정보를 snapshot으로 고정합니다.
게시 예약은 승인 결정에만 연결됩니다. 승인본과 대상 계정, 예약 시각을 정하되, 승인했다는 사실만으로 실제 게시가 완료됐다고 표시하지 않습니다. 현재 구현에는 X 게시 경로가 있으며 초기 제품 기획의 모든 SNS 채널이 구현된 것은 아닙니다.
5. 전송 결과를 모르면 자동 재게시를 멈췄습니다
외부 SNS로 보낸 뒤 타임아웃이 나면 이미 게시됐을 수도 있습니다. 반대로 전송 전에 일시적으로 실패했다면 재시도할 수 있습니다. 게시 worker는 이 차이에 따라 다음 행동을 정합니다.
| 확인한 결과 | 기록하는 상태 | 처리 |
|---|---|---|
| 외부 성공 응답과 게시물 ID | PUBLISHED | 게시 결과를 기록합니다. |
| Rate limit·전송 전 일시 장애 | RETRY_WAIT | 다음 실행 가능 시각 이후 재시도합니다. |
| 인증 오류·영구 거절 | FAILED | 자동 재시도를 종료합니다. |
| 전송 후 타임아웃 등 결과 불명 | OUTCOME_UNKNOWN | 자동 재게시를 멈추고 결과를 확인할 대상으로 남깁니다. |
여러 worker 사이의 중복 처리는 데이터베이스 claim과 token으로 제한합니다. 외부 SNS까지 같은 트랜잭션으로 묶을 수 없으므로 결과 불명 상태를 남기는 경계도 필요합니다. Sand 정산의 실패 복구가 저장된 발화를 기준으로 남은 처리를 끝내는 것과 달리, 게시에서는 외부 효과를 확인할 때까지 재전송을 멈춥니다.
6. 승인한 활동을 다음 대화의 참고 기억으로 남겼습니다
운영자가 승인하면 당시의 기획·콘텐츠·파일 정보를 고정하고 Activity Memory 작업을 저장합니다. 별도 worker가 승인본의 텍스트와 이미지·영상을 VLM에 전달해 캐릭터가 회상할 한국어 서술과 구조화된 설명을 만듭니다. 여기서 VLM은 텍스트와 시각 자료를 함께 읽는 모델입니다.
이 기억에는 무엇을 만들었는지, 미디어에 무엇이 보이는지, 어떤 목적으로 만들었는지를 나눠 담습니다. 카페에서 쉬는 기획과 야외 벤치가 보이는 이미지가 함께 주어지면, 기획의 장소와 화면의 배경을 같은 사실로 합치지 않도록 지시합니다.
기억의 기준은 승인된 콘텐츠입니다. 게시 성공이나 사용자의 실제 반응은 근거가 있을 때만 서술하도록 했습니다. 게시물 ID를 받은 사실과 사람들이 좋아했다는 평가는 서로 다른 자료가 필요합니다.
현재 Activity Memory는 숫자 벡터를 검색하는 방식이 아니라 승인 활동의 설명을 저장해 재사용합니다. 콘텐츠 생성은 같은 Persona의 READY 기억 중 최근 5개를 참고하고, 대화 경로는 READY 활동 기억을 현재 요청의 참고 맥락으로 읽습니다. 대화 입력에 넣은 참고 내용은 transient tag로 구분해 기본 정책에서는 새 발화 이력에 반복 저장하지 않습니다. 이 과정은 원본 대화와 현재 context의 구분으로 이어집니다.
7. 확인한 범위와 이어서 평가할 부분
현재 코드와 단위 테스트에는 요청한 매체의 기획 문서가 없을 때 제출을 막는 조건, 같은 실행의 완료 결과 재사용, 다른 작업의 미디어 조회 거부가 포함돼 있습니다. 게시 worker 테스트는 외부 전송을 대신하는 stub으로 성공·rate limit·전송 전 장애·영구 거절·결과 불명의 다섯 경우를 구분합니다.
후속 검증은 고정한 기획 한 건에서 글·이미지·영상 생성과 수정, 승인본 보존을 이어서 확인하는 방식으로 계획했습니다. 게시 결과 분류는 외부 전송 없는 fixture부터 검증하고, 활동 기억을 받은 대화가 기획과 실제 콘텐츠를 정확히 구분하는지도 별도 질문으로 평가할 항목입니다.