로디 · 문서

05/ 08

RAG 4 · 근거를 구축하는 과정을 Agent에게 맡기기

Owen Lee · 이원빈완성 원고

로디는 고령자가 자신의 상황에 맞는 복지·노동 정보를 찾도록 돕는 상담 서비스입니다. 상담에서 법령을 근거로 쓰려면 원문을 보관하는 일에 더해, 함께 읽어야 할 조항과 조건을 묶고 다른 조항의 정의나 예외로 이어지는 연결도 준비해야 했습니다.

검색에 사용할 근거 단위를 Chunk라고 부릅니다. 문서가 추가될 때마다 원문을 읽고 Chunk의 경계를 정한 뒤, 기존 자료와 연결할 부분을 찾아야 합니다. 저는 팀 프로젝트에서 이 반복 작업을 다루는 법령·조례 RAG 그래프 구축 파이프라인 설계를 맡았습니다. Agent가 Chunk와 관계 후보를 준비하고 사람이 연결의 타당성을 승인하는 구성을 만들었습니다.

RAG 03이 저장된 근거를 상담에서 조회하는 방법을 다뤘다면, 이 글은 그 근거를 만들고 검토하는 과정에 집중합니다. 단계의 실행 순서는 코드로 정하고, 문서마다 달라지는 경계와 관계 판단을 Agent에게 맡겼습니다.

1. 문서마다 근거 단위와 연결을 준비해야 했습니다

법령은 조·항·호 번호가 있어도 번호만 따라 나누기 어려운 구간이 있습니다. 여러 항이 앞 문장의 공통 조건을 공유하거나, 본문과 단서가 함께 있어야 의미가 보존되는 경우입니다. 한 조문에서 다른 법률의 정의를 참조하면 문서를 나눈 뒤에도 그 관계를 찾아 연결해야 합니다.

이 준비 작업을 Agent에게 맡기려 한 이유는 문서를 읽으며 경계를 정하는 일과, 기존 근거를 조회해 연결을 제안하는 일을 같은 도구 사용 흐름으로 구성할 수 있었기 때문입니다. Agent는 제안에 필요한 본문과 이유를 남기고, 사람은 제안된 관계를 승인하거나 거절하도록 역할을 나눴습니다.

원문을 보존하면서 읽을 경계를 정합니다

Chunking Agent는 원문을 조회한 뒤 조·항·호·목, 부칙, 표의 구조를 보고 경계를 정합니다. 일반 Chunk는 800~2,200자를 목표로 하되, 하나의 조문이나 표를 보존해야 할 때는 더 긴 범위를 허용합니다. 문장 임베딩의 유사도로 경계를 계산하는 방식이 아니라 LLM이 문서의 의미와 구조를 읽는 방식입니다.

검색 본문인 text에는 원문의 연속된 문자열을 복사하고, summary는 별도 필드에 저장하도록 지시했습니다. Chunk 이름과 짧은 설명은 검토자가 내용을 식별하는 데 사용하고, 경계를 선택한 이유와 시작·끝 marker, 문서 내 순서는 원문과 대조할 단서로 남깁니다. 저장은 문서 순서대로 작은 묶음으로 진행합니다.

법령 JSON의 조·항·호를 따르는 규칙 기반 분할은 같은 입력에 같은 경계를 재현하기 쉽습니다. 로디에서는 문서마다 달라지는 구조와 긴 조항의 경계까지 Agent가 판단하는 구성을 구현했습니다. 이 선택에는 LLM 호출 비용과 결과 편차가 따릅니다. 원문을 그대로 복사하라는 지침과 실제 누락·중복 검사는 별개이며, 현재 Chunking Agent에는 경계를 자동 대조하는 도구를 제공하지 않습니다. 경계 선택의 구체적인 법령 예시는 RAG 02에 담았습니다.

큰 순서는 고정하고 단계 안의 판단을 맡깁니다

원문을 등록하면 하나의 build 실행이 원문 조회 → 청킹 → embedding → 관계 후보 생성 순서로 진행됩니다. 어느 단계를 다음에 실행할지는 코드가 정합니다. Agent가 고르는 것은 원문을 어떻게 나눌지, 기존 그래프에서 무엇을 더 조회할지, 어떤 관계를 후보로 남길지입니다.

Build 실행은 원문 등록, Chunking Agent, embedding, 관계 후보 생성 순서로 진행합니다. 저장한 후보를 사람이 검토하면 별도 review 실행에서 승인된 관계를 edge로 반영하고 검토 메모를 Memory로 정리해 다음 후보 생성에 전달합니다.
코드 기반 설계도입니다. Build는 검토할 후보를 준비하고, 별도 review는 사람의 결정과 메모를 반영합니다. 실행 Trace나 처리 시간 측정 그림이 아닙니다.원본 크기로 보기
  1. 원문 등록과 조회: 파일명과 본문을 Document에 저장합니다. document ID는 원문을, job ID는 해당 구축 작업을 가리킵니다. JSON·TOON도 이 경로에서는 텍스트로 읽으며, 형식 변환은 입력 전 준비 작업입니다.
  2. Chunk 저장: Agent가 원문을 읽고 경계를 정해 저장합니다. 실행 결과에 Chunk ID가 없거나 응답 스트림이 실패했을 때는 DB에 저장된 ID를 다시 읽어 후속 작업을 이어갑니다. 다른 provider 경로로 재시도한 뒤에도 ID가 없으면 실패 처리합니다.
  3. Embedding 생성: 각 Chunk의 text를 순차적으로 임베딩해 기존 Chunk에 기록합니다. 실패한 ID만 같은 단계에서 한 번 더 시도하며, 누락이 남으면 관계 후보 생성으로 넘어가지 않습니다.
  4. 관계 후보 준비: 각 Chunk를 맡은 Agent가 기존 근거를 조회하고 연결할 양 끝 ID, 관계의 종류·방향, 근거와 제안 이유를 저장합니다. 후보가 있으면 검토 대기 상태로, 오류 없이 후보가 없으면 완료 상태로 끝납니다.

다음 단계에 필요한 결과가 남았는지 검사합니다

자동화 도중 일부 결과가 빠진 채 다음 단계로 넘어가지 않도록 저장 결과를 확인합니다. 이 검사는 실행을 이어갈 조건을 다루므로, 문서의 의미가 제대로 보존됐는지는 별도로 평가해야 합니다.

단계코드가 확인하는 조건별도로 확인할 품질
Chunk 저장후속 단계에 넘길 Chunk ID가 있는지 확인하고, 실행 결과에 ID가 없으면 DB에서 복구합니다.원문 누락·중복, 조건과 예외의 분리 여부를 대조합니다.
Embedding입력받은 각 ID의 갱신이 성공했는지 확인하고 실패한 ID만 재시도합니다.생성된 vector로 질문에 필요한 근거를 찾는지 평가합니다.
관계 후보연결할 양 끝 노드가 존재하고 요청한 수만큼 후보가 저장됐는지 확인합니다.관계의 방향·의미와 제시한 근거가 맞는지 검토합니다.
Memory 갱신갱신 후 저장된 Memory의 version이 증가했는지 확인합니다.검토 이유가 판단 기준으로 보존됐고 다음 후보에 반영되는지 대조합니다.

관계 후보 생성은 일부 Chunk에서 실패해도 다른 Chunk가 저장한 후보를 유지합니다. 오류가 있고 남은 후보도 없으면 실패를 반환합니다. 따라서 pending_review는 검토할 후보가 있다는 뜻입니다. 모든 Chunk의 작업이 성공했는지는 Chunk별 실패 기록까지 함께 확인해야 합니다.

승인한 연결을 반영하고 검토 이유를 다음 실행에 남깁니다

관계 후보는 아직 확정된 연결이 아닙니다. 검토자는 연결할 두 근거와 제안 이유를 읽고 승인 또는 거절을 선택합니다. 승인하면 관계의 종류와 방향에 맞는 edge를 만들고, 그 edge에 후보 ID·근거 본문·검토자 정보를 남깁니다. 거절하면 후보의 상태를 바꾸며 edge를 만들지 않습니다.

판단 이유를 함께 적으면 ReviewNote로 저장합니다. Memory Update Agent는 이 메모와 후보의 양 끝 근거, 기존 Memory를 읽어 다음 후보 생성에 사용할 판단 기준을 정리합니다. Memory는 검토 이력을 계속 붙이는 로그가 아니라, 현재 기준을 정리한 하나의 문서이며 갱신할 때 version과 근거가 된 메모·후보 ID를 남깁니다.

다음 관계 후보 생성은 시작할 때 공통 Memory를 한 번 읽고, 같은 실행 안의 Chunk별 Agent에 전달합니다. 이렇게 검토 이유를 다음 작업의 context로 재사용합니다. 모델의 가중치를 학습시키는 방식은 아니며, 해당 job에 검토 메모가 없으면 Memory 갱신을 건너뜁니다. 기준을 전달하는 경로는 구현했지만, 같은 잘못된 관계가 덜 제안되는지는 아직 비교하지 않았습니다.

2. 문서 작업의 배분과 Chunk별 실행을 나눴습니다

한 문서가 후보를 만드는 동안 다른 문서는 사람의 검토를 기다릴 수 있습니다. Knowledge Runtime은 구축 요청을 받는 build 큐와 검토 결정을 반영하는 review 큐를 따로 두었습니다. 각 큐의 worker는 task를 가져와 해당 파이프라인을 실행합니다. 검토 대기는 DB에 후보를 남긴 상태이며, 사람의 결정이 들어오면 별도 review 실행을 시작합니다.

한 build task 안에서는 관계 후보 생성만 입력 Chunk별로 나눕니다. 내부 worker 수는 설정된 상한과 입력 Chunk 수 중 작은 값이며, 여러 개일 때 ThreadPoolExecutor로 병렬 실행합니다. 앞 단계의 embedding은 순차 처리합니다. 문서 단위 task를 배분하는 외부 worker와 Chunk별 후보 Agent를 실행하는 내부 worker는 동시성을 조절하는 위치가 다릅니다.

외부 build와 review 큐는 각각 worker와 graph 실행으로 이어집니다. 한 build 안의 관계 후보 생성에서는 Chunk별 Agent를 병렬 실행할 수 있으며 같은 Memory 문맥을 참고합니다.
코드 기반 worker 구성입니다. 점선은 build 안의 후보 생성 단계를 확대한 표시입니다. Chunk 세 개는 설명용이며 실제 병렬 실행 수는 설정과 입력 수에 따릅니다. 처리 시간 단축을 측정한 그림은 아닙니다.원본 크기로 보기

각 Agent의 도구도 맡은 작업에 맞춰 나눴습니다. Chunking Agent는 원문 조회와 Chunk 저장을, 관계 후보 Agent는 기존 근거 조회와 후보 저장을 수행합니다. 관계를 찾을 때는 텍스트 검색·그래프 탐색·읽기 쿼리와 웹 검색을 사용할 수 있습니다. Vector 검색은 이미 숫자 embedding과 사용할 index가 준비된 경우의 도구입니다.

이 구축용 쓰기 도구는 상담에서 사용하는 RAG 조회 MCP에 공개하지 않습니다. 상담은 준비된 근거를 조회하고, 구축은 새 근거와 검토 기록을 쓰는 역할을 맡습니다. Naver·Firecrawl·TMAP를 제공하는 외부 API MCP와도 별도 구성입니다.

큐와 task 상태는 프로세스 메모리에 보관합니다. DB의 job 정보를 다시 읽는 것과, 서버가 재시작된 뒤 중단한 task를 자동으로 재개하는 것은 다릅니다. 현재 구조를 설명할 때는 이 복구 범위도 함께 고려해야 합니다.

3. 실행 기록과 생성한 근거를 같은 사례로 대조해야 합니다

현재 코드에서 확인한 결과는 원문 등록부터 후보 준비, 사람의 결정 반영, 다음 실행의 Memory 입력까지 연결한 구현입니다. document·job·task·Chunk를 식별하는 값으로 단계와 실패 기록을 연결하고, 후보와 승인한 edge에는 근거를 남깁니다. 이 구조로 어느 단계에서 문제가 생겼고 무엇을 검토했는지 따라갈 수 있게 했습니다.

저장소에는 단계 전이, embedding 재시도, 승인·거절 처리와 Memory 갱신을 검사하는 mock 기반 테스트가 있습니다. 테스트 파일의 존재는 검사하려는 계약을 보여 줍니다. 이 글에서는 해당 테스트의 실행 통과 기록이나 실제 법령을 끝까지 처리한 품질 평가 결과로 제시하지 않습니다.

검증할 때는 같은 법령의 원문과 저장된 Chunk를 먼저 대조하고, 생성된 관계 후보에서 승인·거절 이유와 다음 Memory 입력까지 연결해야 합니다. 원문과 떨어진 요약이나 개별 실행 화면만으로는 조건이 보존됐는지, 사람의 판단이 다음 결과에 반영됐는지 확인하기 어렵습니다.

  • 원문 보존: 조항·표·부칙이 포함된 동일 문서에서 규칙 기반 분할과 Agent 분할을 비교합니다. 누락·중복 구간과 조건·예외가 갈라진 위치를 기록합니다.
  • 관계 품질: 양 끝 근거, 방향, 제안 이유를 사람이 대조합니다. 필요한 연결 중 빠진 관계도 함께 기록해, 제안된 후보의 승인율만으로 품질을 판단하지 않도록 합니다.
  • Memory 반영: 검토 메모에서 정리된 기준을 고정하고, 같은 입력에 Memory를 넣은 경우와 뺀 경우의 후보를 비교합니다. 반복된 오류와 새로 생긴 오류를 모두 확인합니다.

사람의 준비 시간과 검토 시간을 함께 비교합니다

자동화한 범위는 경계·설명 작성, embedding 생성, 기존 자료 탐색과 관계 후보 준비입니다. 사람이 직접 연결을 작성하는 부담을 후보를 검토하는 작업으로 옮기려는 구성이며, 수작업 대비 소요 시간은 아직 측정하지 않았습니다.

비교에서는 같은 문서 범위와 검토 기준을 사용하고, 후보 준비 시간과 사람의 검토·수정 시간을 나눠 기록할 계획입니다. 문서 길이, Chunk·후보 수, 실패·재시도 수, API 사용량도 함께 남깁니다. 후보 생성이 빨라져도 잘못된 연결을 검토하는 시간이 늘 수 있으므로, 전체 작업 시간과 완성된 근거의 품질을 함께 봐야 합니다.

후보 준비부터 검토 이유의 재사용까지 연결했습니다

문서가 늘어날 때 반복할 청킹과 관계 후보 준비를 Agent의 작업으로 구성했습니다. 코드가 단계와 저장 조건을 관리하고, 사람의 승인이 실제 관계를 확정하며, 검토 이유는 다음 후보 생성의 문맥으로 전달합니다. 남은 검증은 같은 문서의 산출물을 끝까지 대조해 원문 보존과 관계 품질, 사람의 작업 시간이 어떻게 달라지는지 확인하는 일입니다.

구현 근거

확인한 코드 버전은 8f6a074입니다. 구축 단계 · Chunking 지침과 저장 확인 · Embedding 재시도 · Chunk별 후보 생성 · 검토 처리 · Memory 입력 구성 · 외부 task worker