모델 응답을 비교 가능한 평가 루프로 바꾸는 과정

모델 품질은 한 번의 데모에서 판단하기 어렵습니다. 문장이 자연스러운지뿐 아니라, 같은 상황에서 더 일관된 결과를 내는지, 사용자의 의도에 맞는지, 도구를 정확하게 호출하는지처럼 여러 신호가 필요합니다.

비교 가능한 입력을 두고 응답을 나란히 보면 결과 자체를 판단할 수 있습니다. 여기에 사용자의 선호와 실행 과정의 trace를 더하면, 왜 한 응답이 선택됐는지와 다음 개선이 어디에서 시작돼야 하는지를 함께 볼 수 있습니다.

비용, latency, 응답 품질, tool-call 성공률은 서로 다른 방향으로 움직일 수 있습니다. 그래서 특정 모델의 우열을 선언하기보다, 제품의 현재 목적에 맞는 선택 기준을 남기는 것이 더 중요합니다.