휴리스틱 규칙과 Naive Bayes로 이메일 필터를 설계하며 배운 것

첫 사내 프로젝트에서 다룬 이메일 필터는 정답률만으로 끝나는 문제가 아니었습니다. 사용자가 왜 분류됐는지 이해할 수 있어야 하고, 중요한 이메일을 놓치거나 정상 이메일을 막는 비용도 함께 다뤄야 했습니다.

규칙은 발신자, 제목, 링크, 특정 표현처럼 사람이 설명할 수 있는 신호를 빠르게 드러내는 데 썼습니다. 그 위에 간단한 Naive Bayes 분류기를 더해 한 가지 규칙으로는 포착하기 어려운 패턴을 확률 신호로 함께 보려 했습니다.

false positive는 정상 업무 메일을 막을 수 있고, false negative는 원치 않는 메일을 통과시킬 수 있습니다. 따라서 precision과 recall을 함께 보고, 각 오류를 사람이 다시 검토할 수 있는 흐름을 남기는 것이 중요했습니다.

이 작업은 이후 에이전트의 도구 호출에도 같은 기준을 적용하게 했습니다. 시스템이 판단한 이유를 남기고, 위험한 다음 행동에는 확인 지점을 둬야 한다는 기준입니다.