금융 데일리 브리프 에이전트

문제

"신문과 데이터를 매일 분석해 메일로 보내는 에이전트를 만들어보라"는 과제에서 출발했습니다.

이런 걸 만들 때 가장 흔한 실패는 기사 요약본을 그대로 붙여 보내는 것입니다. 읽는 사람 입장에서는 어차피 다 훑어야 하니 시간이 절약되지 않습니다. 그리고 더 위험한 문제가 있습니다 — LLM이 존재하지 않는 기사 URL을 지어내거나, 매일 다른 형식으로 답해서 파이프라인이 깨지는 것입니다.

접근

수집 · 분석 · 렌더 · 발송을 완전히 분리해 각 단계를 독립적으로 교체할 수 있게 만들었습니다.

환각을 구조로 막기

프롬프트로 "지어내지 마세요"라고 부탁하는 대신, 애초에 지어낼 수 없는 구조를 만들었습니다.

스키마 강제. Anthropic SDK의 structured output으로 Pydantic 모델을 API 레벨에서 강제합니다. 형식이 어긋나면 모델이 다시 시도하므로, 파싱 실패로 파이프라인이 죽는 경우가 없습니다.
라벨을 Enum으로. 카테고리와 센티먼트를 Enum으로 정의해 모델이 새 라벨을 발명할 수 없게 했습니다. "긍정적"과 "긍정"이 섞여 들어오는 것만 막아도 후처리가 크게 줄어듭니다.
출처 그라운딩. URL을 직접 쓰게 하지 않고, 수집 단계에서 붙인 짧은 ID(n3)만 반환하게 합니다. 코드가 그 ID를 실제 URL로 되돌립니다. URL 환각이 원천적으로 불가능해지고 토큰도 절약됩니다.
폴백. 그래도 분석이 실패하면 수집 결과만으로 축약본을 만들어 발송합니다. 메일이 안 오는 것보다는 낫습니다.

읽는 사람 기준으로 만들기

시장 지표를 절대값이 아니라 전일·1개월·3개월 변화폭으로 보여줍니다. 금리가 3.5%라는 사실보다 어제보다 몇 bp 움직였는지가 판단에 쓰이기 때문입니다. 뉴스 피드도 부동산 PF·리츠·디벨로퍼, 사모펀드·인수금융처럼 실제로 보는 영역에 맞춰 구성했습니다.

결과

매일 07:00무인 자동 실행 (스케줄러)

~36건중복 제거 후 분석 대상 뉴스

0건지금까지 발생한 URL 환각

Windows 작업 스케줄러로 매일 아침 돌고, 실행 로그가 남습니다. 컨테이너 이미지도 만들어 두어 클라우드 스케줄러로 옮길 수 있게 했습니다. 지금도 매일 메일이 옵니다.

돌아보며

LLM에게 무엇을 시키지 않을지 정하는 게 설계의 절반이었습니다. 수집·정렬·중복제거·URL 매핑·발송은 전부 코드가 합니다. 모델은 "이 뉴스가 어떤 카테고리이고 시장에 어떤 영향인가"라는, 코드로 쓸 수 없는 판단만 담당합니다. 이 경계를 지키니 결과가 안정적으로 재현됐습니다.

같은 원칙을 이어서 PF 대출 스크리닝 에이전트와 회의록 에이전트에도 적용했습니다.