LLM judge는 믿어도 될까: AI 평가를 자동화할 때 생기는 편향과 한계
LLM judge를 AI eval에 사용할 때의 장점과 한계를 설명합니다. 평가 자동화, 편향, 기준표 설계, 사람 평가와 함께 쓰는 방법, 회귀 테스트에서 조심할 점까지 실무 기준과 예시로 차분히 정리합니다. 핵심만 봅니다.
-
-
AI agent memory eval은 어떻게 해야 할까: 기억 기능이 진짜 좋아졌는지 검증하는 기준
AI agent memory eval을 테스트셋, 회귀 테스트, 비용, 실패 사례 기준으로 정리합니다. 기억 기능이 실제로 좋아졌는지 확인하는 방법을 설명합니다.
-
LLM 회귀 테스트는 어떻게 해야 할까: 프롬프트를 고쳤는데 왜 다른 기능이 망가질까
LLM 회귀 테스트를 프롬프트 개선 흐름에 맞춰 설명합니다. golden set, baseline, 실패 유형, 변경 기록을 나눠 작은 수정이 다른 기능을 망가뜨리지 않게 관리하는 기준을 정리합니다.
-
AI eval은 왜 필요할까: 프롬프트가 좋아졌는지 어떻게 검증할까
AI eval이 왜 필요한지, 프롬프트 변경을 감으로 판단하지 않고 테스트셋, 기준, 실패 사례, 반복 개선 흐름으로 검증하는 방법을 정리합니다.
