LLM judge는 믿어도 될까: AI 평가를 자동화할 때 생기는 편향과 한계
LLM judge를 AI eval에 사용할 때의 장점과 한계를 설명합니다. 평가 자동화, 편향, 기준표 설계, 사람 평가와 함께 쓰는 방법, 회귀 테스트에서 조심할 점까지 실무 기준과 예시로 차분히 정리합니다. 핵심만 봅니다.
LLM judge를 AI eval에 사용할 때의 장점과 한계를 설명합니다. 평가 자동화, 편향, 기준표 설계, 사람 평가와 함께 쓰는 방법, 회귀 테스트에서 조심할 점까지 실무 기준과 예시로 차분히 정리합니다. 핵심만 봅니다.
AI agent memory eval을 테스트셋, 회귀 테스트, 비용, 실패 사례 기준으로 정리합니다. 기억 기능이 실제로 좋아졌는지 확인하는 방법을 설명합니다.