AI 에이전트 실전 설계 시리즈 (8) – LLM judge와 테스트셋으로 agent eval 만들기
agent eval을 LLM judge, 테스트셋, tool trajectory, grounding, 비용과 복구 기준으로 나눠 설계하는 방법을 설명합니다.
-
-
Reranker는 Vector DB 검색 뒤에 왜 붙일까
Reranker가 Vector DB 검색 뒤에서 어떤 문제를 줄이는지, top-k 검색과 reranking의 역할 차이, 비용과 지연시간 tradeoff를 설명합니다.
-
RAG chunk size는 얼마가 적당할까
RAG chunk size를 문서 구조, 검색 품질, context window, 비용, 평가셋 기준으로 선택하는 방법을 설명합니다.
-
AI 에이전트 실전 설계 시리즈 (7) – 에이전트 실패는 어떻게 로그로 남겨야 할까
AI 에이전트 실패를 재현하려면 최종 답변이 아니라 trace, span, retrieval, tool, memory, guardrail 로그를 나누어 남겨야 합니다.
-
MCP prompt injection과 tool poisoning은 왜 위험할까
MCP prompt injection과 tool poisoning이 왜 위험한지, model-controlled tool 호출, human-in-the-loop, allowlist, audit log 관점으로 정리합니다.
-
RAG context packing이 중요한 이유: 검색한 문서를 그대로 넣으면 왜 답이 흔들릴까
RAG context packing이 왜 중요한지 chunk 정렬, 중복 제거, 근거 우선순위, context budget, reranking 관점으로 설명합니다.
