GraphRAG 품질 평가: RAGAS 프레임워크

프로젝트가 완성됐다면, 이제 "얼마나 잘 동작하는지" 증명해야 합니다.

RAGAS(Retrieval-Augmented Generation Assessment) 프레임워크로 GraphRAG 품질을 체계적으로 평가합니다.

---

왜 배우는가?

RAGAS 4대 메트릭

메트릭	측정 대상	역할
Faithfulness	답변이 검색 컨텍스트에 기반하는가	환각 방지
Answer Relevancy	답변이 질문에 적절한가	답변 품질
Context Precision	검색 결과가 정확한가	검색 품질
Context Recall	필요한 정보가 모두 검색되었는가	검색 커버리지

질문 난이도 3단계

난이도	예시	Vector RAG	GraphRAG	차이
Easy (1-hop)	"삼성전자 CEO는?"	~95%	~93%	-2%
Medium (2-hop)	"삼성 투자 기관은?"	~70%	~90%	+20%
Hard (Multi-hop)	"삼성 투자기관의 다른 투자처?"	~30%	~80%	+50%

GraphRAG의 진가는 Hard 질문에서 발휘됩니다!

Multi-hop 추론 유형

유형	설명	예시
Bridge	A→B→C 순차 탐색	"삼성 투자자 → 투자자의 다른 투자"
Comparison	엔티티 비교	"삼성과 SK하이닉스의 공통 투자자"
Intersection	교집합 탐색	"반도체+AI 모두 관련된 기업"
Composition	복합 관계	"A의 경쟁사의 파트너사의 제품"

---

구현 방법

RAGAS 평가 구현

Vector RAG vs GraphRAG 비교 평가

교차 평가 (Evaluation Bias 방지)

---

자주 하는 실수

자주 하는 실수

1. Hard 질문 누락

2. 자기 평가 편향

3. 기준선(Baseline) 없는 평가