GraphRAG 로 환각을 어떻게 막았나 — NOVA 운영기

이 글은 베트남 증권·법률 도메인 GraphRAG 챗봇 NOVA 를 만들며 환각을 구조로 막은 기록입니다. 프롬프트 요령이 아니라 검색·쿼리·검증의 배치 이야기입니다.

문제

사내 규정, 약관, 법령을 정확히 답변해야 하는 챗봇을 구축하는 과정에서 많은 개발자가 좌절을 겪습니다. 사용자의 질문에 대해 그럴듯하지만 사실과 다른 오답, 즉 환각 현상이 빈번하게 발생하기 때문입니다. 이러한 오답은 단순한 실수가 아니라 신뢰를 잃는 일로 이어집니다. 특히 근거를 명확히 제시하지 못하는 답변은 업무 현장에서 사용할 수 없는 수준에 머무릅니다.

왜 어려운가

첫째, 대규모 언어 모델은 문서를 기억하는 것이 아니라 확률적으로 그럴듯한 다음 단어를 생성하는 구조입니다. 따라서 실제 근거 데이터가 없어도 문법적으로 완벽한 답변을 만들어냅니다. 둘째, 법령과 약관은 조문 간에 복잡한 참조 관계를 형성하고 있습니다. 벡터 검색만으로는 특정 조항이 참조하는 시행령이나 하위 법령까지 정확하게 추적하여 연결하기 어렵습니다. 셋째, LLM에게 직접 데이터베이스 쿼리 언어인 Cypher를 생성하게 하면 보안 취약점과 비용 증가, 그리고 쿼리 정확도 저하라는 세 가지 위험이 동시에 발생합니다.

우리가 한 것

가장 먼저 Neo4j 지식 그래프와 벡터 검색, 그리고 Claude API를 결합한 GraphRAG 구조를 채택했습니다. 문서를 관계 중심의 그래프와 의미 중심의 벡터라는 두 가지 축으로 색인하여 검색의 정밀도를 높였습니다.

쿼리 생성 과정에서는 LLM의 의존도를 최소화하기 위해 3단계 전략을 도입했습니다. 전체 쿼리의 80%는 템플릿 매칭으로 처리하고, 15%는 파라미터 DSL을 사용하며, 나머지 5%만 LLM의 Text2Cypher 기능을 활용했습니다. 이를 통해 LLM이 직접 쿼리를 작성하는 비율을 5% 이하로 엄격하게 제한했습니다.

답변의 신뢰성을 확보하기 위해 모든 답변에 대해 근거 점수(grounding score)를 계산하는 로직을 적용했습니다. 근거 점수가 일정 기준 미만일 경우 답변을 제공하지 않거나 사용자에게 추가 확인을 요청하도록 설계했습니다. 또한 투자 추천과 같은 민감한 영역은 의도 분류, 키워드 필터링, 출력 필터링의 3단계 차단 시스템을 통해 규제 준수 여부를 철저히 관리했습니다.

도메인 로직은 인텐트, 템플릿, 프롬프트, 가드레일, 온톨로지 등을 YAML 도메인 패키지로 외부화했습니다. 이를 통해 코드 수정 없이 다른 산업 분야로 시스템을 쉽게 교체할 수 있는 유연성을 확보했습니다. 금융 도메인의 경우 FinQA, FIBO, FinDKG를 결합한 17노드 21관계의 금융 온톨로지를 구축했습니다. 실시간 시세 데이터는 그래프의 성능 저하를 방지하기 위해 그래프에 저장하지 않고 Redis 캐시를 통해 10초 TTL로 관리했습니다.

숫자로 보면

지표	값	비고
법령 문서 노드	4,781건	Neo4j LegalDocument
법령 임베딩	20,094건	multilingual-e5-large, 약 174분
Text2Cypher 의존도	5% 이하	LLM 직접 쿼리 생성 비율
유닛 테스트	122/122 통과	전체 테스트 케이스
워크벤치 API	32개 엔드포인트	온톨로지·파이프라인·메트릭·피드백
벡터 검색 대상	119건	SSV FAQ

이 글이 말하는 것

환각 문제는 프롬프트 엔지니어링만으로 해결할 수 없으며, 시스템 구조 자체로 통제해야 합니다. LLM은 검색과 조립 과정의 마지막 5%만 담당하도록 역할을 제한하는 것이 핵심입니다. 독자는 내일 챗봇 답변 10개를 무작위로 추출하여, 각 답변에 실제 근거 문서가 붙일 수 있는지를 표로 작성해 보시기 바랍니다. 근거를 붙일 수 없는 답변은 곧 환각의 후보이므로, 이를 통해 현재 시스템의 취약점을 즉시 파악할 수 있습니다.

더 읽기

CoreCode 는 호치민에 법인을 둔 한국 개발팀입니다. 기업용 AI · 베트남 진출 기업의 웹·앱 · 토스 앱인토스 미니앱을 만들며, 데모가 아니라 운영되는 것을 납품합니다. 지금 상태를 알려 주시면 30분 상담에서 수치로 정리해 드립니다 — 30분 상담 신청.