온프레미스 AI Hub — 국내 대형 카드사 시연

상황

온프레미스 AI Hub 는 금융권 망분리 환경에서 외부 API 호출 0건으로 돌아가는 근거 인용형 AI 시연으로, 실제 약관·법령 13문서 877청크 위에서 골든셋 11/11 을 맞혔습니다. 국내 대형 카드사의 AI Transformation 로드맵 5개 프로젝트에 대응하는 시연을 구축했습니다. 금융권 망분리 환경으로 외부 API 호출이 0인 상태가 전제되었습니다. 답변마다 근거 조문을 인용해야 하며, 거절한 질문도 감사 기록에 남아야 하는 제약이 있었습니다.

문제

클라우드 LLM이 차단된 환경이라 AI 활용이 0에서 시작해야 했습니다. 합성 데이터로 만든 시연은 성능 주장을 할 수 없어 실제 약관과 법령으로 구성해야 했습니다.

우리가 한 것

• 모듈 5개(Doc · KB · Chat · Call · Audit)를 로드맵 5개 프로젝트에 1:1로 대응시켰습니다.
• 코퍼스를 실제 공개 약관·법령 13문서로 구성했습니다.
• 답변 생성·분류·음성인식을 전부 로컬 모델로 돌리고 OFFLINE_MODE로 외부 호출을 강제 차단했습니다.
• 차단·거절된 질문도 사유와 함께 감사 로그에 남기게 했습니다.
• 콜 분석은 필수 고지 이행·금지 표현을 점수화했습니다.

결과

지표	값	비고
코퍼스	실제 약관·법령 13문서 · 877청크
정답률	골든셋 질문 11/11 정답	인용 전부 기대 조문과 일치
응답 속도	6~10초	로컬 35B 모델
외부 API 호출	0건
콜 분석	정상 통화 92·95점, 결함 통화 15점	필수고지 2건 미이행 + 금지표현 2건 검출
감사 기록	11/11	차단 4건도 사유 배지와 함께

기간 · 규모 · 스택

• 기간: 2026-08 ~ 2026-09 (시연 2026-09-17)
• 규모: 모듈 5개, 단일 워크스테이션(로컬 추론)
• 스택: 로컬 LLM(35B · 3B) · 로컬 STT · 벡터 검색 · launchd 상주 서비스

이 사례가 말하는 것

망분리 환경에서도 AI는 돌아갑니다. 다만 클라우드 모델을 못 쓰는 만큼 근거 인용과 감사 기록이 설계의 중심이 됩니다.