폐쇄망에서 돌아가는 AI — 온프레미스 도입 체크포인트

이 글은 망분리 환경을 전제로 만든 온프레미스 AI Hub(국내 대형 카드사 시연) 의 설계와, 로컬이라서 겪은 함정을 정리한 것입니다. 고객사 명칭은 밝히지 않습니다.

문제

금융권이나 공공기관처럼 망분리가 엄격하게 적용된 환경에서는 클라우드 기반 LLM 서비스를 활용할 수 없습니다. 외부 API 접근이 원천 차단되어 있어 AI 도입 시도가 초기 단계에서 좌절되는 경우가 빈번합니다. 이러한 제약 조건 속에서 내부 자원으로만 AI 기능을 구현해야 하는 실무적 고민이 이 글의 출발점입니다.

왜 어려운가

외부 API를 사용할 수 없으므로 언어 모델, 임베딩, 음성 인식 등 모든 구성 요소를 내부 인프라에서 직접 구동해야 합니다. 이는 단순한 기술적 난이도를 넘어 시스템 아키텍처의 근본적인 변화를 요구합니다. 또한 합성 데이터로 만든 시연은 실제 업무 환경에서의 신뢰성을 담보할 수 없으므로, 실제 약관과 법령으로 검증된 성능이 필수적입니다.

감사 관점에서는 단순히 답변을 생성하는 것보다 어떤 질문이 거절되었고 그 이유가 무엇인지를 명확히 기록하는 것이 더 중요합니다. 규제 준수와 투명성을 위해 거절 로그의 정합성이 핵심 과제로 부상합니다. 이러한 요구사항들은 클라우드 환경에서의 개발 방식과는 전혀 다른 설계 철학을 필요로 합니다.

우리가 한 것

국내 대형 카드사 시연을 위해 문서 처리, 지식 베이스, 어시스턴트, 콜 분석, 감사 모듈로 구성된 AI Hub를 구축했습니다. 이는 고객의 5개 프로젝트 로드맵과 1:1로 대응하도록 설계되었습니다. 코퍼스는 개인회원 약관부터 신용정보법, 채권추심법 등 실제 공개된 13개 법령 및 약관 문서로 구성하여 현실성을 확보했습니다.

답변 생성에는 로컬 35B 모델을, 분류에는 3B 모델을, 음성 인식에는 로컬 STT를 사용했습니다. OFFLINE_MODE 설정을 통해 코드 레벨에서 외부 호출을 강제 차단하여 보안 규정을 준수했습니다. 골든셋 질문 11개를 통해 정답률과 인용 조문의 일치 여부를 측정하는 검증 체계를 마련했습니다.

차단되거나 거절된 질문은 사유 배지와 함께 감사 로그에 기록되도록 설계했습니다. 콜 분석 기능은 필수 고지 이행 여부와 금지 표현 사용을 점수화하여 리스크를 관리합니다. 이러한 결정들은 망분리 환경에서의 AI 운영 가능성을 입증하기 위한 필수적인 단계였습니다.

경험적 함정으로는 레이트리미터가 역할 헤더를 인식하지 못해 모든 요청을 게스트로 취급하여 429 오류가 발생한 사례가 있습니다. 입력 검증 및 차단 경로에서 로그 없이 조기 반환되어 거절 기록이 누락된 문제도 있었습니다. 응답 캐시 TTL 설정으로 인해 재측정 시 성능 착각이 발생할 수 있으며, 통합 메모리 장비의 자원 경합으로 추론 속도가 급격히 저하되는 현상도 확인했습니다.

숫자로 보면

지표	값	비고
코퍼스 규모	13문서 / 877청크	실제 공개 약관 및 법령 기반
골든셋 정답률	11/11	인용 조문 일치 포함
응답 시간	6~10초	로컬 35B 모델 기준
외부 API 호출	0건	OFFLINE_MODE 강제 차단
콜 분석 점수	정상 92·95점 / 결함 15점	필수 고지 및 금지 표현 평가
감사 기록	11/11	차단된 4건 포함

이 글이 말하는 것

망분리 환경에서도 AI는 충분히 작동할 수 있습니다. 다만 클라우드 모델을 사용할 수 없는 만큼, 근거 인용의 정확성, 거절 기록의 투명성, 그리고 재측정 시의 규율성이 설계의 중심에 서야 합니다. 도입 전 체크포인트로 실제 문서 기반 골든셋 10개 작성, 외부 호출 코드 강제 차단, 거절 기록 활성화, 캐시 비움 후 재측정, 장비 공유 여부 확인을 반드시 수행해야 합니다.

더 읽기

CoreCode 는 호치민에 법인을 둔 한국 개발팀입니다. 기업용 AI · 베트남 진출 기업의 웹·앱 · 토스 앱인토스 미니앱을 만들며, 데모가 아니라 운영되는 것을 납품합니다. 지금 상태를 알려 주시면 30분 상담에서 수치로 정리해 드립니다 — 30분 상담 신청.