AI Hub tại chỗ — Trình diễn cho một công ty thẻ lớn tại Hàn Quốc

Bối cảnh

AI Hub tại chỗ là bản trình diễn AI trích dẫn căn cứ, hoạt động trong mạng cách ly của ngành tài chính với 0 lệnh gọi API bên ngoài. Hệ thống trả lời đúng 11/11 câu hỏi chuẩn trên 877 đoạn từ 13 tài liệu điều khoản và văn bản pháp luật thực tế. Chúng tôi xây dựng bản trình diễn tương ứng với 5 dự án trong lộ trình chuyển đổi AI của một công ty thẻ lớn tại Hàn Quốc. Điều kiện tiên quyết là không có lệnh gọi API bên ngoài. Mỗi câu trả lời phải trích dẫn điều khoản làm căn cứ; câu hỏi bị từ chối cũng phải được lưu trong nhật ký kiểm toán.

Vấn đề

Môi trường chặn LLM đám mây khiến việc ứng dụng AI phải bắt đầu từ 0. Bản trình diễn dùng dữ liệu tổng hợp không đủ cơ sở để khẳng định hiệu năng, nên cần sử dụng điều khoản và văn bản pháp luật thực tế.

Công việc đã thực hiện

• Ánh xạ 5 mô-đun (Doc · KB · Chat · Call · Audit) theo tỷ lệ 1:1 với 5 dự án trong lộ trình.
• Xây dựng kho dữ liệu từ 13 tài liệu điều khoản và văn bản pháp luật công khai thực tế.
• Chạy tạo câu trả lời, phân loại và nhận dạng giọng nói hoàn toàn bằng mô hình cục bộ; dùng OFFLINE_MODE để bắt buộc chặn gọi ra ngoài.
• Ghi lại cả câu hỏi bị chặn hoặc từ chối cùng lý do trong nhật ký kiểm toán.
• Chấm điểm việc thực hiện thông báo bắt buộc và sử dụng cách diễn đạt bị cấm trong phân tích cuộc gọi.

Kết quả

Thời gian · Quy mô · Công nghệ

• Thời gian: 2026-08 ~ 2026-09 (trình diễn ngày 2026-09-17)
• Quy mô: 5 mô-đun, một máy trạm (suy luận cục bộ)
• Công nghệ: LLM cục bộ (35B · 3B) · STT cục bộ · tìm kiếm vectơ · dịch vụ thường trú launchd

Ý nghĩa của dự án

AI vẫn hoạt động được trong mạng cách ly. Khi không thể dùng mô hình đám mây, trích dẫn căn cứ và nhật ký kiểm toán trở thành trọng tâm của thiết kế.