온톨로지와 소형언어모델로 고효율 AI 챗봇 구축하기

금융 고객 상담의 복잡성 증가

신한카드는 수백만 고객에게 종합 금융 서비스를 제공하는 대한민국 대표 신용카드사로, 멀티턴 대화와 갑작스러운 토픽 전환 등 고도화된 AI 챗봇 상담 서비스의 필요성이 높아졌습니다.

기존 방식의 기술적 한계

• 인텐트 분류 정확도 부족: 51개의 세분화된 상담 카테고리를 프롬프트에 모두 포함하는 방식으로 토큰 소모가 크고, sLLM 환경에서 유사 인텐트 간 미세한 차이를 식별하지 못함
• 복잡한 워크플로우 처리 어려움: 단순·모호·복합 등 다양한 쿼리 유형에 대해 동적으로 대응하는 중앙집중형 오케스트레이터를 sLLM으로 구현하기 어려움
• 수동 시스템 업데이트: 멀티턴 대화 테스트 및 챗봇 로직 개선에 엔지니어의 수동 개입이 필수적으로 요구됨

현실적 운영 제약

• 규제 요건: 혁신금융서비스 제도에 따라 고객 데이터를 다루는 AI 시스템에 상용 대형 모델 활용 시 규제 당국의 별도 승인 절차 필요
• 비용 및 응답속도: 대형 모델 대비 비용 효율적인 솔루션과 요청당 5초 이내 응답 시간 확보가 필수