스켈터랩스가 기업 고객들에게 지속적인 서비스를 제공하기 위해 마이크로소프트사의 Azure OpenAI 서비스를 개발 과정에서 활용한 방법을 알아봅니다.
스켈터랩스는 금융권, 이커머스, 병의원 등 을 비롯한 다양한 산업에서 LLM 기반 챗봇 솔루션 BELLA QNA, AIQ⁺Chat 을 통해 고객 맞춤형 대화형 AI 서비스를 제공하고 있습니다.
특히, KB국민카드와 같은 금융기관에서는 이미 스켈터랩스의 BELLA QNA 솔루션을 활용해 시시각각 변화하는 이벤트 및 제휴 업체 정보를 실시간으로 업데이트하고 있는데요. BELLA QNA 는 실시간으로 업데이트되는 문서를 벡터 DB에 저장하고, 이를 통해 생성된 AI의 힘을 이용해 정확하고 전문적인 답변을 제공하는 방식으로, 고객의 질문에 대해 실시간으로 최적의 답변을 제공하는 데 특화되어 있습니다.
스켈터랩스가 기업 고객들에게 지속적인 서비스를 제공하기 위해 마이크로소프트사의 Azure OpenAI 서비스* 를 활용하는 것은 필수적이었습니다.
Azure OpenAI 서비스를 통해 여러 국가의 데이터 센터를 통해 더 많은 사용자 요구를 충족할 수 있고, 24시간 서비스 중단 없이 100% 가까운 업타임을 보장할 수 있었습니다. 또한, 답변 제공 과정에 있어 편향과 편견을 최소화하고, 고객에게 최상의 가치를 제공하기 위해 지속적으로 답변 품질을 모니터링하고 평가할 수 있었습니다.
스켈터랩스는 이와 같은 철저한 접근 방식과 혁신적인 기술을 바탕으로, 대화형 AI 솔루션을 기획하고 개발하며 기업의 디지털 전환을 최전방에서 돕고 있습니다.
* GPT-4, GPT-3.5-Turbo 및 Embeddings 모델 시리즈를 포함하여 OpenAI의 강력한 언어 모델에 대한 REST API 액세스를 제공하는 서비스
아래 내용은 2023년 ‘COMEUP Global Startup Festival’ 행사의 Microsoft 섹션에서 변규홍 NLP 테크 리더가 “기업을 위한 LLM 기반 챗봇 BELLA QNA 와 AIQ+ Chat 솔루션 구현 방식 & Azure OpenAI Service의 gpt 활용 방법”을 주제로 발표한 내용의 갈무리 입니다. 이 세션에서 강조된 주요 포인트는 다음과 같습니다:
한국어에 특화된 콘텐츠 필터링 시스템
스켈터랩스의 엔지니어들이 개발 과정에서 중요하게 생각하고 있는 부분은 바로 Fairness, Accountability, Transparency, Trustworthiness 입니다. Azure OpenAI Service에도 핵심 모델과 함께 작동하는 콘텐츠 필터링 시스템이 포함되어 있죠. 콘텐츠 필터링 시스템이 한국어를 잘 지원하기 때문에, 스켈터랩스에서도 이를 적극적으로 활용하여 BELLA QNA 와 AIQ+ Chat 을 개발할 수 있었습니다.
스켈터랩스는 Azure OpenAI가 이러한 부분들을 서비스 계획 단계부터 고려하고 있었다는 점에 대해 긍정적으로 평가했습니다. 이러한 원칙들은 기업용 AI 솔루션을 제공하는 기술 전문 기업에게 매우 중요한 요소이며, 기업 고객들에게 신뢰감을 주고 장기적인 관계를 구축하는 데 도움을 주기 때문입니다.
더 유연하고 높은 분당 토큰 사용량 제공 = 더 나은 처리량과 효율성
Azure OpenAI는 OpenAI에 비해 더 유연하고 높은 분당 토큰 사용량과, 세계 각 지역에서 독립적으로 관리되는 사용량 제한이 있는 Endpoint를 제공합니다. 각 국가별로 별도의 서버가 존재하며, 이 서버들이 지역별로 할당된 토큰 사용량을 관리한다는 것을 의미합니다. 예를 들어, Azure OpenAI는 국가별로 토큰 사용량 제한이 240K(분당 토큰 사용량)인 반면, OpenAI의 전체 서버 사용량 합산 제한은 180K에 불과합니다. 이러한 구조는 대규모 요청 처리에 있어 더욱 효율적이며, 특히 여러 지역에서 고용량 AI 처리가 필요한 기업들에게 유리합니다.
다시 말해, Azure OpenAI의 높은 토큰 제한은 한국어를 비롯한 다양한 언어에 대한 대량의 질의응답 처리를 가능하게 하며, 이는 기업이 효율적으로 글로벌 시장에 대응하고 다국어 지원을 강화할 수 있다는 의미입니다.
예를 들어, Azure OpenAI 서비스를 활용하고 있는 BELLA QNA와 AIQ+ Chat 솔루션은 이러한 장점을 살려 다국어 대응력을 높이고, 실시간으로 업데이트되는 정보에 기반한 정확하고 신속한 고객 응대를 제공하며 사용자 경험을 획기적으로 개선하는데 기여하고 있습니다.
기업 고객들의 요구에 부응하기 위해 더 높은 가용성과 안정성 제공
기업 고객들은 서비스 수준 협약(SLA)을 통해 그들의 서비스가 24시간 연속적으로, 중단 없이 안정적으로 운영되기를 기대합니다. 그러나 OpenAI의 단일 엔드포인트에 의존하는 것은 이러한 요구를 충족시키기에 한계가 있을 수 있습니다. 이에 스켈터랩스는 더 높은 가용성과 안정성을 제공하는 Azure OpenAI를 선택하여 이 문제에 대응했습니다. 추가로, Azure OpenAI에 문제가 생길 경우를 대비하여 OpenAI로의 원활한 전환을 위한 비상 계획을 마련해 두었습니다.
이러한 조치는 급변하는 시장 환경에서도 스켈터랩스의 BELLA QNA 와 AIQ+ 솔루션을 안정적으로 이용할 수 있도록 하는 최소한의 장치이며, 스켈터랩스가 잠재적인 서비스 중단에 신속히 대응할 준비가 되어 있다는 것을 의미합니다.
🎞️ 더 많은 내용 영상으로 확인하기