LLM은 놀라운 가능성을 지니고 있지만, 기업에 바로 적용하기 위해서는 오랜 기간 해당 분야를 깊이 연구한 전문가들의 지식과 노하우가 필요합니다. LLM 챗봇을 도입하기 전 기업이 고려해야 할 3가지를 소개합니다.
비즈니스 전환과 인공지능
옛 속담에 ‘구슬이 서 말이라도 꿰어야 보배’라는 말이 있습니다. 아무리 좋은 것이라고 해도 쓸모 있게 만들어야 값어치가 있다는 뜻인데요. 디지털 전환의 가속화로 인해 챗봇과 같은 다양한 엔터프라이즈 AI 전략을 수립하고자 하는 기업들에게도 이 말은 해당됩니다.
자연어로 대화하는 기술, 대화형AI
대화형 AI는 사람과 자연어로 대화를 할 수 있는 인공지능 기술을 말합니다.
이 기술은 텍스트나 음성을 통해 사용자와 직접적으로 소통하며, 사용자의 요구나 질문에 적절한 응답을 생성하는 능력을 가지고 있는데요. 대화형 AI의 대표적인 예로는 챗봇이 있습니다.
챗봇의 진화 과정 그리고 초대형언어모델 LLM
챗봇은 일반적으로 특정 목적을 위해 설계되며, 사용자 서비스, 정보 제공, 특정 작업의 자동화 등 다양한 영역에서 활용되고 있습니다. 초기에는 단순한 규칙 기반 시스템에서 시작해, 자연어 처리 기능을 활용하는 더 진보된 시스템으로 나날이 발전되고 있는데요.
최근에는 대화형 AI 기술이 한 단계 더 발전하여, '초거대언어모델–Large Language Models' (LLM)을 기반으로 하는 챗봇이 등장하였습니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 사람이 하는 말을 이해하고 생성하는 인공지능 모델을 의미합니다. 이런 LLM은 챗GPT / 클로드 등과 같은 챗봇으로 대표되며, 사용자의 질문에 대해 자연스럽고 유연한 응답을 생성하는 능력을 갖추고 있습니다.
LLM 챗봇 도입 전, 기업들이 반드시 고려해야 할 3가지
하지만 기업 입장에서,
LLM 기반 챗봇 도입은 신중할 수 밖에 없습니다.
비록 LLM 은 놀라운 가능성을 지니고 있지만, 이러한 잠재력을 기업에 접목하기 위해서는 오랜 기간 동안 인공지능 분야를 깊이 연구한 전문가들의 지식과 노하우가 필요하고, 이 모든게 응축된 실력 있는 대화형AI 전문 기업을 통해 충분한 상담을 거친 후 도입하는 것이 성공적인 비즈니스 전환의 핵심이기 때문이죠.
이 글에서는 LLM 챗봇 도입을 위해 기업들이 반드시 고려해야 할 3가지 주요 사항에 대해 살펴보겠습니다.
1. LLM 챗봇이 어떻게 우리 비즈니스를 전환시킬 수 있는가?
과거에는 별개로 존재했지만, 기술의 발전으로 인해 산업이 서로 연결되거나 통합되는 흐름이 나타나고 있습니다. 이런 변화는 새로운 비즈니스 모델과 제품, 서비스의 출현을 가능케하며 경제와 사회 전반에 중요한 변화를 가져오고 있는데요.
LLM 챗봇을 통해 데이터를 활용하여 프로세스를 최적화하고, 서비스를 고도화하며, 심지어는 새로운 비즈니스 모델을 창출하면서 산업의 디지털 전환은 빠르게 진행되고 있습니다. 이러한 변화는 미래 산업을 주도하는 핵심 요소로 여겨지며 이에 따라 챗봇을 도입하려는 기업들의 수요가 증가하고 있습니다.
이때 가장 중요한 것은 ‘우리의 구축 전략은 무엇인가?’에 대한 고민입니다.
LLM 챗봇을 도입하고자 하는 기업은 다양한 전략을 가지고 있습니다. 예를 들어, AICC를 운영하고자 하는 기업의 경우, LLM 챗봇을 도입함으로서 기존의 단순 키워드 기반 챗봇에 비해 더욱 자연스러운 고객 응대가 가능해집니다.
그렇다면 과연 LLM 챗봇이 각 분야별–금융, 교육, 마케팅, 공공기관–로 어떻게 혁신을 이룰 수 있을지 간단하게 알아봅니다.
[금융 분야]
As-is 상품 정보나 이벤트 정보의 파편화. 상시 업데이트되는 정보를 파악하기 어려움
To-be 실시간으로 업데이트 되는 상품 정보를 종합적으로 제공해주는 LLM 챗봇을 제공
Outcome 상품 안내 효율 증대, 이벤트 참여율 증가
[교육 분야]
As-is 한정적인 교수/학습 안내와 피드백을 제공하는 AI 튜터
To-be 단계적인 학습 가이드를 제공하는 AI 튜터 챗봇, 외국어를 연습할 수 있는 AI 튜터 챗봇 제공
Outcome AI 튜터로 부터 즉각적이고 상세한 피드백을 받을 수 있는 학습 환경 조성. 교수/학습의 스케일업
[마케팅 분야]
As-is 수동적인 상품 탐색, 마케팅 채널의 한계
To-be LLM 챗봇으로 마케팅 채널을 다각화. 능동적인 상품 탐색과 구매 결정을 도와주는 LLM 챗봇 제공
Outcome 젊은 세대를 타겟팅한 딥테크 활용, 마케팅을 통한 브랜드 경험 개선, 제품 정보 제공의 스케일업
[공공기관]
As-is 전화, 방문 등 공공서비스 정보 제공 기회의 한계. 공무원들의 업무 부담
To-be 공공 서비스 활용 방법, 공공 서비스 정책 등을 24/7 안내주는 챗봇 제공
Outcome 단순 반복 성격의 정보 제공 업무 부담 경감. 공공 서비스 제공의 접근성 확대
이렇게 LLM 챗봇은 기업이나 조직에서의 다양한 작업을 자동화하거나 최적화하는 데 사용되어, 혁신과 생산성 두마리 토끼를 모두 잡고 비즈니스 성과를 향상시키는 데 큰 역할을 수행할 수 있습니다.
2. 기업 데이터를 안전하게 유지할 수 있는가?
기업이 처음 LLM 기반의 챗봇을 도입하려는 경우, 보통 처음부터 자체적으로 구축하기 보다는 외부 솔루션을 사용하고자 합니다. 이때 가장 큰 고민 중 하나가 데이터 보호인데요. 특히 금융권이나 헬스케어 등 데이터 프라이버시와 보안에 만전을 기해야 하는 기업이라면 데이터를 관리하고 통제할 때 더욱 신중해야 합니다.
챗GPT와 같은 LLM을 활용해 챗봇을 구축하게되면, 기업 데이터가 외부 클라우드 기반의 서비스로 넘어가면서 외부 서비스 제공 업체가 데이터를 관리하게 되고, 기업의 데이터 보호 책임이 제 3자로 이동하게 됩니다. 이러한 이유로 고객의 개인정보를 안전하게 보호하면서도 효과적인 서비스를 제공하는 것은 매우 단단한 벽처럼 느껴지곤 합니다.
가령, 사용자가 주민등록번호를 챗봇에 입력하며 등본을 요청하는 등 의 상황이 발생하는 경우, 사용자의 데이터가 부적절하게 처리되거나 제 3자의 클라우드에 저장될 위험이 있어 기업에게 부정적인 영향을 미칠 수 있습니다.
따라서 기업이 LLM 챗봇을 도입하려면, 데이터 보안과 관련된 모든 요소를 신중하게 고려해야 합니다. 특히 민감한 정보가 챗봇을 통해 전송될 가능성이 있는 경우엔 더욱 중요한 포인트인데요. 이러한 문제를 해결하기 위해서는 대화형AI 전문가들을 통해 챗봇을 안전하게 구축하는 자세가 필요합니다.
스켈터랩스 전문가들은 데이터 유출 걱정 없는 LLM 챗봇을 개발하기 위해 ▲민감한 데이터를 식별하고 적절히 처리하는 방법 ▲기업에서 요구하는 데이터 보호를 위한 적절한 암호화 등에 대한 다년간의 연구와 보안 관련 노하우를 축적하여 LLM 기반 챗봇 BELLA QNA 을 개발하였습니다.
(기업 내부 인원이 챗봇 데이터를 관리하고, 서버를 운영하며, 보안 프로토콜을 제어해 데이터가 외부로 노출되지 않도록 기업 시스템에 LLM을 직접 구축하는 온프레미스 방식의 BELLA LLM 은 현재 활발히 개발중에 있습니다.)
LLM 챗봇 도입은 기업의 비즈니스를 전환하고 가치를 증가시킬 수 있는 새로운 도약의 기회입니다. 그러나 이러한 기회를 잘 활용하기 위해서는 보안에 관련된 사항을 철저하게 하고, 전문가의 도움을 받아 챗봇을 안전하게 구축하는 것이 필수적입니다.
3. LLM 챗봇이 과연 비즈니스 특성을 고려해서 답변해줄 수 있는가?
우선 LLM의 정의부터 짚고 넘어가보자면.
챗GPT와 같은 Large Language Model(LLM)은 자연어 처리(NLP)에 사용되는 기술로, 텍스트 데이터를 이해하고 생성하는 데 사용되는데요. 이러한 모델들은 대량의 데이터로 훈련되어 다양한 주제와 맥락에 대해 일반적인 응답을 생성할 수 있습니다.
하지만 공개된 데이터에 기반하여 작동하기 때문에 학습하지 않은 답변을 생성하는 데 어려움이 있고, 특정 비즈니스나 기업이 보유하고 있는 데이터가 자동으로 반영이 되지는 않습니다.
예를 들어, 만약 챗GPT에 '8월 이벤트에 대해 알려주세요'라는 요청을 하면, 특정 회사의 이벤트 정보를 제공하는 것이 아니라, 일반적인 이벤트 계획에 대한 조언을 해주는 등의 다소 관련 없는 답변을 하게 됩니다.
이처럼 LLM은 기본적으로 학습하지 않은 답변을 생성하는 데 어려움이 있기 때문에, 비즈니스 특성을 반영한 답변을 제공하는 것이 어려웠습니다. 그러나, 데이터 조각을 찾아내고 답변 문장을 생성하는 Retrieval-augmented Generation(RAG) 방식이 있으면 이 문제를 해결할 수 있는데요.
RAG 방식은 기업 데이터를 포함한 추가 문서를 학습시켜 ▲주어진 문서에서 질문에 대한 답변으로 가장 유력한 정보가 들어있는 데이터 조각을 찾아내는 스킬과 ▲톤앤매너와 역할, 관점을 담은 ‘답변 문장을 생성’하는 두 가지 작업을 수행하기 때문에 그 정보를 기반으로 비즈니스 특성에 맞는 답변을 생성할 수 있게 합니다.
RAG의 작동 원리는 대략 다음과 같습니다:
예를 들어, "S사 여름 시즌 프로포션 음료를 알려주세요"라는 질문이 제시되었다고 가정해봅시다.
- 데이터 조각 검색: 먼저, RAG는 이 질문과 관련된 "여름", "프로모션", "음료" 와 관련이 높은 데이터 조각을 검색합니다.
- 답변 생성: 관련성 높은 데이터 조각을 찾는데 성공했다면, 이 정답을 담아 서비스가 요구하는 톤앤매너와 역할, 관점을 담은 문장을 생성합니다. 예를 들어, RAG는 "여름 프로모션 음료로는 드래곤후르츠 에이드가 있습니다"라는 답변을 생성할 수 있습니다.
RAG 방식의 질의응답 챗봇은 기업의 정보/지식을 이해한다는 점에서 가장 효과적이고 기업 내부 문서가 자주 업데이트되어도 유연한 대응이 가능하다는 점에서 운영하기에 용이하고 효율적입니다. 하지만 서비스로 구현하기에는 높은 AI 전문성과 사업 노하우 등 이 요구되기 때문에 기업 내부적으로 직접 개발하는 경우 오랜 시간과 비용이 소요될 수 있습니다.
스켈터랩스는 이러한 장벽이 기업들의 챗봇 도입을 방해하는 것을 막기 위해, RAG를 활용한 질의응답 챗봇 BELLA QNA를 출시하였습니다.
스켈터랩스 챗봇에 담겨져있는 철학
최근, 많은 기업들이 LLM을 자체적으로 개발하고 구축하려는 움직임이 보이고 있습니다. 이런 시도는 LLM 기반의 챗봇이 제공할 수 있는 혁신적인 서비스와 높은 가치에 대한 인식 때문일 수 있는데요. 그러나 ML, LLM 모델, 애플리케이션에 대한 노하우가 없이 큰 비용과 시간을 들여 직접 개발하는 것은 위험한 접근일 수도 있습니다. 비즈니스 전환을 위해 LLM을 성공적으로 도입하려면 전문적인 AI 기술기업의 도움이 필수적입니다.
스켈터랩스는 대화형AI, LLM 챗봇 업계 선두주자로서 기업이 가장 원하는 요소를 누구보다 잘 이해하고 있습니다:
- LLM 모델에 기업 데이터를 연동해 질의응답 챗봇을 쉽고 빠르게 구현할 수 있음과 동시에
- 로우 데이터만 제공하면 시나리오 설계 없이 기업에 최적화된 정보를 정확하게 안내할 수 있으며
- 식별되지 않은 웹 데이터가 아닌 검증된 출처를 기반으로 답변을 생성해 거짓 정보를 사실인 것처럼 그럴듯하게 답하는 환각 현상을 최소화하고
- 정보가 변경되거나 추가될 때 도 새로운 정보를 빠르게 제공할 수 있으며
- 그와 동시에 챗봇을 사용함으로써 얻는 효율성이 초기 투자 비용을 상회하길 원한다는 것을.
이러한 이해를 바탕으로 스켈터랩스는 LLM 기반 질의응답 챗봇 BELLA QNA와 과업수행 챗봇 AIQ+ Chat을 개발하였습니다.
스켈터랩스의 챗봇은 이렇게 기업의 필요성을 충족시키고 기업이 가장 원하는 것을 실현하는 데 주력하며 기업들의 무한한 잠재력을 실현하고 산업을 선도하는 데 앞장서고자 합니다.