.svg)
알라미 다운받기
시작하며: PoC 성공 ≠ 실전 성공
데모 환경에서는 놀라운 성능을 보여주던 AI 솔루션들이 실제 현장에서는 생각보다 복잡한 현실과 마주하고 있습니다.
지난 6월 25일, 커니코리아가 주관한 'AI in Action' 포럼에서 스켈터랩스의 변규홍 CAIO는 “생성형 AI가 실질적인 성과를 내려면, 겉으로 보이는 기술적 성능뿐 아니라 조직 안팎에 숨어있는 병목 지점들도 함께 봐야 한다”고 강조하기도 했는데요.
이번 아티클에서는 PoC를 넘어, 실제로 생성형 AI를 ‘업무에 쓰이게 만드는’ 과정에서 기업들이 마주하는 네 가지 핵심 과제를 소개합니다.
아울러, 생성형 AI 도입을 앞둔 실무진이 반드시 준비해야 할 요소들을 체크리스트 형태로 정리해 공유합니다.
첫 번째 현실의 벽 : "과연 모두가 동시에 접속할 수 있을까?"
가장 먼저 마주하는 현실의 벽은 바로 ‘인프라’입니다.
PoC(Proof of Concept) 단계에서 LLM 기반 서비스는 대부분 기대 이상의 성능을 보여줍니다. 질문에 즉시 응답하고, 답변의 정확도도 준수하죠.
하지만 이는 매우 제한적인 환경에서 관찰된 결과일 수 있는데요. 사실 소수의 사용자만 접근하고, 동시에 들어오는 요청이 적은 상태에서는 어떤 시스템도 비교적 안정적으로 돌아갈 수 있습니다.
실제 운영 환경은 완전히 다릅니다.
수십에서 수백 명의 직원이 동시에 접속하고, 피크 타임에는 수많은 요청이 몰립니다. 과연 이런 경우에도 모델이 동일한 속도와 정확도를 유지할 수 있을까요? 대부분의 기업은 이 단계에서 성능 저하와 지연, 불안정한 응답 등을 처음으로 마주하게 됩니다.
이런 현상은 단순한 하드웨어 스펙 부족으로 치부할 수 없습니다.
본과제에서 갑작스럽게 응답 속도가 느려지고, 정확도가 흔들리는 이유는 PoC에서와 달리 동시 처리량이 급격히 증가했기 때문입니다. 클라우드든 온프렘이든, PoC 환경은 ‘동시 접속자 수가 거의 없는 상태’였기 때문에 안정적으로 보였던 것이죠.
다시 말해, ‘클라우드 기반이라서 잘 됐다’가 아니라, ‘동시 사용자가 적었기 때문에 문제가 보이지 않았다’는 게 핵심일 수 있습니다.
게다가 실제로는, 리소스를 늘리고 싶어도 쉽지 않습니다.
GPU를 추가 구매하는 것은 현실적으로 불가능에 가깝죠. 가격 문제도 있지만, 수급 자체가 안 되는 경우가 많습니다. 클라우드 환경이라고 해서 사정이 다르지도 않습니다. 주요 CSP(Cloud Service Provider)에서 GPU를 아예 할당해주지 않는 경우도 있고, 할당된다고 하더라도 피크 시간대 수요를 모두 커버할 만큼의 리소스를 확보하면 비효율적 자원 낭비가 발생할 수밖에 없습니다.
가령 오전 9시~11시에만 트래픽이 몰리고 오후엔 리소스가 놀게 된다면, 단가 부담이 비약적으로 증가할 수 있습니다.
그래서 PoC 이후에는 반드시 실제 환경과 비슷한 조건에서 실사용 시뮬레이션 테스트를 해봐야 합니다.
단순히 사용자 수만 늘려보는 게 아니라, 실제 업무 패턴을 반영한 시나리오로 검증해야 합니다.
이 과정을 통해 LLM이 본과제에서 병목 없이 안정적으로 동작하려면 어떤 조건이 필요한지 파악할 수 있고, 동시에 시스템 설계 방향도 구체화할 수 있습니다.
두 번째 현실의 벽 : "RAG만으로는 부족합니다"
두 번째로 중요한 건 '데이터 구조화' 문제입니다.
요즘 많은 기업들이 RAG(검색 증강 생성)를 써서 AI의 허위 정보 생성 문제를 줄이려고 하는데요. RAG는 분명히 LLM의 환각(hallucination) 문제를 완화하는 효과적인 방법이지만, 단순히 검색 결과를 AI에게 던져주는 것만으로는 정확도를 보장할 수 없습니다.
그러니까, 사람도 헷갈릴 만한 애매한 정보나 서로 다른 내용, 맥락이 빠진 조각 정보를 AI에게 그대로 주면, AI는 그럴듯하지만 틀린 답변을 만들어낼 가능성이 높습니다. 특히 기업 환경에서는 부정확한 정보가 의사결정에 직접적인 영향을 미칠 수 있어 이런 위험성이 더욱 큽니다.
AI에게 정확하게 이해시키려면, 사람용 데이터가 아니라 AI용 데이터를 줘야 합니다.
단순히 형식만 맞추는 게 아니라, AI가 언어를 이해하는 방식에 맞게 정보를 다시 정리해야 한다는 뜻입니다.
이런 데이터 정리 작업은 한 번 하고 끝나는 게 아닙니다.
새 정보가 들어올 때마다 기존 정보와 일관성을 확인하고, 서로 다른 정보가 있으면 명확한 우선순위와 해결 방법을 정해야 합니다. 또한 정보의 신뢰도와 최신성을 지속적으로 모니터링하고 업데이트하는 프로세스도 필요합니다.
세 번째 현실의 벽 : "AI도 신입사원처럼 교육이 필요해요"
세 번째는 바로 ‘멘탈 모델 이식’입니다.
AI가 데이터를 단순히 외우는 것을 넘어서, 우리 조직 사람들의 사고방식과 판단 기준을 반영할 수 있어야 한다는 의미입니다.
기존 머신러닝에서는 정답이 명확한 데이터로 모델을 학습시켰지만, 실제 업무 현장은 훨씬 복잡합니다. 같은 상황에서도 기업의 우선순위, 리스크 감수 성향, 조직문화에 따라 판단이 달라지죠.
이러한 차이가 바로 조직 고유의 ‘멘탈 모델’을 형성합니다.
이 문제를 해결하기 위해 최근에는 LLM이 인간의 판단 기준을 모방할 수 있도록 만드는 학습 기법들이 주목받고 있습니다.
대표적으로는 인간 피드백 기반 강화학습(RLHF)과 DPO(Direct Preference Optimization)가 사용됩니다.
- RLHF는 인간 평가자가 LLM의 응답에 대해 어떤 것이 더 나은지 선호도를 표시하면, 이 데이터를 기반으로 모델을 학습시키고, LLM이 더 바람직한 응답을 생성하도록 유도하는 방식입니다.
- DPO는 RLHF와 유사한 결과를 보다 효율적이고 안정적으로 달성하기 위해 제안된 방식으로, 인간이 선호하는 응답과 그렇지 않은 응답 쌍을 이용해 모델을 직접 최적화합니다.
이런 기술을 실제 업무에 적용하려면, 먼저 우리 조직만의 평가 기준을 명문화하고 체계화하는 것이 중요합니다.
예를 들어, 고객 응대 시 '정확성'과 '친근함' 사이에서 어떤 균형을 선호하는지, 위기 대응 상황에서는 '신중함'과 '공격적 대응' 중 어느 쪽을 택하는지를 정의해야 합니다.
또한 멘탈 모델은 고정된 것이 아니라, 조직의 전략 변화나 시장 환경 변화에 따라 진화해야 합니다.
이에 맞춰 AI의 판단 기준도 계속 업데이트될 수 있도록, 지속적인 성과 모니터링, 피드백 루프, 투명한 개입 가능성을 갖춘 운영 체계를 마련하는 것이 필요합니다.
네 번째 현실의 벽 : "시스템 연동은 어떻게?"
마지막으로, 'AI와 기업 시스템 연결'입니다.
AI가 진정한 생산성 도구가 되려면 단순한 답변 생성에 그치지 않고 실제 업무 시스템과 연동되어야 실질적인 효용이 생깁니다.
지금 대부분의 생성형 AI 활용은 정보 검색이나 문서 작성 도움 수준에 머물러 있습니다. 하지만 AI의 진짜 가치는 ERP, CRM, 그룹웨어 같은 기업 핵심 업무 시스템과 유기적으로 연결되어 복잡한 업무 과정을 자동화하거나 지원할 때 나타납니다.
예를 들어 단순히 "매출 현황이 어때요?"라는 질문에 답하는 걸 넘어서서, "지난 분기 매출 실적을 분석해서 다음 분기 목표를 세우고, 관련 부서에 자동으로 알림을 보내고, 필요한 리소스 배정을 위한 승인 요청을 상급자에게 전달"하는 일련의 업무 흐름을 AI가 스스로 처리할 수 있어야 한다는 거죠.
이를 위해 최근 주목받는 접근 방식 중 하나가 MCP(Model Context Protocol)입니다.
MCP는 기존의 API나 RPA처럼 '사전에 정해진 프로세스를 코드로 연결하는 방식'과는 작동 원리가 다릅니다.
하지만 이들이 반드시 대조되거나 모순되는 개념은 아닙니다.
실제로 MCP는 API나 기존 시스템 인터페이스를 활용하여, AI가 자연어 명령을 해석하고 적절한 기능을 ‘선택’하여 실행할 수 있도록 하는 메타 프로토콜에 가깝습니다.
즉, 기존에는 가능한 업무 시나리오를 사람이 미리 정의해야 했다면, MCP는 AI가 목적을 이해한 후 스스로 필요한 기능을 조합하여 업무를 수행할 수 있도록 하는 구조입니다. 이로 인해 시스템 통합의 유연성과 확장성이 크게 향상되는 것입니다.
기존에는 가능한 모든 시나리오를 미리 예측해서 프로그래밍해야 했지만, MCP 방식에서는 AI가 자연어로 표현된 업무 요청을 이해하고 이를 달성하기 위해 필요한 시스템 기능들을 스스로 조합해서 실행할 수 있게 된 것입니다.
이런 고도의 자동화를 실현하려면 몇 가지 고려사항들이 있는데요:
- 보안과 권한 관리: AI가 기업 시스템에 광범위하게 접근할 수 있다는 것은 동시에 보안 위험도 증가시킵니다. 따라서 AI의 권한을 적절히 제한하고, 중요한 작업에 대해서는 인간의 승인을 받도록 하는 등의 안전장치가 필요합니다.
- 투명성과 추적가능성: AI가 수행한 작업들이 모두 로그로 기록되고, 필요시 그 과정을 추적할 수 있어야 합니다. 특히 문제가 발생했을 때 원인을 파악하고 책임 소재를 명확히 할 수 있는 체계가 중요합니다.
- 오류 처리와 복구: AI가 실수를 했을 때 이를 빠르게 감지하고 복구할 수 있는 메커니즘이 필요합니다. 또한 중요한 업무의 경우 AI의 판단을 인간이 검토할 수 있는 체크포인트를 두는 것도 고려해야 합니다.
- 점진적 도입 전략: 한 번에 모든 시스템을 연동하는 것보다는, 위험도가 낮은 업무부터 시작해서 점진적으로 확대해 나가는 것이 현실적입니다.
마무리하며
생성형 AI의 기업 도입은 이제 초기 단계를 넘어, ‘실제 업무에 어떻게 적용할 것인가’라는 보다 복합적인 과제와 마주하고 있습니다.
앞으로는 AI 기술 자체의 발전만큼이나, 이를 조직 환경에 효과적으로 녹여내는 방법론과 베스트 프랙티스가 기업 경쟁력을 좌우할 것입니다.
특히, “AI를 실제 업무에 ‘쓸 수 있게’ 만드는 역량이 기업의 핵심 경쟁력이 될 것”이라는 전망은, 단순히 기술을 도입하는 수준을 넘어 AI를 조직의 고유 역량으로 내재화하는 것이 중요하다는 점을 시사합니다.
물론, 모든 조직이 동일한 출발선에 서 있는 것은 아닙니다.
어떤 곳은 인프라 셋업부터 시작해야 하고, 또 어떤 곳은 이미 기술은 갖췄지만 내부 판단 기준이나 조직 문화로 인해 성능이 제한되는 경우도 많습니다.
따라서 생성형 AI 도입 전략을 수립할 때는 기술적 요소만 나열하기보다, 우리 조직의 현재 위치, 목표, 제약 요인을 입체적으로 진단하고, 그에 따라 우선순위를 설정하는 작업이 선행되어야 합니다.
이때 외부 전문가와 함께 현실 조건을 진단하고 실행 계획을 구체화하는 것도 효과적인 접근이 될 수 있습니다.
실제로 많은 기업이 ‘AI 모델을 고르는 일’보다, 조직과 기술을 연결하는 구조를 설계하는 단계에서 가장 많은 시행착오를 겪고 있기 때문입니다.
아래는 실제 도입을 고민 중인 기업 실무진이 꼭 짚어봐야 할 핵심 체크포인트들입니다. 우리 조직에 AI가 정말 ‘일할 준비’가 되어 있는지, 각 단계별로 점검해보세요 :)
References
변규홍 CAIO
