Q1. 이번에 소개하는 AI 솔루션은 어떤 제품입니까?
본 솔루션은 기업 내부망에서 구동되는 로컬 온프레미스 기반 AI 시스템입니다. 외부 클라우드 API에 민감한 데이터를 보내지 않고도 사내 문서와 전문 지식을 기반으로 질의응답, 문서검색, OCR, 음성 입출력, 업무 자동화 기능을 제공합니다. 단순 챗봇이 아니라 기업 내부 지식과 업무 시스템을 연결하는 AI 인프라에 가깝습니다.
로컬 온프레미스 기반 AI 솔루션의 기술적 특징, 도입 효과, 보안성과 시장 전략을 인터뷰 형식으로 소개합니다.
본 솔루션은 기업 내부망에서 구동되는 로컬 온프레미스 기반 AI 시스템입니다. 외부 클라우드 API에 민감한 데이터를 보내지 않고도 사내 문서와 전문 지식을 기반으로 질의응답, 문서검색, OCR, 음성 입출력, 업무 자동화 기능을 제공합니다. 단순 챗봇이 아니라 기업 내부 지식과 업무 시스템을 연결하는 AI 인프라에 가깝습니다.
가장 큰 차이는 보안성과 통제성, 그리고 OpenAPI를 사용하지 않는다는 점입니다. 일반 클라우드 AI는 편리하지만 기업 내부자료나 고객 개인정보를 외부 서버로 전송해야 하는 부담이 있습니다. 반면 본 솔루션은 기업 내부 서버에서 동작하도록 설계되어 폐쇄망 환경에서도 운영할 수 있습니다. 또한 기업이 보유한 문서, 규정, 매뉴얼, 가이드라인만을 근거로 답변하도록 설계할 수 있어 답변의 출처와 책임 범위를 관리하기 쉽습니다.
핵심 경쟁력은 고도화된 RAG 검색 구조와 Reranking 기술, OCR 및 음성 입출력 파이프라인입니다. 문서를 잘게 나누고 메타데이터를 붙여 검색 정확도를 높이며, 검색된 결과를 다시 재정렬해 답변 품질을 개선합니다. 여기에 메시지 큐 방식을 도입하여 다수의 요청에 능동적으로 대응하고, 갑작스러운 정전 상황에서도 사용자의 자료를 최대한 보존할 수 있도록 설계했습니다.
생성형 AI의 가장 큰 문제 중 하나가 환각 현상입니다. 자료를 구조적으로 쪼개어 적재하면 환각 증상이 줄어드는 것은 사실이지만, 이는 또 하나의 수작업이 될 수 있습니다. 저희 솔루션의 RAG 검색 기능은 마크다운 문서가 아니더라도 문서 근거로 검색된 결과를 다시 Reranking 알고리즘으로 정렬하여 실제 관련성이 높은 문서만 답변에 반영하도록 설계했습니다. 최종적으로 질문 결과의 유사율을 표시하여 사용자가 답변 정확도를 스스로 판단할 수 있도록 합니다.
우선적으로 기업이 보유한 자료의 리스크 때문에 외부 인터넷이 완전히 차단된 산업에 적합합니다. 병원의 진료기록, 의무기록, 처방 가이드, 제조업의 장비 매뉴얼 기반 고장 진단, 금융사의 내부 규정 검색, 공공기관의 고시 및 지침 질의응답 등에 활용할 수 있습니다. 핵심은 무엇이든 답하는 AI가 아니라 특정 조직과 도메인에 최적화된 전문 AI를 만드는 것입니다.
첫 번째 효과는 내부 지식 활용 속도 향상과 반복 업무 감소입니다. 직원이 수많은 PDF, HWP, 매뉴얼, 규정집을 직접 검색하지 않아도 AI가 근거 문서를 찾아 답변할 수 있습니다. 문서 작성, 보고서 초안 생성, 고객 응대, 장비 매뉴얼 검색, 규정 확인 같은 업무도 자동화할 수 있어 인건비 절감, 업무 속도 향상, 지식 접근성 개선, 보안 리스크 감소 효과를 기대할 수 있습니다.
두 번째 효과는 내부 문서만 사용하려는 기업의 경우 인터넷이나 OpenAPI 없이도 운영할 수 있고, 서버 구성에 필요한 주요 요소를 오픈소스로 구성하여 소프트웨어 구매 및 유지보수 비용 부담을 줄일 수 있다는 점입니다.
향후 방향은 단순 검색형 AI를 넘어 업무 수행형 AI로 발전시키는 것입니다. RAG가 찾은 근거를 바탕으로 기업 표준 보고서, 정부 제출 문서, 계약 검토서, 진료 보조 문서 등을 자동 작성하는 기능을 추가할 수 있습니다. 또한 이미지 생성과 데이터 시각화를 결합하면 의료 차트, 금융 통계, 법률 쟁점 등을 더 직관적으로 표현할 수 있습니다. 궁극적으로는 기업 내부에서 직원 한 명의 반복 업무를 상당 부분 대체하거나 보조하는 AI 사원 형태로 발전시키는 것이 목표입니다.
