.png)
비즈니스 에이전트(Business Agent)는 변호사나 법률 전문가 등 다양한 법률 관련 종사자 뿐 아니라, 이에 준하는 전문적인 수준의 지식을 필요로 하는 사용자를 위한 질의응답 시스템입니다.
비즈니스 에이전트에는 앨리비에 자체적으로 탑재된 자료(법령, 판례, 보고서 등)외에도 고객사가 직접 업로드 한 데이터베이스와 웹 검색 등이 통합되어 있습니다. 이를 바탕으로 법령, 시행령, 판례, 뉴스 등 다양한 정보에 근거하여 쟁점 분석 및 종합 판단을 내려주는 것이 특징입니다.
물론 기존의 비즈니스 에이전트도 충분히 본연의 역할을 해내고 있었으나, 더 고도화된 답변과 질문의 질을 향상시키기 위해서 내부 법률전문가들과 지속적인 논의와 피드백 분석을 거듭했습니다. 전문가들은 공통적으로 AI가 법률 업무를 실질적으로 돕기 위해서는 아래 두 가지 핵심 역량이 비약적으로 향상되어야 한다고 지적했습니다.
1️⃣ 사용자의 복잡한 자연어 질문 이면에 숨겨진 진짜 의도까지 파악하는 '높은 쿼리(질문) 이해도'
2️⃣ 주어진 정보 속에서 관련된 법률적 쟁점들을 빠르고 정확하게, 그리고 다양하게 식별하고 분류해내는 능력
비즈니스 에이전트의 ‘정밀 검색’은 이러한 전문가 피드백에 기반하여 두 가지 핵심 목표, 즉 '쿼리(질문) 이해도 극대화'와 '정확하고 다양한 쟁점 파악/분류'를 달성하기 위해 개발되었습니다.
이 글에서는 기존 기술이 왜 이 두 가지 측면에서 한계를 가졌는지 살펴보고, '정밀 검색'이 어떠한 차별화된 접근 방식과 기술적 장치들을 통해 이러한 핵심 역량을 강화했는지, 그리고 그 결과 법률 전문가들에게 어떤 실질적인 도움을 드릴 수 있는지 설명하고자 합니다.
기존의 정보검색과 생성 능력을 결합한 RAG(Retrieval-Augmented Generation)기술(Simple RAG라고 지칭하겠습니다)은 간단하면서도 빠르다는 장점을 갖고 있었으나, 법률 분야 특유의 복잡하고 깊이있는 분석에서는 부족함을 보여왔습니다. 이러한 한계는 특히 앞서 말씀드린 비즈니스 에이전트의 개선 목표로 삼았던 두 가지 핵심 역량 측면에서 한계를 보였습니다.
%20(1).png)
위의 <그림 1>은 Simple RAG의 작동 원리를 보여주는 간략화된 도식도입니다. 앨리비 비즈니스 에이전트의 궁극적인 목표는 다양한 법률 자료로부터 사용자가 실질적으로 원하는 통합적인 법률 정보를 제공하는 것입니다. 이를 위해서는 아래와 같은 두 가지의 핵심 역량이 필요합니다.
✔️ 높은 쿼리(질문) 이해도
✔️ 다양하고 정확한 쟁점 파악 능력
사용자가 던지는 질문들은, 표면적으로는 단순해보일지라도 그 질문 속에는 여러 법률적인 쟁점들이 내포되어 있습니다. 때문에 이를 종합적으로 분석할 수 있어야 사용자가 만족하는 답변을 제공할 수 있게 됩니다. 이를 위해서는 위의 두 가지 능력이 제품 속에 포함되어야 하는데요, ‘정밀 검색’이 어떻게 이런 한계를 극복하고 한층 더 높은 수준의 답변을 구현해내는지 구체적 사례를 통해 살펴보도록 하겠습니다.
사용자가 한국과 미국 세법의 차이점에 대해 알고 싶다고 가정해보겠습니다. Simple RAG를 사용하는 경우라면, 시스템은 아래와 같이 "세법 간 차이점"이 명확하게 드러난 문서를 찾는 데 집중할 것입니다.
이는 범용적인 도메인에서 동작할 수 있으나 몇가지 한계점을 내포하고 있습니다.
⚠️ "차이점"이 명확하게 기술된 문서가 DB에 존재해야만 높은 품질의 답변이 가능합니다.
⚠️ "차이점"에 관한 인사이트가 여러 문서에 분산되어 있을 경우, 이를 종합적으로 분석하여 답변하기 어렵습니다.
⚠️ 질의가 복잡해질수록 정확한 답변이 포함된 문서를 찾을 확률이 낮아지며, 모델이 답변을 제공하려는 경향으로 인해 할루시네이션이 급격히 증가합니다.
이러한 한계점들을 앞서 언급한 두 가지 핵심 역량 관점에서 분석하면 어떤 부분을 개선해야 할지 명확하게 파악할 수 있습니다.
검색 엔진이 고정되어 있다면, 사용자의 의도에 맞는 관련 문서를 찾는 효율성은 전적으로 최적화된 검색 쿼리(질문)를 생성하는 능력에 달려있습니다. 그리고 우리는 앞서 살펴본 한계점들에서 Simple RAG의 검색 쿼리(질문) 생성 능력의 제한을 확인할 수 있었습니다.
AI가 법률 전문가가 검색하듯이 쟁점별로 관련 문서들을 효과적으로 수집하도록 하기 위해서는, 에이전트가 다양한 주제에 맞는 검색 쿼리(질문)를 준비할 수 있어야 합니다. 즉, 사용자의 질의를 더 정확하게 이해하고 이를 기반으로 최적화된 검색 쿼리(질문)를 구성할 수 있어야 합니다.
Simple RAG는 명시적이지 않은 쟁점들을 놓치기 쉽습니다. 이는 하나의 질문이나 문서 내에 여러 법률적 쟁점이 복합적으로 얽혀 있는 경우가 많기 때문입니다.
예를 들어, '한국과 미국의 세법 차이점'에 대한 질문에는 소득세율 체계, 법인세 과세 방식, 양국의 이중과세방지협정, 부가가치세와 판매세의 차이, 상속/증여세 제도 등 여러 쟁점이 내포되어 있지만, Simple RAG는 이러한 복합적 쟁점을 개별적으로 식별하고 분석하는 데 한계가 있습니다.
즉, '세법 차이'라는 명시적 문구가 포함된 문서만 검색할 뿐, 각 세목별로 구체적인 차이점을 종합적으로 분석하지 못합니다. 이는 결국 사용자의 질의에 대한 답이 단일 문서에 존재하는 경우에만 제대로 작동할 것입니다.
따라서 핵심 쟁점을 정확하게 파악하고 이를 기반으로 문제를 효과적으로 정의할 수 있는 제품을 개발하는 일이 필요합니다.
앨리비 비즈니스 에이전트의 정밀 검색 기능은 1부에서 논의된 고민들에 대한 실질적인 해결법을 실체화하는 것에서부터 출발했습니다. 내부 법률 전문가들의 검증 과정을 통해, 저희는 Agentic RAG 접근 방식이 이 두 가지 핵심 목표 달성에 가장 효과적이라는 결론에 도달했습니다.
.png)
비즈니스 에이전트 ‘정밀 검색'의 높은 쿼리(질문) 이해와 정확한 쟁점 파악 능력의 강화라는 두가지 목표를 성공적으로 달성했습니다. <그림 2>에서는 비즈니스 로직이나 세부 구현 요소들을 걷어내고 핵심만을 간추린 ‘정밀 검색’의 아키텍처입니다. <그림 2>의 핵심은 아래와 같습니다.
1. Subtask-based Planner: '정확하고 다양한 쟁점 파악/분류' 를 위해, 분석된 쿼리(질문)를 바탕으로 해결해야 할 핵심 법률 쟁점(Subtask)들을 식별하고 구조화합니다. 그 다음 복잡하게 얽힌 문제 상황을 명료하게 분해하여 체계적인 접근 경로를 설계합니다. 쿼리(질문)에 대한 높은 이해도와 쟁점 파악 능력이 이 단계에서 발현되어 문제를 해소합니다.
2. Subtask 해소: 식별된 각 쟁점(Subtask)과 관련된 정확한 정보를 찾기 위해 최적화된 방식들을 탐색합니다. Simple RAG와 마찬가지로 이 부분에서 Tools가 활용된다는 점은 동일하지만, 확장을 통해 다양한 시나리오에 보다 효율적으로 대응할 수 있도록 설계되었습니다. 5번 항목에서 이에 대해 보다 자세히 설명하겠습니다.
3. Ground Check: 탐색된 정보가 파악된 쟁점과 관련성이 높은지, 질문의 의도에 부합하는지 등을 엄격하게 검증합니다. 이는 '쿼리(질문) 이해'와 '쟁점 파악'의 정확성을 최종적으로 보장하는 중요한 과정입니다.
4. 통합적 답변 생성 및 명확한 근거 제시: 검증된 정보를 바탕으로, 사용자가 질문한 의도에 정확히 부합하고 파악된 모든 핵심 쟁점을 포괄하는 답변을 생성합니다. 이 때 아래의 순서들이 고려될 수 있어야 하며, 이에 부합하는 탐색이 사전에 수행되었음을 전제로 합니다.
a. 쟁점 분석: 질문에 내포된 여러 법적 쟁점들을 체계적으로 식별합니다.
b. 관련 법령 검토: 각 쟁점과 관련된 법령, 시행령, 규칙 등을 철저히 검토합니다.
c. 판례 분석: 유사 사례에 대한 법원의 판단을 심층적으로 연구합니다.
d. 법리 적용: 특정 상황에 법적 원칙을 어떻게 적용할지 전문적으로 검토합니다.
e. 종합적 판단: 모든 분석을 종합하여 논리적으로 최종 의견을 도출합니다.
5. Tools 확장을 통한 쿼리(질문)별 시나리오 개선: 단순히 “한국 세법”에 관해 찾고 싶다면 일반적인 사내 검색 엔진도 효과적이지만, “한국 세법 관련 판례”를 찾아보기 위해서는 판례 문서만을 필터링하여 검색하는 것이 효과적일 것입니다. 이를 위해 동일한 검색 엔진에서 다양한 검색 파라미터를 사전에 세팅해두고, 이를 가상의 함수로 지정하는 function calling 시나리오를 추가했습니다.
예를 들어 <그림 2>에서는 동일한 검색 엔진을 사용하되, 그 사용 방법을 LLM에게 숨기고, 이것을 Type A라고 명시화하는 일종의 Capsulization을 확인할 수 있습니다. 이러한 설계로 인해 다양한 Tools가 확장 가능한 형태로 이식될 수 있었으며, allibee 계약관리 솔루션의 Contract Search 등에도 연동할 준비를 하고 있습니다.
위의 요소들이 활용된 ‘정밀 검색’은 1부에서 했던 동일한 질문(한국과 미국의 세법 차이)에 대해 아래 이미지와 같이 효과적으로 동작함을 확인할 수 있었습니다.
💡 “차이점”이 명확한 문서 검색: 차이점이 명확하게 드러나는 문서가 존재하는 경우, 시스템은 이를 우선적으로 활용합니다.
💡 “차이점”을 찾기보다는 특정 세법 주제를 바탕으로 한국과 미국에 대한 개별적인 세법 정보 검색을 시도합니다.
• 예를 들어 “2023년 한국 소득세”와 “2023년 미국 소득세”를 각각 검색하여 다양한 문서들을 검색하고, 이를 바탕으로 2023년과 소득세라는 두 가지 필드를 바탕으로 한 명확한 차이점 분석이 가능합니다.
• 반면 Simple RAG에서는 이러한 분석을 위해 “2023년 한국과 미국의 소득세 차이가 명확히 드러나는 문서”가 반드시 존재해야 했습니다.
이러한 차별화된 접근 방식 덕분에 비즈니스 에이전트 ‘정밀 검색’을 사용하는 사용자들은 보다 포괄적이고 유용한 답변을 얻을 수 있습니다.
.png)
비즈니스 에이전트 ‘정밀 검색'은 '쿼리(질문) 이해도'와 '쟁점 파악/분류' 능력 향상이라는 명확한 목표를 바탕으로 개발되어, 출시 이후 법률 전문가들로부터 그 잠재력을 인정받고 있습니다.
그러나 저희의 진정한 목표는 여기서 그치지 않습니다. 저희가 궁극적으로 지향하는 바는, 법률 전문가들이 현장에서 마주하는 가장 복잡하고 풀기 어려운 문제들에 대해 실질적이고 상세한 해결책을 제시하는 것입니다. 이는 최근 OpenAI, Perplexity 등 다양한 LLM 기반 서비스들에서 선보이고 있는 Deep Research와 유사한 형태의 제품으로 발전할 것으로 예상됩니다.
연쇄적으로 다양한 자료를 참고하여 답하는 시나리오가 이러한 제품의 이상적인 활용 사례입니다. 예를 들어 “새롭게 출시한 자사 앱 서비스의 이름과 유사한 명칭을 사용하는 경쟁 서비스가 나타났는데, 이 경우 어떤 법적 쟁점들을 검토하고 대응 방안을 모색해야 할까요?”라는 사용자의 질문에는 연쇄적인 멀티홉 기반 검색 시나리오가 필요합니다.
<그림 4>에서 보여지듯이, 이전의 검색 결과를 활용해서 다음 검색 쿼리(질문)를 구성하는 방식은 사람에게는 매우 자연스러운 문제 해결 접근법입니다. 그러나 이는 현재 앨리비 비즈니스 에이전트의 정밀 검색의 커버리지에는 아직 포함되지 않은 문제 해결 시나리오입니다.
.png)
따라서 저희는 이를 위해 다층적이고 복합적인 쟁점을 포함하는 문제까지도 효과적으로 처리할 수 있는 시스템을 구축하고, 사용자에게 보다 더 가치있는 비즈니스 에이전트 사용 경험을 제공하는 것을 궁극적인 목표로 삼고 있습니다.
정확하면서도 상세한 대규모 보고서 혹은 답변을 제공하는 것이 어떻게 사용자의 법률 도메인 질의를 효과적으로 해결할 수 있을지에 대해 심도 있는 연구를 진행중입니다.
그리고 이와 관련된 다양한 개선 사항들은 향후 2개월 내에 지속적이고 대대적인 제품 업데이트를 통해 구현될 예정입니다. 이번 업데이트는 ‘쿼리(질문) 이해’와 ‘쟁점 분석’능력의 핵심적인 성능 향상을 포함하고 있으며, 저희가 추구하는 궁극적인 목표에 한 걸음 더 다가서는 중요한 이정표가 될 것으로 기대하고 있습니다.
.png)
.svg)
.png)
