최근 AI 기술의 발전으로 ChatGPT와 같은 생성형 AI가 업무 현장에서 활발히 활용되고 있습니다. 하지만 이러한 범용 AI는 전문 분야, 특히 법률 업무에서 치명적인 문제를 일으킬 수 있습니다. 바로 존재하지 않는 법령이나 판례를 사실인 것처럼 제시하는 '할루시네이션(Hallucination)' 현상입니다.
법률 데이터 분석가 다미엔 샤를로탱(Damien Charlotin)의 최신 데이터에 따르면, 2025년 5월 1일부터 한 달 사이에만 23건의 AI 할루시네이션 사례가 법원에서 발견되었습니다. 더 충격적인 것은 이러한 사례가 2023년에는 10건, 2024년엔 37건이었다면, 2025년 첫 5개월 동안 73건으로 급격히 증가하고 있다는 점입니다.1)
이번 글에서는 ChatGPT의 할루시네이션이 실제 법무 업무에 미치는 위험성을 살펴보고, 앨리비의 비즈니스 에이전트와 AI 계약 리뷰가 어떻게 이러한 문제를 해결하는지 알아보겠습니다.
영국 고등법원은 2025년 6월, AI 오남용으로 인한 가짜 판례 인용 문제가 심각해지자 법조계에 긴급 조치를 취할 것을 공식 요구했습니다. 빅토리아 샤프(Dame Victoria Sharp) 고등법원장은 "AI가 사법 행정과 사법제도에 대한 공적 신뢰에 심각한 영향을 미칠 수 있다"며 강력한 경고를 발령했습니다.2)
2) High court tells UK lawyers to stop misuse of AI after fake case-law citations
✅ 카타르 국립은행 사건 (8,900만 파운드 손해배상 소송)
•원고측이 제시한 45개 판례 인용 중 18개가 완전히 가짜로 판명
•나머지 판례들에서도 인용된 문구들이 조작된 것으로 확인
•원고측은 공개적으로 이용 가능한 AI 도구 사용을 인정하고 변호사가 가짜 판례 인용을 받아들임
✅ 해링게이 법률센터 사건
•해링게이 구청을 상대로 한 임시 주거 제공 소송에서 5건의 가짜 판례 인용
•상대방 변호사가 해당 판례들을 찾을 수 없다고 반복적으로 문의하면서 문제 발각
•법정비용 낭비로 인한 별도 소송 진행, 법률센터와 수습 변호사의 과실 인정
미국에서는 2023년 뉴욕 남부지방법원 사건이 AI 할루시네이션 문제를 세계적으로 알리는 계기가 되었습니다. 변호사가 인용한 7개의 판례가 모두 가짜로 판명되었고, 판사는 ChatGPT가 만들어낸 사건 요약을 "횡설수설(gibberish)"이라고 표현하며 변호사 2명과 로펌에 5,000달러의 벌금을 부과했습니다.
2025년 들어서는 더욱 심각한 양상을 보이고 있습니다. K&L Gates와 Ellis George 같은 대형 로펌 변호사들도 AI 할루시네이션 실수를 범하면서 약 31,000달러의 제재를 받았습니다. 이들은 변호사들 간의 의사소통 오류와 검증 부족으로 인해 가짜 판례에 의존했다고 시인했습니다.3)
가장 우려스러운 점은 실수 주체의 변화입니다. 2023년에는 AI 할루시네이션 사례의 70%가 변호사 없이 소송을 진행하는 일반인(pro se litigant)의 실수였고, 30%만이 변호사의 실수였습니다. 하지만 2025년 5월에는 23건 중 13건이 법률 전문가의 실수로 나타나, 전문가들도 AI에 과도하게 의존하고 있음을 보여줍니다.4)
이러한 할루시네이션 문제는 법무 업무에서 다음과 같은 심각한 위험을 초래합니다.
👉 법적 책임 문제
•존재하지 않는 법령에 근거한 잘못된 법률 자문
•허위 정보로 인한 고객 손해 발생 시 전문가 배상책임
•법원 제출 서류의 신뢰성 훼손
👉 전문가 신뢰도 실추
•클라이언트에 대한 잘못된 법률 조언
•전문가로서의 신뢰성과 평판 손상
•장기적인 고객 관계 악화
👉 업무 효율성 저하
•잘못된 정보로 인한 추가 검증 작업 필요
•오류 수정을 위한 시간과 비용 소모
•결과적으로 업무 효율성 오히려 감소
ChatGPT와 같은 생성형 AI는 다음과 같은 구조적 한계를 가지고 있습니다.
✅ 패턴 기반 텍스트 생성의 문제점
ChatGPT는 주로 데이터베이스를 검색한다기 보다는 기본적으로 학습된 패턴을 바탕으로 텍스트를 생성합니다. 물론 검색 기능도 탑재되어 있긴 하나, 그 빈도가 낮을 뿐더러 검색 대상이 법률 분야에 특화되어 있지 않다는 한계가 있습니다.
무엇보다도 법령이나 판례를 암기하는 것이 아닌 패턴을 추론하는 방식이기 때문에, 법조문 번호나 판례 번호 등 정확한 숫자 정보의 기억과 인출 과정에서 오류가 자주 발생합니다. 이로 인해 그럴듯한 가짜 법조문이나 판례를 생성해낼 뿐 아니라, 이 같은 정보들이 실제로 존재하는지는 제대로 확인하지 못하는 문제가 발생합니다.
✅ 최신성 부족의 심각성
법률은 지속적으로 변화하는 분야임에도 불구하고, ChatGPT는 학습 데이터의 시점 한계로 인해 최신 법령 변경사항이나 새로운 판례를 제대로 반영하지 못합니다.
✅ 출처 검증 시스템의 부재
ChatGPT는 답변의 근거가 되는 원본 자료를 제시하지 않아 사용자가 정보의 정확성을 검증하기 어렵습니다. 이로 인해 사용자는 AI가 생성한 내용을 맹신하게 되는 위험에 노출됩니다.
더욱 심각한 것은 최신 AI 모델에서 할루시네이션 문제가 더욱 악화되고 있다는 점입니다. OpenAI의 자체 연구에 따르면, 최신 모델인 o3와 o4-mini가 이전 버전보다 더 많은 할루시네이션을 생성하는 것으로 나타났습니다.5)
5) OpenAI o3 and o4-mini System Card
앨리비 비즈니스 에이전트는 ChatGPT와 근본적으로 다른 접근 방식을 취합니다.
✅ 신뢰할 수 있는 전문 데이터베이스 활용
앨리비는 국가법령정보센터, 대법원 종합법률정보 등 공식 데이터베이스만을 활용하여 정보를 제공합니다. 또한 정부 기관의 정책 자료와 신뢰할 수 있는 법률 정보만을 수록하여 할루시네이션 위험을 원천적으로 차단합니다. 각 분야 전문가들이 검토하고 검증한 정보만을 제공하므로 사용자는 안심하고 업무에 활용할 수 있습니다.
✅ 투명한 출처 공개
앨리비는 모든 답변에 정확한 출처와 원문 링크를 제공합니다. PDF 문서의 경우 관련 내용을 하이라이트로 표시하여 사용자가 한눈에 확인할 수 있도록 합니다. 이를 통해 사용자는 원본 자료를 직접 확인할 수 있어 신뢰성이 보장됩니다.
✅ 실시간 업데이트
앨리비는 법령 개정사항과 새로운 판례를 지속적으로 업데이트하여 최신 정보를 제공합니다. 또한 정책 변경사항을 신속하게 반영하여 정보의 시의성과 정확성을 동시에 확보합니다.
✅ 포괄적인 전문 분야 커버리지
앨리비는 노무, 공정거래, 지식재산 등 기업 운영에 필요한 거의 모든 법률 분야를 포괄합니다. 근로기준법, 공정거래법, 특허법 등 각 분야별 전문 정보를 제공하며, 분야별 특성을 고려한 맞춤형 검색 결과를 제공합니다. 또한 공공기관의 산업별 가이드라인, 질의회신, Q&A 등 실무에 실질적인 도움을 줄 수 있는 신뢰도 높은 자료를 제공합니다.
앨리비의 AI 계약 리뷰는 계약서 검토에서도 높은 신뢰성을 제공합니다.
✅ 빠른 계약서 요약
앨리비 AI 계약서 리뷰의 핵심 요약 기능을 통해 즉시 계약서의 핵심 내용을 한눈에 파악할 수 있습니다. 간단한 계약서는 이 기능만으로도 빠르게 전체 내용을 확인하고 검토를 완료할 수 있어 업무 효율성을 크게 높입니다.
✅ 조항별 심층 검토와 정밀 분석
상세 리뷰 기능을 통해 각 조항별로 심도 깊은 검토가 가능합니다. AI가 계약서 내에서 수정이 필요한 내용을 자동으로 식별하여 개별 검토가 필요한 조항을 명확히 분류합니다. 또한 누락된 조항을 자동으로 탐지하고 필요한 조항을 제안하여 계약서의 완성도를 높입니다.
✅ AI가 제안하는 조항 개선
AI가 문제가 있는 조항에 대해 구체적인 개선 방향을 제안합니다. 단순히 문제점을 지적하는 것을 넘어 실제 개선방안까지 제시하여 전문가의 판단을 돕습니다. 전문가는 AI의 제안내용을 바탕으로 에디터 내에서 바로 수정하고 계약서 검토를 효율적으로 진행할 수 있습니다.
✅ 자연어 기반 질의응답 시스템
앨리비의 AI 물어보기 기능을 통해 사용자는 "이 계약서에서 비밀유지 범위는 어떻게 되나요?", "임차인에게 불리한 조항을 찾아주세요", "계약 해지 시 손해배상 기준은 무엇인가요?" 같은 자연스러운 질문을 할 수 있습니다.
✅ 근거 기반 신뢰성 있는 답변
앨리비는 계약서 내 해당 조항을 정확히 인용하여 답변합니다. 사용자가 구체적으로 요청할 경우 필요에 따라 관련 법령이나 판례 정보를 제공할 수 있으며, 추가 검토가 필요한 연관 사항도 자동으로 제안합니다.
앨리비는 검증된 정보만을 제공하여 할루시네이션 현상을 효과적으로 차단합니다. 답변의 출처를 투명하게 공개하고 근거를 제시하여 사용자가 신뢰도를 갖고 업무에 활용할 수 있도록 합니다.
앨리비를 사용하면 기존 대비 검증 과정을 크게 줄이고 더욱 효율적으로 업무에 활용할 수 있습니다. 체계적인 분석으로 놓치기 쉬운 리스크를 사전에 발견하며, 전문가의 시간을 핵심 판단 업무에 집중할 수 있도록 도와줍니다.
앨리비는 잘못된 정보로 인한 손해를 예방하고, 추가 검증이나 수정 작업 비용을 절약합니다. 또한 장기적인 신뢰 관계 유지로 고객 유지 효과까지 기대할 수 있습니다.
앨리비 데이터베이스는 법령 개정과 새로운 판례를 실시간으로 반영하고 있습니다. 또한 사용자 피드백을 통한 지속적 개선과 전문가 검토를 통한 품질 관리로 항상 최신의 정확한 정보를 제공하고 있습니다.
ChatGPT와 같은 범용 AI의 할루시네이션 문제는 2025년 한 해에만 73건의 사례가 발생했을 정도로 점점 더 법무 업무에서 심각한 위험 요소가 되고 있습니다. 존재하지 않는 법령이나 판례에 의존한 업무는 전문가의 신뢰성을 훼손하고, 실질적인 법적 리스크를 초래할 수 있습니다.
앨리비는 이러한 문제를 근본적으로 해결하는 신뢰할 수 있는 리걸AI 솔루션입니다. 검증된 데이터베이스, 투명한 출처 공개, 전문가 수준의 분석 기능을 통해 법무 업무의 정확성과 효율성을 동시에 확보할 수 있습니다.
중요한 법적 판단이 필요한 순간, 추측이 아닌 신뢰할 수 있는 근거가 필요합니다.
앨리비 비즈니스 에이전트와 AI 계약 리뷰로 더 안전하고 효율적인 법무 업무를 경험해보세요! 14일 무료 체험을 통해 앨리비의 신뢰성을 직접 확인하신 후 결정하실 수 있습니다.
📚 참고자료
https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf
.svg)
