마켓 인사이트

LLM부터 AI Agent까지, 2025년 핵심 AI 용어 총정리

"그래서 AI 에이전트가 정확히 뭔가요?" AI, 머신러닝 차이부터 AI 에이전트까지 한번에 이해하기
2025-08-20

AI 기술이 눈부신 속도로 발전하며 새로운 용어들이 끊임없이 등장하고 있습니다. ChatGPT가 촉발한 생성형 AI 열풍은 이제 단순 챗봇을 넘어, 특정 전문 영역에 최적화된 'AI Agent'의 시대로 진화하고 있습니다.

하지만 AI 분야의 빠른 변화 속도 때문에 최신 동향이나 용어를 따라가기 벅차다고 느끼는 분들이 많습니다. 그래서 이 글에서는 AI의 기초 개념부터 최신 트렌드까지, 핵심 AI 용어들을 중심으로 쉽고 명확하게 정리해 드리겠습니다.

1. 기초 용어

🔹 인공지능(AI) vs 머신러닝 vs 딥러닝

먼저 많은 사람들이 혼동하는 세 개념을 구분해보겠습니다.

👉 인공지능(Artificial Intelligence, AI)은 가장 큰 범주의 개념으로, 인간의 지능을 모방하여 학습, 추론, 판단 등을 수행하는 모든 기술을 의미합니다.

👉 머신러닝(Machine Learning, ML)은 AI의 하위 개념으로, 컴퓨터가 데이터를 통해 스스로 패턴을 학습하고 예측이나 분류를 수행하는 기법입니다.

👉 딥러닝(Deep Learning, DL)은 머신러닝의 한 분야였지만, 현재는 AI 발전의 주요 동력 중 하나가 되었습니다. 인간의 뇌 구조를 모방한 다층 신경망을 사용하여 복잡한 패턴을 학습하며, ChatGPT 같은 LLM부터 이미지 생성까지 대부분의 최신 AI 기술의 기반이 됩니다.

🔹자연어처리(Natural Language Processing, NLP)

컴퓨터가 인간의 언어(자연어)를 이해하고, 해석하며, 생성할 수 있도록 하는 AI의 한 분야입니다. 텍스트 분석, 기계 번역, 감정 분석, 챗봇 등이 NLP의 대표적인 응용 분야입니다.

🔹신경망(Neural Network)

인간 뇌의 신경세포(뉴런) 구조를 모방한 머신러닝 알고리즘입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 층의 노드들이 가중치로 연결되어 데이터를 처리하고 학습합니다.

신경망(Neural Network)에 대한 설명
TseKiChun, CC BY-SA 4.0, via Wikimedia Commons

2. LLM 생태계

🔹LLM(Large Language Model)

'대규모 언어 모델'의 줄임말로, 방대한 텍스트 데이터를 학습하여 인간과 유사한 수준의 언어 이해 및 생성 능력을 갖춘 AI 모델입니다. OpenAI의 GPT 시리즈, Meta의 LLaMA 등이 대표적입니다.

🔹sLLM과 SLM

👉 sLLM(small Large Language Model): 기존 LLM의 성능을 유지하면서 크기를 줄인 모델입니다. 대형 모델을 압축하거나 효율적으로 학습시켜 더 적은 자원으로도 비슷한 성능을 낼 수 있도록 최적화한 것이 특징입니다.

👉 SLM(Small Language Model): 특정 작업에 특화되어 처음부터 작게 설계된 모델입니다. 범용성보다는 명확한 목적을 가지고 설계되어 해당 영역에서는 오히려 대형 모델보다 뛰어난 성능을 보이기도 합니다.

Microsoft Phi-3, Google Gemma 등이 대표적이며, 스마트폰이나 노트북에서 직접 실행되는 온디바이스 AI 구현의 핵심 기술로 주목받고 있습니다. 특히 에너지 효율성과 개인정보 보호 측면에서 큰 장점을 가집니다.

👉 Private LLM(온프레미스 LLM): 기업이 자체 서버에서 직접 운영하는 LLM입니다. 데이터가 외부로 유출되지 않아 보안이 중요한 금융, 의료, 정부 기관에서 선호하며, 기업 특성에 맞게 커스터마이징도 가능합니다.

참고: What Are Small Language Models (SLMs)?

🔹트랜스포머(Transformer)

2017년 구글이 발표한 "Attention Is All You Need" 논문에서 제안된 신경망 아키텍처로, 현재 대부분 LLM의 기반이 되는 핵심 기술입니다. '어텐션(Attention)' 메커니즘을 통해 문장 내 단어 간의 관계와 중요도를 효과적으로 파악하며, 기존의 순차 처리 방식과 달리 병렬 처리가 가능해 학습 속도를 획기적으로 개선했습니다. GPT의 'T'가 바로 트랜스포머를 의미합니다.

🔹주요 LLM 모델들

👉 GPT(Generative Pre-trained Transformer): OpenAI가 개발한 생성형 언어 모델로, AI 챗봇의 대중화를 이끈 대표주자입니다.

👉 LLaMA: Meta가 개발한 오픈소스 모델로, 상대적으로 적은 파라미터로도 높은 성능을 보여주며 AI 연구 및 개발 생태계 확장에 크게 기여하고 있습니다.

👉 Claude: Anthropic이 개발한 모델로, 'AI 안전'을 최우선으로 고려하여 설계되었으며, 긴 텍스트 처리와 논리적 추론 능력이 뛰어납니다.

👉 Gemini: Google이 개발한 멀티모달 모델로, 텍스트뿐만 아니라 이미지, 비디오, 오디오까지 통합적으로 이해하고 처리할 수 있습니다.

👉 Mistral: 프랑스 스타트업이 개발한 유럽 대표 LLM으로, 오픈소스와 상업용 버전을 모두 제공하고 있습니다.

📰 최근 한국 정부도 '독자 인공지능(AI) 파운데이션 모델 개발 프로젝트'를 통해 한국형 LLM 개발에 착수했으며, 현재 5개팀(네이버·SKT·LG·NC·업스테이지)이 선발되어 본격적인 경쟁에 돌입했습니다.

[AI는 지금] "국가대표 AI에 사활 건다"...선발전 앞두고 新 LLM 쏟아지는 이유는?

[AI픽] '국가 AI' 주도권 다툼…5대 컨소시엄 전략 공개

대표적인 LLM인 OpenAI사의 ChatGPT

3. 실전 AI 구현 기술

🔹RAG(Retrieval-Augmented Generation)

'검색 증강 생성'의 약자로, LLM이 답변을 생성할 때 최신 또는 특정 외부 데이터베이스에서 관련 정보를 실시간으로 검색하여, 이를 근거로 더 정확하고 신뢰도 높은 답변을 생성하는 기술입니다. LLM의 고질적인 문제인 할루시네이션을 줄이는 핵심 기술로 주목받고 있습니다.

📌 RAG 유무에 따른 답변 차이

예를 들어 "2024년 미국 대통령 선거 결과는?"이라는 질문을 했을 때, RAG가 없는 일반 LLM은 "죄송하지만 2024년 대통령 선거에 대한 정보는 제 학습 데이터에 포함되어 있지 않습니다"라고 답변하거나 잘못된 정보를 임의로 생성해냅니다.

그러나 RAG가 적용된 경우, 실시간으로 최신 뉴스나 선거관리위원회 데이터를 검색하고 "2024년 미국 대통령 선거에서 도널드 트럼프가 당선되었습니다. (출처: AP통신, 2024.11.06)"라는 식으로 답변을 합니다.

🔹할루시네이션(Hallucination)

AI가 그럴듯하지만 사실이 아니거나 맥락에 맞지 않는 정보를 생성하는 현상입니다. 특히 전문 분야에서는 치명적인 문제가 될 수 있어, 도메인 전문가의 검증과 RAG 같은 기술로 해결하고 있습니다. 가장 유명한 사례로는 언론에도 많이 등장했던 "세종대왕의 맥북프로 던짐 사건에 대해 알려줘."라고 질문했을 경우 실제 있었던 사건처럼 답변해냈던 사례가 대표적이라고 할 수 있습니다. 이러한 할루시네이션 사례는 최근까지도 계속 발생하는 문제입니다.

🔹벡터 데이터베이스(Vector Database)

텍스트, 이미지 등의 비정형 데이터를 고차원의 수치 벡터로 변환하여 저장하는 데이터베이스입니다. 의미적으로 유사한 데이터를 빠르게 검색할 수 있어 RAG, 추천 시스템 등에서 핵심적인 역할을 합니다.

🤔벡터가 뭔가요?

벡터는 어떤 대상의 특성을 숫자로 나타낸 리스트라고 생각하면 됩니다. 예를 들어 음식의 맛을 숫자로 표현한다면

- 단맛 정도: 8/10 → 0.8

- 짠맛 정도: 2/10 → 0.2  

- 매운맛 정도: 0/10 → 0.0

- 신맛 정도: 1/10 → 0.1

→ 사과 = [0.8, 0.2, 0.0, 0.1]

→ 김치 = [0.1, 0.9, 0.7, 0.8]

💡 AI는 이런 식으로 단어나 이미지의 '의미'를 수백~수천 개의 특성으로 쪼개서 숫자로 바꿔 저장합니다. 그래서 비슷한 의미를 가진 것들은 비슷한 숫자 패턴을 갖게 됩니다.

🔹임베딩(Embedding)

텍스트, 이미지, 음성 등의 데이터를 AI가 이해할 수 있도록 고차원 벡터로 변환하는 과정 또는 그 결과물을 의미합니다. 의미가 유사한 단어나 문장은 벡터 공간에서 가까운 위치에 배치되어, AI가 데이터의 의미적 관계를 파악할 수 있게 합니다.

📌 임베딩의 작동 원리

의미가 비슷한 단어들은 숫자 공간에서도 가까운 곳에 모입니다. '강아지', '고양이'는 서로 가깝고, '자동차'와는 멀리 떨어져 있는 식입니다.

이 기술로 단어뿐만 아니라 문장, 이미지까지 모두 숫자로 변환할 수 있어서, "귀여운 강아지"라고 검색하면 실제 강아지 사진이 나오는 것입니다.

💼 실제 활용

구글 검색에서 정확한 단어가 없어도 비슷한 의미의 결과를 찾아주거나, 넷플릭스가 취향에 맞는 콘텐츠를 추천하고, ChatGPT가 문맥을 이해하며 대화하는 것이 모두 임베딩 덕분입니다.

임베딩(Embedding)에 대한 설명
EdoardoRamalli, CC BY-SA 4.0, via Wikimedia Commons

🔹프롬프트 엔지니어링(Prompt Engineering)

AI 모델로부터 최상의 결과를 얻기 위해 입력하는 질문이나 명령(프롬프트)을 최적화하는 기술입니다. 어떻게 질문하느냐에 따라 AI의 답변 품질이 크게 달라지기 때문에 그 중요성이 부각되고 있습니다.

🔹파인튜닝(Fine-tuning)

사전 훈련된(Pre-trained) 거대 모델을 특정 도메인이나 작업에 맞게 데이터를 추가로 학습시켜 미세 조정하는 과정입니다. 예를 들어, 범용 LLM을 법률 데이터로 파인튜닝하여 법률 문서 분석 성능을 극대화할 수 있습니다. 넓은 도메인보다는 명확한 목적을 가진 개별 태스크에 특화됩니다.

🔹버티컬 AI

특정 전문 분야(법률, 의료, 금융 등)에 최적화된 AI 기술입니다. 해당 분야의 전문 용어, 지식 체계, 규칙을 깊이 이해하여 범용 AI보다 정확하고 실용적인 결과를 제공합니다. 전문가의 지속적인 검증과 피드백을 통해 신뢰성을 확보하는 것이 핵심입니다.

🔹토큰(Token)

AI가 텍스트를 처리하는 최소 단위입니다.

- 영어: 1토큰 ≈ 0.75단어

- 한국어: 1토큰 ≈ 0.5-1글자

OpenAI의 토큰 계산기 화면

4. AI Agent 시대

🔹AI Agent

단순한 질의응답을 넘어, 주어진 목표 달성을 위해 자율적으로 계획을 수립하고, 적절한 도구를 사용하며, 과업을 실행하는 AI 시스템입니다. 예를 들어, '앨리비'와 같은 법률 AI Agent는 법령 검색, 계약서 분석, 판례 조회 등을 통합적으로 수행하여 법률 전문가 수준의 분석 결과를 제공합니다.

AI Agent가 이렇게 주목받는 이유는 생성형AI 붐을 이을, 차세대 AI 서비스 먹거리로서 시장 전망이 매우 밝기 때문입니다. 보스턴 컨설팅은 AI 에이전트 시장이 2024년 57억 달러에서 연평균45%씩 성장하여 2030년 521억 달러에 이를 것으로 전망하기도 했습니다.

🤖 AI Agent vs 기존 챗봇 차이점

기존 챗봇: "질문 → 답변" 단순 반응

AI Agent: "목표 설정 → 계획 수립 → 도구 활용 → 실행 → 결과 검증"

참고: AI 에이전트의 부상과 정책과제

🔹멀티모달 AI(Multimodal AI)

텍스트, 이미지, 음성, 비디오 등 여러 종류(Mode)의 데이터를 동시에 이해하고 처리하는 AI입니다. 예를 들어, 계약서 사진을 보고 그 내용을 분석하여 핵심 독소 조항을 텍스트로 요약해주는 것이 가능합니다. 혹은 소송 과정에서 제출되는 다양한 증거자료들(카카오톡 대화 스크린샷, 사고 현장 사진, CCTV 영상 등)을 통합적으로 분석하여 사건의 전말을 파악하고 법적 쟁점을 도출해낼 수 있습니다.

🔹Tool Calling

AI Agent가 목표 수행에 필요한 외부 도구나 API를 스스로 판단하여 호출하고 그 결과를 활용하는 기능입니다. 웹 검색, 계산기 사용, 데이터베이스 조회 등 다양한 도구를 상황에 맞게 활용할 수 있습니다.

🔹MCP(Model Context Protocol)

AI 모델이 다양한 데이터 소스와 도구에 안전하고 표준화된 방식으로 연결할 수 있도록 하는 프로토콜입니다. 파일 시스템, 데이터베이스, API 등에 일관된 방식으로 접근할 수 있어 AI Agent의 확장성과 보안성을 크게 향상시킵니다.

🔹추론(Reasoning)

AI가 여러 정보를 논리적으로 연결하고 분석하여 새로운 결론을 도출하는 과정입니다. 최근 딥시크(DeepSeek) 등의 등장으로 주목받는 기술로, 단순한 패턴 매칭을 넘어 복잡한 문제 해결과 의사결정에 핵심적인 역할을 합니다.

앨리비에도 추론 가능한 AI가 탑재되어 있다

5. 주목받는 AI 패러다임

🔹AGI(Artificial General Intelligence)

인간과 같은 수준의 일반적 지능을 가진 AI를 의미합니다. 현재의 AI가 특정 작업에 특화된 것과 달리, AGI는 인간처럼 다양한 영역에서 학습하고 추론할 수 있는 범용 지능을 목표로 합니다.

🔹온디바이스 AI(On-device AI)

클라우드가 아닌 개인 기기(스마트폰, 노트북 등)에서 직접 실행되는 AI입니다. 데이터 프라이버시 보장, 네트워크 연결 불필요, 빠른 응답속도 등의 장점이 있어 주목받고 있습니다.

🔹멀티에이전트 시스템(Multi-Agent System)

여러 AI Agent가 협력하여 복잡한 작업을 수행하는 시스템입니다. 각 에이전트가 전문 분야를 담당하여 더 정교하고 효율적인 문제 해결이 가능합니다. 예를 들어, 법무팀에서 '계약서 분석 Agent', '법규 검색 Agent', '판례 리서치 Agent'가 협력하여 종합적인 법률 검토 보고서를 완성하는 식입니다.

🔹CoT(Chain of Thought) 추론

AI가 결론에 도달하는 사고 과정을 단계별로 보여주며 문제를 해결하는 방식입니다. 마치 수학 문제를 풀 때 계산 과정을 하나씩 적어가는 것처럼, AI도 "왜 이런 답을 냈는지" 그 이유를 설명합니다.

단순히 "1+1=2"라고 답하는 대신 "1에 1을 더하면 2가 됩니다"라고 추론 과정을 보여주거나, 복잡한 문제를 해결할 때도 "먼저 A를 확인하고, 다음으로 B를 분석한 결과, C라는 결론에 도달했습니다"처럼 단계를 나누어 설명합니다. 이를 통해 AI의 판단 근거를 파악할 수 있어 신뢰성이 크게 향상됩니다.

AI 기술은 우리가 따라잡기 벅찰 정도로 빠르게 발전하고 있습니다. 여기서 핵심은 이러한 기술들이 실제 업무와 일상에서 어떻게 활용될 수 있을지를 이해하는 것입니다. 특히 AI Agent 시대에는 범용 AI보다 특정 도메인에 특화된 전문 AI의 가치가 더욱 중요해지고 있습니다. 법률, 의료, 금융 등 전문 분야에서는 이미 도메인 지식과 AI 기술의 결합이 핵심 경쟁력이 되고 있습니다.

앞으로도 계속해서 빠르게 발전할 AI시대를 대비해, 이 글에서 정리한 기본 개념들을 알아두신다면, 앞으로 새로운 기술이나 용어가 등장하더라도 금방 이해할 수 있을겁니다.

AI를 통한 업무 혁신, 앨리비로 시작해보세요!
아래 링크를 통해 가입하시면 14일간 무료로 사용해보실 수 있습니다.
가입하고 14일간 무료 체험하기
(재)행복나눔재단 SIT(Social Innovators Table)팀
서울시 용산구 장문로 60 (동빙고동) 02-333-3963
수신거부 Unsubscribe
SNS에 공유하기
URL 복사 완료