AI Agent 개념정리 - LLM · Worker-Agent 패턴 · Multi-Agent 패턴

들어가며

회사에서 사용하는 AI를 GPT에서 Github Copilot으로 변경하고 약 한 달이 지났다.

VsCode, Cursor, Antigravity에 이르기 까지 AI IDE가 빠르게 발전하면서 AI Agent의 설정과 사용이 매우 쉬워졌다.

 

오늘은 AI Agent가 Local PC에서 행동할 수 있는 원리와, Multi-Agent의 장단점에 대해 정리해보려 한다.

---

LLM과 Agent의 차이점

LLM (Large Language Model)

LLM(Large Language Model)이란 텍스트를 입력받아 텍스트를 반환하는 모델이다.

사람들이 작성한 방대한 글을 학습해, 입력받은 텍스트 다음에 나올 내용을 추론하는 생성형 AI이다.

 

대표적인 LLM으로는 GPT-4o(OpenAI), Gemini(Google),Claude(Anthropic) 등이 있으며,
각각 학습된 데이터를 바탕으로 추론하기 때문에 사람에 비유하면 "뇌"에 비유할 수 있다.

단점으로는 사실이 아닌 내용을 사실인 듯 생성하는 환각(Hallucination) 현상과,

LLM을 만들기 위해 사용하는 방대한 데이터 처리를 위해서 거대자본이 투입되어야 한다는 한계를 가진다.

 

여기서 짚고 넘어갈 점은, LLM은 텍스트를 반환하는 모델일 뿐 직접적인 행동을 할 수 없다는 점이다.

[사용자] "로그인 함수 짜줘"
  ↓
[LLM] 코드 텍스트 생성
  ↓
[사용자] (직접 복사해서 편집기에 붙여 넣기)

AI Agent

AI Agent는 LLM에 실행 능력을 더한 것이다.

만약 CMD창을 조작하거나 내 PC의 조작이 가능한 LLM(=Agent)에게 요청한다고 상상해 보자.

아래와 같이 일련의 과정을 직접 수행할 수 있다.

[사용자] "로그인 함수 짜줘"
  ↓
[Agent] 코드 생성 → 파일 저장 → 빌드 → 결과 확인
  ↓
[사용자] 결과 확인

---

Agent가 행동하는 원리 - Tool Calling / Context Injection

Tool Calling

LLM은 텍스트만 다룰 수 있기 때문에, Agent가 파일을 만들거나 터미널 명령을 실행하려면 LLM 혼자서는 불가능하다.

이 문제를 해결하는 것이 Tool Calling(도구 호출)이다.

 

Agent가 도구들을 사용하기 위해서는 도구목록과 사용방법들을 미리 알고 있어야 하는데,

이전에 작성한 MCP(Model Context Protocol) 글에서 다룬 적 있다.

2026.02.26 - [개발] - AI와 공장 자동화(FA)연동 따라하기 - PLC 예제로 구현한 MCP

AI와 공장 자동화(FA)연동 따라하기 - PLC 예제로 구현한 MCP

Agent의 Tool Calling 핵심은 LLM이 도구에 맞는 명령을 생성하면, Agent 런타임이 실행하는 구조라 할 수 있다.

그림1. Agent↔LLM 구조

Context Injection

그림1 에서 Agent가 LLM을 호출할 때 현재 환경 정보를 프롬프트에 함께 담아 전달하는 것을 Context Injection이라고 한다.
예를 들어 PC에 설치된 컴파일러, 프로젝트 환경설정, 사용 가능한 도구들, 수행계획 등등 다양한 정보를 함께 전달하면

LLM은 이 정보를 보고 판단하여 환경에 맞는 명령을 생성한다.

Monolithic 프로젝트나 관련 리소스가 많은 경우, 모든 정보를 담아 LLM에 요청하는 일이 발생할 수 있다.
이는 응답이 너무 길어져 처리 중 중단되거나 토큰 사용량이 많이 발생하는 원인이 된다.

---

AI 우회 전략 - Worker Agent 패턴

최근에 회사에서 사용하는 AI를 Github Copilot으로 바꿨는데, Github Copilot Business 계정을 사용한다면 다음 제약이 있다.

 

VSCode Extention이나 Copilot CLI는 연결된 GitHub 계정으로 로그인하여 사용할 수 있지만,

사내 API Key는 보안이슈로 직접 만든 프로그램에서 Copilot을 호출하는 것은 정책상 불가능하다.

VSCode Extension	✅	지원
Copilot CLI	✅	지원
Github API Token (직접 호출)	❌	Business 계정 정책으로 불가능

이 제약을 우회할 수 있는 방법이 Worker Agent 패턴이다.

 

그림1 에서 Agent가 실행하기 위한 핵심은 LLM에게 환경을 전달하는 것을 알 수 있었다.

이때 Context Injection을 대신 수행하는 중간 Agent를 두면 직접 API 호출 없이 우회가 가능하다.

 

내 프로그램이 Copilot에게 직접 요청하는 대신, CLI를 대신 실행해 주는 중간 프로세스(Worker Agent)를 통하는 방식이다.

Worker Agent Pattern

Worker Agent가 단순히 CLI 한 번 호출하고 끝이라면 User가 직접 Copilot CLI를 실행해도 동일하다.
Worker Agent가 진가를 발휘하는 것은 Tool 실행 루프가 필요한 경우,
즉 LLM이 "파일 읽기→분석→빌드→테스트→파일 수정"처럼 여러 번 왔다 갔다 해야 할 때 이다.

---

Multi Agent - Orchestrator 패턴

Single Agent의 한계

하나의 Agent에 설계, 구현, 테스트, 리뷰를 전부 하도록 구성하면 다음과 같은 문제가 발생한다.

• 컨텍스트 과부하: 토큰 수가 너무 길어져 앞의 내용을 잊거나 생성 품질이 떨어진다.
• 역할 혼재: 서로 특성이 맞지 않는 작업을 동시에 진행하면 역효과가 난다. (ex. 소설 쓰기/정보검색을 동시에 진행하는 Agent)
• 재사용 불가: 특정 프로젝트에 오버피팅된 Agent는 다른 곳에 쓰기 어렵다.

Multi Agent의 장점

따라서 Agent를 역할별로 분리하고, 전체 흐름을 관리하는 Orchestrator Agent를 두는 Multi-Agent 방식이 등장했다.

• 전문화: 각각의 Agent가 자신의 역할에 집중, 품질상승.
• 컨텍스트 절약: 역할에 필요한 정보만 가지므로 토큰 낭비를 줄일 수 있음.
• 재사용성: Project의존성을 제거할 수 있어 재사용이 가능함.
• 병렬처리: 독립된 Agent끼리 동시에 작업 가능.
• 유지보수: 문제 발생 시 어느 Agent에서 발생했는지 특정하기 쉬움.

Multi-Agent 구조 (Orchestrator Pattern)

---

회고

최근 들어 항시 느끼는 것은 AI발전은 너무 빠르고 성능평가가 이루어지지 않은 채 AI를 사용하면서, 공포감을 느낀다.

생산성을 위해 AI를 필수로 사용해야 하지만,

코드를 빠르게 만들어주는 주면서 지식이 단기기억으로 들어가는 것 같다.

 

그나마 이번에 시간을 내 Agent에 대한 개념과 동작원리를 정리할 수 있었고, 다음번엔 Worker Agent를 직접 만들어
Github Copilot과 연동해 실행하는 프로그램을 만들어 봐야겠다.

 

PS. LLM에 대해 학습하며 VLM(Vision Language Model), VLA(Vision-Language-Action) 모델이라는 것을 알았다.

LLM처럼 빅데이터를 이용해 Model 생성시점부터 Vision영상분석과 Action추론이 가능하도록 만든 생성형 모델이다.

구분	LLM	VLM	VLA (피지컬 AI)
입력	텍스트	텍스트 + 이미지	텍스트 + 이미지 + 센서
출력	텍스트	텍스트	텍스트 + 행동 명령
현실 세계 상호작용	불가능	관찰만 가능	직접 조작 가능
학습 데이터	인터넷 텍스트	텍스트 + 이미지	현장 센서 + 로봇 동작

부족한 부분이나 더 궁금한 주제가 있다면 댓글로 남겨주세요.
직접 공부해서 다음 글로 정리해 보려고 합니다.

함께 볼만한 글 AI IDE: 2026.02.17 - [개발] - 구글 Antigravity 사용 후기 - QML프로젝트로 AI IDE 특징 알아보기

구글 Antigravity 사용 후기 - QML프로젝트로 AI IDE 특징 알아보기