LangChain (발표자료)

 

GPT 계열 언어모델(LLM)의 한계와 LangChain을 활용한 극복 전략

1.

GPT 계열의 언어모델(ChatGPT 포함)은 자연어 처리 기술의 발전을 대표하는 도구로, 많은 사람들이 일상 대화는 물론, 실무 영역에서도 적극적으로 활용하고 있습니다. 

 

그러나 실제로 적용해 보면 다음과 같은 구조적 한계를 경험하게 된다.

이러한 한계는 정확성, 확장성, 신뢰성의 저하로 이어질 수 있다.

본 발표에서는 LLM이 가진 주요 한계를 정리하고,

이를 극복하기 위한 프레임워크인 LangChain의 구조와 기능을 설명하겠습니다 

2. LLM의 한계

-  파인튜닝(Fine-Tuning)의 높은 비용

파인튜닝 : 사전학습(pre-trained)된 언어모델에 ‘내가 가진 데이터’를 추가로 학습시켜, 특정 업무나 도메인에 특화된 모델을 만드는 것.

• 특정 도메인에 특화된 성능을 얻기 위해 파인튜닝이 필요하지만, 이 과정에는 고비용 인프라, 정제된 데이터셋, 반복 학습이 필요하다.
• GPT 모델은 지속적인 업데이트가 필요하므로, 유지보수 비용도 크다.
• 파인튜닝된 모델은 유연성이 낮고, 새로운 도메인에 바로 적용하기 어렵다.

- 토큰 제한(Token Limit)

• GPT-3.5는 약 4,000 tokens, GPT-4(8K 버전)는 약 8,000 tokens까지만 처리 가능.
• 입력과 출력 토큰 수를 합산하기 때문에, 긴 문서나 대화 이력을 모두 포함하기 어렵다.
• 이는 요약, 질의응답, 문서 기반 분석 시스템에서 큰 제약이 된다.

- 환각 현상(Hallucination)

• 모델이 실제로 존재하지 않는 정보나 사실을 그럴듯하게 생성하는 현상.
• LLM은 말 그대로 “다음에 올 단어의 확률”을 예측해서 문장을 만드는 모델
• 예: 틀린 코드, 부정확한 통계 수치, 존재하지 않는 인물 인용 등.
• 특히  정확성이 중요한 도메인(법률, 의료, 회계 등)에서 위험하다.

- 외부 시스템과의 단절

• LLM은 자체적으로 실시간 웹 검색, DB 조회, API 연동 등을 수행할 수 없다.
• 최신 정보, 사내 시스템 데이터, 외부 계산 등이 필요한 실무에서는 기능적으로 한계가 있다.

3. LangChain이란?

LangChain은 LLM의 실무 활용성을 높이기 위해 등장한 오픈소스 프레임워크로, 언어모델이 외부 도구 및 데이터와 상호작용하며 더 지능적인 작업을 수행할 수 있도록 지원합니다.
기능명설명

Chain	여러 단계를 연결한 작업 흐름 구성 가능, 하나 이상의 LLM 구성요소 간의 논리적 연결인 Chain은 LangChain의 기능의 주축입니다. Chains은 필요성 및 관련된 LLM의 특징에 따라 단순한 것부터 복잡한 것까지 다양할 수 있습니다. 체인(Chains) 생성 단계는 이전의 LLM과정을 모두 하나로 묶어 하나의 RAG 파이프라인으로 조립하여 완성하는 단계
Memory	대화의 맥락(기억)을 유지하며 연속성 있는 응답 가능
Agent	모델이 상황에 따라 도구 선택 및 사용 방식 결정, 자신의 프로세스를 동적으로  지시한다. 상황에 대해 판단하고  개입하면 동적인 agent
Tool	계산기, 웹 검색, DB 조회 등 외부 기능을 API로 연동 가능
RAG (Retrieval-Augmented Generation)	질문과 관련된 정보를 벡터DB에서 검색 후 해당 내용 기반으로 응답 RAG는 필요할 때마다 외부에서 정보를 검색해서 참조한 뒤, 그걸 바탕으로 정답을 만들어. -학습 시점 이후의 최신 정보를 알지못하고 특정분야의 전문성이 떨어지는 문제 해결

 

4. LangChain으로 LLM 한계 극복하기

- 파인튜닝 비용 문제 → In-context Learning (엔샵 러닝)

• LangChain은 별도의 모델 학습 없이, 프롬프트에 예시(예: few-shot 예시)를 삽입하여 모델을 일시적으로 특화된 응답이 가능하도록 함.
• 모델을 weights 자체를 변경하는 fine-tuning (파인튜닝)을 하지 않는다. 
• 모델을 새로 학습(fine-tuning)하지 않고,프롬프트 안에 예시나 설명을 넣어서 모델이 바로 따라하게 만드는 학습 방식이야.
• 파인튜닝 없이도 커스터마이징이 가능하며, 유지보수 비용이 절감된다.

예시: 이력서 자동 평가 시스템에서, 3~5개의 예시 문장을 프롬프트에 넣는 것만으로 맞춤형 평가 문장 생성 가능.

- 토큰 제한 → RAG 기반 정보 검색 구조

• LangChain의 VectorstoreRetriever는 문서를 벡터로 변환하여 저장하고, 질문 시 관련 문서 일부만 찾아서 LLM에 전달.
• 전체 문서를 전달하지 않아도 되므로 토큰 사용량을 최소화하면서도 정답에 가까운 응답 생성이 가능.
• 방대한 데이터에서 찾는 것보다 미리 알려준 데이터에서 찾아 토큰 사용량을최소화

예시: 30페이지 분량의 계약서에서 '해지 조건'에 대한 질문 시, 관련 문단만 검색해 요약하여 응답.

- 환각 문제 → 외부 문서 기반 정확도 보강

• LLM에 문서 기반 context를 제공하거나, 외부 Tool에서 데이터를 가져와 환각 현상 억제 가능.
• Agent + Tool 조합으로 사실 기반 근거를 포함한 응답 유도.

예시: "회사 연차 규정이 어떻게 돼?"라는 질문에 대해, 사내 규정 문서 검색 → 해당 문단 기반 응답 생성.

- 외부 시스템 미연동 문제 → Agent + Tool로 확장

• LangChain의 Agent는 질문 의도에 따라 사용할 Tool을 스스로 선택함.
• Tool은 API, 계산기, DB 질의, 웹 검색 등 실시간 연동 도구로 구성할 수 있음.

예시: "서울 내일 날씨 어때?" 질문 → Agent가 날씨 API 호출 Tool 선택 → 실시간 정보 수집 후 응답.

 

5. 실무 적용 예시: 계약서 요약 챗봇

기능 흐름

1. 사용자가 계약서 PDF 업로드
2. LangChain이 문서 전체를 벡터로 변환하여 VectorDB에 저장
3. 사용자가 "위약금 조건이 뭐야?"라고 질문
4. 관련 문단 검색 → LLM에 요약 요청 → 응답 전달

장점

• 토큰 절약 (전체 문서 입력 불필요)
• 정보 정확도 향상 (문서 기반 응답)
• 도메인 특화 응답 가능 (예시 기반 프롬프트 + 검색)

 

6. 결론

GPT 계열 언어모델은 매우 강력한 도구지만, 단독으로는 실무에 투입하기엔 분명한 한계가 존재한다. LangChain은 이 한계를 구조적으로 보완할 수 있는 프레임워크로, 다음과 같은 장점을 제공한다:

• 파인튜닝 없이도 빠른 적응(In-context learning)
• 토큰 낭비 없이 필요한 정보만 추출(RAG)
• 환각 최소화 및 정확도 향상(외부 문서 기반)
• 실시간 시스템과의 연동(Agent + Tool)

GPT를 업무에 본격 도입하고자 한다면, LangChain은 선택이 아닌 필수 도구로 자리잡고 있다.

글 정리하면서 읽어본 자료 

https://aws.amazon.com/ko/what-is/langchain/

https://www.samsungsds.com/kr/insights/what-is-langchain.html

https://moondb.inblog.io/13538

Langchain으로 RAG 구현하기 (1) - 데이터 쓰는 문덕배

https://hkkwon.tistory.com/82