DeepSeek-V3 모델 langchain에서 사용하기

GPT-4o, Claude-3.5-sonnet과 비등한 성능을 보인다고 주장하는 오픈소스 모델, DeepSeek V3 모델이 출시되었습니다. DeepSeek은 중국의 AI 회사로, 지난 1년 반 동안 모든 AI 모델을 오픈소스로 출시했다는 점이 특징이죠. 6710억 개(671B)의 파라미터를 가진 이 모델은 총 14.8조 개(14.8 trillion)의 토큰으로 학습되었으며, 초당 60개의 토큰을 처리할 수 있다고 합니다. 2025년 2월 8일까지 DeepSeek-V3를 매우 할인된 가격으로 사용할 수 있다고 하니, 사용 안해볼 수 없겠죠. 이 포스팅에서는 DeepSeek-V3 모델을 langchain에서 사용하는 방법을 간단히 소개합니다.

환경 설정

langchain과 langchain-openai 를 설치합니다.

pip install langchain langchain-openai

DeepSeek 플랫폼에서 API 키를 발급받습니다. 아래 링크를 활용해주세요.

https://platform.deepseek.com/api_keys

발급받은 API 키를 저장해 둡니다. 저는 환경 변수에 API 키들을 저장해 두는 것을 선호해서, DEEPSEEK_API_KEY 환경 변수에 저장해 두었습니다

export DEEPSEEK_API_KEY="sk-...."

Langchain에서 DeepSeek-V3 사용하기

DeepSeek-V3 모델의 API는 OpenAI API와 호환되기 때문에, 간단한 설정 만으로 langchain 내에서 쉽게 사용이 가능합니다. 아래 간단한 코드 예시를 확인해 주세요. model 의 값을 "deepseek-chat"으로 설정하고, openai_api_base의 값을 "https://api.deepseek.com" 으로 설정하는 것이 중요합니다. os.getenv("DEEPSEEK_API_KEY") 부분은, 위에서 발급받으신 API 키 값으로 대체하셔도 무방합니다.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="deepseek-chat", 
    openai_api_key=os.getenv("DEEPSEEK_API_KEY"), 
    openai_api_base="https://api.deepseek.com", 
    max_tokens=1024
)

print(llm.invoke("Hello!"))

마치며

이 포스팅에서는 최신 오픈소스 LLM 모델 DeepSeek-V3 를 langchain에서 활용하는 방법에 대해 간단히 알아보았습니다. GPT-4o와 Claude-3.5-sonnet에 준하는 성능을 보이는 모델을 2025년 2월 8일까지 거의 10분의 1 가격으로 사용해볼 수 있다보니 DeepSeek이 연초 사용자를 꽤나 많이 끌어모을 수 있을 것 같다는 생각이 드네요. OpenAI와 Anthropic의 대응이 궁금해지는군요, 조만간 GPT-4o를 더 값싸게 이용해볼 수 있으려나요? 🙂