VI ▾
Lấy khóa API
https://api.deepseekapipricing.com/v1

Cài đặt LangChain API DeepSeek: Python và Node

Để thiết lập DeepSeek API với LangChain, bạn chỉ cần lớp ChatOpenAI, base URL, khóa và tên mô hình. Hướng dẫn này bao gồm mã Python và Node cho chat, streaming, gọi công cụ, đầu ra JSON và độ đồng thời, sử dụng một endpoint độc lập tương thích OpenAI thay vì API của nhà cung cấp.

Cập nhật

Các mắt xích sáng kết nối máy chủ với bong bóng trò chuyện, đại diện cho tích hợp LangChain với API

Điểm chính

  1. Sử dụng ChatOpenAI với base_url được đặt thành https://api.deepseekapipricing.com/v1 và mô hình uncensored.
  2. Truyền api_key rõ ràng để khóa OpenAI trong môi trường của bạn không bao giờ được gửi đến đây.
  3. Streaming, bind_tools và chế độ JSON hoạt động thông qua các tham số định dạng OpenAI tiêu chuẩn.
  4. Giới hạn max_concurrency ở mức 8 cho khóa đầy đủ, hoặc 2 cho khóa dùng thử, để tránh lỗi 429.

Những gì bạn cần trước khi bắt đầu

LangChain giao tiếp với bất kỳ máy chủ nào triển khai giao thức chat completions của OpenAI, vì vậy không cần cài đặt tích hợp đặc biệt. Điểm bắt đầu của bạn là gói tương tự bạn sẽ sử dụng cho chính OpenAI: langchain-openai cho Python hoặc @langchain/openai cho Node. Chỉ có ba giá trị thay đổi.

  • Base URL: https://api.deepseekapipricing.com/v1
  • Mô hình: uncensored
  • Khóa: được gửi dưới dạng Authorization: Bearer <key>, client thực hiện việc này cho bạn

Làm rõ về cách đặt tên. Endpoint này là một dịch vụ độc lập chạy một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung, dành cho người trưởng thành sử dụng hợp pháp. Đây không phải là API chính thức của DeepSeek và không phải là bộ định tuyến giữa các nhà cung cấp, vì vậy tên mô hình luôn là uncensored, không phải là ID mô hình của nhà cung cấp. Nếu bạn cần khóa, trang API key hiển thị các bước đăng ký và gói dùng thử $0,50 chỉ với một cú nhấp chuột.

Cài đặt và thực hiện cuộc gọi đầu tiên trong Python

Cài đặt các gói:

pip install -U langchain-openai langchain-core
# then use base_url https://api.deepseekapipricing.com/v1 and model "uncensored"

Sau đó, tạo đối tượng mô hình. Truyền khóa một cách rõ ràng thay vì dựa vào biến môi trường OPENAI_API_KEY, biến này có thể chứa khóa OpenAI thực tế mà bạn không muốn gửi đến một máy chủ khác.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.deepseekapipricing.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    temperature=0.7,
    max_retries=2,
)

print(llm.invoke("Say hello in five words.").content)

Nếu điều này in lời chào, kết nối, khóa và tên mô hình đều chính xác. Sai lầm phổ biến nhất ở giai đoạn này là bỏ sót /v1 trong base URL, thường dẫn đến lỗi không tìm thấy.

Prompt, chuỗi và truyền phát

Từ đây, LangChain hoạt động như bình thường. Một mẫu prompt, mô hình và trình phân tích đầu ra được kết hợp thành một chuỗi với toán tử pipe:

# llm = ChatOpenAI(model="uncensored", base_url="https://api.deepseekapipricing.com/v1", ...)
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write tight, vivid scene descriptions for adult fiction."),
    ("human", "Describe this setting in under 80 words: {setting}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"setting": "a flooded subway station at night"}))

Streaming diễn ra qua các sự kiện do máy chủ gửi. Trong LangChain, bạn gọi stream và mỗi chunk mang một phần văn bản. Đặt stream_usage=True trên mô hình nếu bạn muốn đếm token ở cuối luồng; API gửi dữ liệu sử dụng trong sự kiện cuối cùng.

llm_stream = ChatOpenAI(
    model="uncensored",
    base_url="https://api.deepseekapipricing.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    stream_usage=True,
)

for chunk in llm_stream.stream("Write a four-line poem about a night train."):
    print(chunk.content, end="", flush=True)

Một yêu cầu streaming giữ slot đồng thời của nó cho đến khi luồng kết thúc, vì vậy nếu bạn hủy luồng mà không đóng nó, slot đó sẽ bận lâu hơn bạn mong đợi.

Node và TypeScript

Gói JavaScript lấy base URL bên trong một đối tượng configuration:

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: { baseURL: "https://api.deepseekapipricing.com/v1" },
  maxRetries: 2,
});

const res = await llm.invoke("Say hello in five words.");
console.log(res.content);

const stream = await llm.stream("Write a four-line poem about a night train.");
for await (const chunk of stream) {
  process.stdout.write(chunk.content);
}

Chạy nó dưới dạng mô-đun ES ("type": "module" trong package.json, hoặc tệp .mjs). Mọi thứ khác trong API Node, bao gồm mẫu prompt và runnable, hoạt động như với bất kỳ mô hình trò chuyện nào khác.

Gọi công cụ và agent

API hỗ trợ định dạng công cụ OpenAI: các tham số tools và tool_choice, tool_calls được streaming, và kết quả công cụ được trả về dưới dạng tin nhắn với role: "tool". Trong LangChain, bạn khai báo công cụ bằng một decorator và đính kèm chúng với bind_tools:

# llm = ChatOpenAI(model="uncensored", base_url="https://api.deepseekapipricing.com/v1", ...)
from langchain_core.tools import tool
from langchain_core.messages import HumanMessage, ToolMessage

@tool
def order_status(order_id: str) -> str:
    """Return the shipping status of an order."""
    return f"Order {order_id} left the warehouse yesterday."

llm_tools = llm.bind_tools([order_status])

messages = [HumanMessage("Where is order 1042?")]
ai = llm_tools.invoke(messages)
messages.append(ai)

for call in ai.tool_calls:
    result = order_status.invoke(call["args"])
    messages.append(ToolMessage(content=result, tool_call_id=call["id"]))

print(llm_tools.invoke(messages).content)

Viết vòng lặp bằng tay một lần đáng giá mười phút. Nó cho bạn biết chính xác mô hình đã trả về gì, đối số nào nó đã chọn cho mỗi lần gọi và nơi mô tả công cụ kém dẫn đến dự đoán sai. Một khi điều đó rõ ràng, hãy chuyển sang agent được xây dựng sẵn và giữ phiên bản viết tay làm tài liệu tham khảo gỡ lỗi.

Đó là toàn bộ vòng lặp bằng tay: mô hình yêu cầu công cụ, bạn chạy nó, bạn trả kết quả và mô hình viết câu trả lời cuối cùng. Nếu bạn thích vòng lặp agent có sẵn, gói langgraph cung cấp create_react_agent(llm, [order_status]) và bạn gọi nó với {"messages": [("user", "Where is order 1042?")]}.

Khả năng chọn công cụ của một mô hình phụ thuộc vào mô hình đó, vì vậy bạn hãy thử nghiệm với các lược đồ công cụ thực tế của bạn. Các mô tả công cụ ngắn gọn, cụ thể và nhiệt độ thấp sẽ giúp ích. Một agent thực hiện sáu cuộc gọi với lịch sử phát triển khoảng 27.000 token đầu vào tổng cộng và 1.800 token đầu ra sẽ tốn khoảng $0,00405 cộng $0,0009, hoặc khoảng nửa xu.

Đầu ra có cấu trúc với chế độ JSON

Chế độ JSON được hỗ trợ thông qua response_format. Liên kết nó với mô hình và cũng nói trong prompt rằng bạn muốn JSON với các khóa cụ thể, vì cờ định dạng kiểm soát cú pháp, không phải lược đồ của bạn:

# llm = ChatOpenAI(model="uncensored", base_url="https://api.deepseekapipricing.com/v1", ...)
import json

json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke(
    "Return a JSON object with keys title (string) and tags (list of 3 strings) "
    "for a short story about a lighthouse keeper."
)
data = json.loads(msg.content)
print(data["title"], data["tags"])

Hãy xác thực kết quả đã phân tích bằng Pydantic hoặc các kiểm tra của riêng bạn trước khi tin tưởng nó, và xử lý json.JSONDecodeError bằng một lần thử lại. Đối với các công việc trích xuất lớn, hãy phân tích mọi phản hồi một cách phòng thủ thay vì giả định rằng phản hồi đầu tiên là sạch sẽ.

Truy xuất, bộ nhớ và callback

API này không có endpoint embeddings, vì vậy một pipeline truy xuất cần một nguồn embeddings riêng biệt. Mọi thứ sau khi truy xuất là trò chuyện đơn giản. Một chuỗi truy xuất điển hình lấy các đoạn phù hợp nhất từ kho lưu trữ vector của bạn, dán chúng vào prompt và yêu cầu mô hình trả lời từ văn bản đó. Vì cửa sổ ngữ cảnh là 100.000 token, bạn có thể dùng các đoạn dài, nhưng hãy nhớ hóa đơn: mỗi token của ngữ cảnh truy xuất là đầu vào với giá $0,15 mỗi triệu, vì vậy 20.000 token ngữ cảnh tốn $0,003 cho mỗi câu hỏi.

Đối với bộ nhớ trò chuyện, cách đơn giản nhất là một danh sách tin nhắn mà bạn cắt giảm theo số lượng token trước mỗi cuộc gọi. LangChain cung cấp các trợ giúp như trim_messages cho việc này. Giữ tin nhắn hệ thống và các lượt gần nhất và loại bỏ hoặc tóm tắt phần giữa một khi lịch sử đạt đến giới hạn bạn chọn. Lịch sử nhỏ hơn cũng giữ câu trả lời tập trung và giảm chi phí của mỗi lượt, vì toàn bộ lịch sử được gửi lại dưới dạng đầu vào mỗi lần.

Callback là nơi ghi lại chi phí của một cuộc gọi. Mỗi phản hồi bao gồm một khối sử dụng với token prompt và hoàn thành, và trong LangChain, tin nhắn trả về mang nó trong usage_metadata:

# llm = ChatOpenAI(model="uncensored", base_url="https://api.deepseekapipricing.com/v1", ...)
msg = llm.invoke("Name three rivers.")
u = msg.usage_metadata
cost = u["input_tokens"] * 0.15 / 1_000_000 + u["output_tokens"] * 0.50 / 1_000_000
print(u, f"${cost:.6f}")

Ghi nhật ký chi phí với ID yêu cầu để một hóa đơn đáng ngạc nhiên có thể được truy vết đến một chuỗi.

Prompt hệ thống và giọng điệu

Mô hình không có từ chối nội dung tích hợp, vì vậy tin nhắn hệ thống là nơi bạn đặt hành vi của sản phẩm của bạn: nhân vật, giọng điệu, các chủ đề nó nên tránh và định dạng của câu trả lời. Viết nó như bạn sẽ viết một bản tóm tắt cho một đồng nghiệp mới. Ngắn gọn và cụ thể hoạt động tốt hơn dài và mơ hồ. Nội dung liên quan đến người chưa thành niên là giới hạn cứng trên dịch vụ này, vì vậy đừng xây dựng prompt tiếp cận nó.

Một danh sách kiểm tra ngắn gọn trước khi bạn xuất bản

  • Khóa nằm trong biến môi trường hoặc secret store, không bao giờ trong repository.
  • max_concurrency được đặt thành giới hạn khóa của bạn, hoặc thấp hơn nếu các dịch vụ khác chia sẻ khóa.
  • Các lần thử lại sử dụng back-off ngắn và các phản hồi 429 với Retry-After: 5 được tôn trọng.
  • Các luồng được đóng khi client ngắt kết nối để giải phóng vị trí.
  • Đầu ra JSON được phân tích phòng thủ và xác thực.
  • Chi phí được ghi nhật ký theo chuỗi từ khối sử dụng.
  • Một phương án dự phòng tồn tại cho trường hợp endpoint không thể truy cập được, ngay cả khi phương án dự phòng là một thông báo lỗi.

Làm theo danh sách đó và tích hợp sẽ hoạt động như bất kỳ mô hình trò chuyện LangChain nào khác. Sự khác biệt nằm ở phía nội dung, nơi các yêu cầu mà các mô hình khác từ chối cho mục đích người lớn hợp pháp được trả lời.

Giới hạn tốc độ, độ đồng thời và lỗi phổ biến

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Body yêu cầu có thể lên đến 8 MB và cửa sổ ngữ cảnh là 100.000 token bao gồm prompt và hoàn thành cùng nhau.

Các trợ giúp hàng loạt của LangChain gửi song song các yêu cầu, vì vậy hãy đặt giới hạn phù hợp với khóa của bạn:

# llm = ChatOpenAI(model="uncensored", base_url="https://api.deepseekapipricing.com/v1", ...)
inputs = [{"setting": s} for s in ["a rooftop garden", "a desert diner", "a quiet harbor"]]
results = chain.batch(inputs, config={"max_concurrency": 8})

Sử dụng 2 thay vì 8 trên khóa dùng thử. Khi bạn vượt quá giới hạn, API trả về HTTP 429 với mã lỗi rate_limited (quá nhiều yêu cầu mỗi phút) hoặc concurrency (quá nhiều cùng lúc). Khi quá tải tạm thời, nó cũng trả về 429, với tiêu đề Retry-After: 5. Cài đặt max_retries trong máy khách xử lý các trường hợp tạm thời, nhưng nếu bạn thấy mã lỗi concurrency lặp lại, hãy giảm max_concurrency thay vì thêm các lần thử lại.

  • Lỗi không tìm thấy trên mọi cuộc gọi: kiểm tra xem base URL có kết thúc bằng /v1 không.
  • Lỗi xác thực: khóa bị thiếu hoặc có lỗi chính tả; xác nhận rằng nó được truyền qua api_key.
  • Lỗi mô hình: tên mô hình phải chính xác là uncensored.
  • Chạy batch chậm: các luồng bị treo chiếm slot độ đồng thời, vì vậy hãy đóng chúng hoặc đặt thời gian chờ.

Giá là $0,15 cho mỗi triệu token đầu vào và $0,50 cho mỗi triệu token đầu ra; các yêu cầu bị lỗi hoặc từ chối sẽ không bị tính phí. Trang giá cả liệt kê các khoản nạp tiền, và tài liệu bao gồm mọi tham số và các tiêu đề phản hồi, bao gồm X-Request-Id và X-Balance-USD, rất hữu ích để ghi log trong callback LangChain.

01

Hỏi đáp

Tôi nên sử dụng lớp LangChain nào?

Sử dụng ChatOpenAI từ langchain-openai trong Python, hoặc ChatOpenAI từ @langchain/openai trong Node. Đặt base URL thành https://api.deepseekapipricing.com/v1 và mô hình thành uncensored.

Truyền phát (streaming) có hoạt động với LangChain không?

Có. API truyền dữ liệu qua SSE và gửi thông tin sử dụng ở cuối, vì vậy llm.stream sẽ hoạt động. Đặt stream_usage=True nếu bạn muốn lấy số lượng token trong luồng truyền phát.

Tôi có thể sử dụng embeddings hoặc kho lưu trữ vector ở đây không?

Không từ API này. API này chỉ xử lý văn bản và không có endpoint embeddings, vì vậy hãy sử dụng một nguồn embedding riêng biệt để truy xuất và gửi văn bản đã truy xuất vào đây.

Tại sao tôi nhận được HTTP 429?

Có thể bạn đã vượt quá giới hạn mỗi phút (rate_limited), gửi quá nhiều yêu cầu cùng lúc (concurrency), hoặc nhà cung cấp đang bị quá tải tạm thời. Hãy giảm max_concurrency và tuân thủ tiêu đề Retry-After.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.

Lấy khóa API