Hướng dẫn tích hợp LLM không kiểm duyệt

Base URL và xác thực

API của chúng tôi nằm tại https://api.localuncensoredllm.com/v1. Bạn xác thực bằng cách truyền khóa của bạn trong Authorization header. Cấu hình này mô phỏng các tích hợp OpenAI tiêu chuẩn. Bạn không cần logic định tuyến phức tạp. URL cơ bản xử lý tất cả việc định hướng yêu cầu.

• Sử dụng Bearer <YOUR_API_KEY> cho ủy quyền.
• Khóa được tạo ngay lập tức khi đăng ký.

Điều này đảm bảo các prompt của bạn được gửi trực tiếp đến mô hình không kiểm duyệt của chúng tôi. Không có middleware nào lọc đầu vào của bạn. Bạn có quyền truy cập thô vào các khả năng của mô hình ngay lập tức.

POST /v1/chat/completions: Gửi prompt của bạn

Gửi một tải trọng JSON đến điểm cuối hoàn thành trò chuyện. Đây là cách tiêu chuẩn để nhận phản hồi văn bản từ mô hình. Bạn xác định nội dung tin nhắn và hướng dẫn hệ thống. Mô hình xử lý đầu vào của bạn và trả về kết quả hoàn thiện.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Điểm cuối này xử lý tất cả nhu cầu tạo văn bản của bạn. Bạn có thể điều chỉnh các tham số như nhiệt độ và top_p. Phản hồi bao gồm văn bản được tạo và thống kê sử dụng token. Nó đơn giản, trực tiếp và đáng tin cậy.

GET /v1/models: xác minh điểm cuối của bạn

Truy vấn endpoint models để xác nhận kết nối. Điều này trả về danh sách các mô hình khả dụng. Bạn sẽ thấy uncensored trong phản hồi. Điều này xác nhận khóa của bạn là hợp lệ và dịch vụ đang hoạt động.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Sử dụng điều này để xác minh cài đặt của bạn trước khi gửi các khối lượng công việc lớn. Đây là một kiểm tra nhanh để đảm bảo mọi thứ hoạt động. Nếu endpoint phản hồi, tích hợp của bạn đang hoạt động chính xác. Bạn có thể tiếp tục với sự tự tin.

Streaming, chế độ JSON và gọi công cụ

Bật phát trực tiếp bằng cách đặt stream: true. API trả về các chunk khi chúng được tạo. Điều này giảm độ trễ cảm nhận đối với các phản hồi dài. Bạn cũng có thể buộc đầu ra JSON bằng cách sử dụng response_format. Điều này hữu ích cho việc phân tích dữ liệu có cấu trúc.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Gọi hàm được hỗ trợ thông qua các tools tham số. Xác định các công cụ của bạn theo định dạng OpenAI tiêu chuẩn. Mô hình sẽ xuất các lệnh gọi công cụ khi thích hợp. Điều này cho phép các quy trình làm việc tác nhân phức tạp. Mọi thứ đều hoạt động trong cùng hợp đồng API.

Giới hạn tốc độ và độ đồng thời

Mỗi khóa API được giới hạn ở 300 yêu cầu mỗi phút. Bạn có thể có tối đa 8 yêu cầu đồng thời. Điều này ngăn chặn các khách hàng đơn lẻ chiếm dụng tài nguyên. Giới hạn áp dụng cho từng khóa, không phải cho toàn bộ tài khoản. Hãy quản lý các khóa của bạn phù hợp.

• Kích thước thân yêu cầu tối đa là 8 MB.
• Vượt quá giới hạn trả về lỗi 429.

Lên kế hoạch thông lượng của bạn dựa trên các hạn chế này. Hệ thống được thiết kế cho việc sử dụng ổn định, khối lượng lớn. Lưu lượng truy cập tăng đột biến được xử lý trong cửa sổ yêu cầu đồng thời.

Lỗi, số dư và cửa sổ ngữ cảnh

Lỗi 401 có nghĩa là khóa của bạn không hợp lệ. Lỗi 402 cho biết số dư không đủ. Hãy nạp tiền qua tiền điện tử để tiếp tục. Lỗi không tiêu tốn số dư của bạn. Điều này đảm bảo bạn chỉ trả tiền cho các phản hồi thành công.

Cửa sổ ngữ cảnh là 100,000 token. Điều này bao gồm cả prompt và completion. Bạn có thể đặt max_tokens mặc định là 2,048 nếu cần. Các prompt của bạn không được sử dụng để huấn luyện. Quyền riêng tư được duy trì trong suốt quá trình.

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)