Посібник з інтеграції uncensored LLM

Базова URL-адреса та аутентифікація

Наш API знаходиться за адресою https://api.localuncensoredllm.com/v1. Ви автентифікуєтесь, передаючи свій ключ у Authorization header. Ця конфігурація імітує стандартні інтеграції OpenAI. Вам не потрібна складна логіка маршрутизації. Базова URL-адреса обробляє всю маршрутизацію запитів.

• Використовувати Bearer <YOUR_API_KEY> для авторизації.
• Ключ генерується миттєво під час реєстрації.

Це забезпечує, що ваші промпти надходять безпосередньо до нашої моделі без цензури. Немає проміжного програмного забезпечення, яке фільтрувало б ваш вхід. Ви одразу отримуєте прямий доступ до можливостей моделі.

POST /v1/chat/completions: Надсилання вашого запиту

Надішліть JSON-пакет на ендпоінт chat completions. Це стандартний спосіб отримання текстових відповідей від моделі. Ви визначаєте вміст повідомлення та системні інструкції. Модель обробляє ваш вхід і повертає завершення.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Цей ендпоінт обробляє всі ваші потреби в генерації тексту. Ви можете налаштовувати параметри, такі як temperature та top_p. Відповідь містить згенерований текст та статистику використання токенів. Це просто, прямо і надійно.

GET /v1/models: перевірка вашого endpoint

Запитайте до кінцевої точки models, щоб підтвердити підключення. Це повертає список доступних моделей. Ви повинні побачити uncensored у відповіді. Це підтверджує, що ваш ключ дійсний і служба працює.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Використовуйте це для перевірки налаштувань перед надсиланням великого навантаження. Це швидка перевірка працездатності. Якщо кінцева точка відповідає, ваша інтеграція працює правильно. Ви можете продовжувати впевнено.

Потокова передача, режим JSON та виклик інструментів

Увімкніть потокову передачу, встановивши stream: true. API повертає чанки по мірі їх генерації. Це знижує сприйняту затримку для довгих відповідей. Ви також можете примусово отримати вихід у форматі JSON, використовуючи response_format. Це корисно для парсингу структурованих даних.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Виклик функцій підтримується через tools параметр. Визначте свої інструменти у стандартному форматі OpenAI. Модель буде виводити виклики інструментів, коли це доречно. Це дозволяє створювати складні робочі процеси агентів. Все працює в межах одного контракту API.

Ліміти швидкості та паралельність

Кожний API-ключ обмежено 300 запитами на хвилину. Ви можете виконувати до 8 паралельних запитів. Це запобігає монополізації ресурсів окремими клієнтами. Ліміт діє на кожен ключ окремо, а не на весь обліковий запис. Керуйте своїми ключами відповідним чином.

• Максимальний розмір тіла запиту становить 8 МБ.
• Перевищення лімітів повертає помилку 429.

Заплануйте свою пропускну здатність відповідно до цих обмежень. Система розроблена для стабільного, високооб'ємного використання. Сплески трафіку обробляються в межах вікна паралельних запитів.

Помилки, кредити та вікно контексту

Помилка 401 означає, що ваш ключ недійсний. Помилка 402 вказує на недостатній баланс. Поповніть рахунок через криптовалюту, щоб продовжити. Помилки не споживають ваші кошти. Це гарантує, що ви платите лише за успішні відповіді.

Розмір контекстного вікна становить 100 000 токенів. Це включає як промпт, так і відповідь. Ви можете генерувати до 16 000 токенів на запит. За необхідності встановіть max_tokens за замовчуванням рівним 2 048. Ваші промпти не використовуються для навчання. Конфіденційність зберігається протягом усього процесу.

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)