Integrációs útmutató az uncensored LLM-hez

Base URL és hitelesítés

API-nk itt található: https://api.localuncensoredllm.com/v1. A hitelesítéshez adja át a kulcsát a Authorization header. Ez a beállítás tükrözi a szabványos OpenAI integrációkat. Nem kell bonyolított irányítási logikát használnod. Az alap URL kezeli az összes kérés továbbítását.

• Használat Bearer <YOUR_API_KEY> az authorizációhoz.
• A kulcs azonnal generálódik regisztrációkor.

Ez biztosítja, hogy a promptjai közvetlenül az uncensored modellünkhöz kerüljenek. Nincs köztes réteg, amely szűrné a bemenetet. Azonnal hozzáférést kap a modell képességeihez.

POST /v1/chat/completions: A prompt küldése

Küldjön egy JSON payloadt a chat completions végpontra. Ez a szabványos módja a szöveges válaszok lekérésének a modelltől. Megadja az üzenet tartalmát és a rendszer utasításokat. A modell feldolgozza a bemenetet, és visszaad egy completion-t.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Ez a végpont kezeli az összes szöveggenerálási igényét. Módosíthat olyan paramétereket, mint a temperature és a top_p. A válasz tartalmazza a generált szöveget és a token használati statisztikákat. Egyszerű, közvetlen és megbízható.

GET /v1/models: A végpont ellenőrzése

Query a modellek végpontját a kapcsolódás megerősítésére. Ez listát ad vissza az elérhető modellekről. Látnia kell uncensored a válaszban. Ez megerősíti, hogy a kulcsod érvényes, és a szolgáltatás fut.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Használja ezt a beállítás ellenőrzésére nehéz terhek küldése előtt. Ez egy gyors ellenőrzés. Ha a végpont reagál, az integráció megfelelően működik. Biztosan folytathatja.

Streamelés, JSON mód és eszközhasználat

Engedélyezze a streamelést úgy, hogy stream: true. Az API chunkokat ad vissza az előállításuk során. Ez csökkenti az észlelt késleltetést hosszú válaszok esetén. JSON kimenetet is kikényszeríthet a response_format. Ez hasznos a strukturált adatok feldolgozásához.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

A function calling a tools paraméter. Határozza meg az eszközöket a szabványos OpenAI formátumban. A modell megfelelő esetben eszközhívásokat ad ki. Ez lehetővé teszi a komplex ügynök munkafolyamatokat. Minden ugyanabban az API szerződésen belül működik.

Sebességkorlátok és párhuzamosság

Minden API-kulcs percenként 300 kérésre van korlátozva. Egyidejűleg legfeljebb 8 kérés futtatható. Ez megakadályozza, hogy egyetlen ügyfél monopolizálja az erőforrásokat. A korlát kulcsonként, nem fiókonként vonatkozik. Kezelje megfelelően a kulcsait.

• A maximális kéremtörzs mérete 8 MB.
• A korlátok átlépése 429-es hibát ad vissza.

Tervezze meg az áteresztőképességet ezek szerint a korlátok szerint. A rendszert egyenletes, nagy volumenű használatra tervezték. A csúcsforgalmat a párhuzamos kérések ablakán belül kezeli.

Hibák, hitelek és kontextusablak

A 401-es hiba azt jelzi, hogy a kulcs érvénytelen. A 402-es hiba elégtelen egyenleget jelez. Töltse fel kripto fizetéssel a folytatáshoz. A hibák nem fogyasztják az egyenleget. Ez biztosítja, hogy csak a sikeres válaszokért fizessen.

A kontextusablak 100 000 token. Ez magában foglalja a promptot és a kiegészítést. Kérelemenként akár 16 000 token generálható. Állítsd be az alapértelmezett max_tokens értéket 2 048-ra, ha szükséges. A promptjaid nem kerülnek betanításra. A magánélet megmarad a folyamat során.

Streamelés

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)