Ghid de integrare pentru LLM fără cenzură

URL de bază și autentificare

API-ul nostru se află la https://api.localuncensoredllm.com/v1. Te autentifici trecând cheia în Authorization header. Această configurare imită integrările standard OpenAI. Nu ai nevoie de logică complexă de rutare. URL-ul de bază se ocupă de direcționarea tuturor solicitărilor.

• Utilizare Bearer <YOUR_API_KEY> pentru autorizare.
• Cheia este generată instantaneu la înregistrare.

Aceasta asigură că prompturile ajung direct la modelul nostru uncensored. Nu există un middleware care să filtreze intrarea. Aveți acces brut la capacitățile modelului imediat.

POST /v1/chat/completions: trimiterea promptului tău

Trimiteți un payload JSON către endpoint-ul completări chat. Aceasta este metoda standard pentru a obține răspunsuri text de la model. Definești conținutul mesajului și instrucțiunile de sistem. Modelul procesează input-ul și returnează o completare.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Acest endpoint gestionează toate nevoile dvs. de generare a textului. Puteți ajusta parametri precum temperatura și top_p. Răspunsul include textul generat și statisticele de utilizare a tokenilor. Este simplu, direct și fiabil.

GET /v1/models: verificarea endpoint-ului dvs.

Interogare endpoint-ul modelelor pentru a confirma conectivitatea. Acesta returnează o listă de modele disponibile. Ar trebui să vezi uncensored în răspuns. Acest lucru confirmă că cheia este validă și că serviciul rulează.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Folosiți acest lucru pentru a vă verifica configurația înainte de a trimite sarcini de lucru grele. Este o verificare rapidă de sănătate. Dacă endpoint-ul răspunde, integrarea dumneavoastră funcționează corect. Puteți continua cu încredere.

Streaming, modul JSON și apelarea de tool-uri

Activați streaming-ul setând stream: true. API returnează fragmente pe măsură ce sunt generate. Acest lucru reduce latența percepută pentru răspunsurile lungi. Poți forța, de asemenea, ieșirea JSON folosind response_format. Acest lucru este util pentru analizarea datelor structurate.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Funcționarea prin apeluri de funcții este suportată prin tools parametru. Definește-ți instrumentele în formatul standard OpenAI. Modelul va returna apeluri de instrumente atunci când este potrivit. Acest lucru permite fluxuri de lucru complexe ale agenților. Totul funcționează în cadrul aceleiași contracte API.

Limite de rată și concurență

Fiecare cheie API este limitată la 300 de cereri pe minut. Puteți avea până la 8 cereri concurente. Acest lucru previne monopolizarea resurselor de către un singur client. Limita se aplică pe cheie, nu pe cont. Gestionați-vă cheile în consecință.

• Dimensiunea maximă a corpului solicitării este de 8 MB.
• Depășirea limitelor returnează o eroare 429.

Planifică-ți throughput-ul în funcție de aceste constrângeri. Sistemul este conceput pentru utilizare constantă, în volum mare. Traficul în valuri este gestionat în fereastra de cereri concurente.

Erori, credite și fereastră de context

Eroarea 401 înseamnă că cheia ta este invalidă. O eroare 402 indică credit insuficient. Reîncarcă prin criptomonede pentru a continua. Erorile nu consumă creditele. Acest lucru asigură că plătești doar pentru răspunsurile reușite.

Fereastra de context are 100.000 de tokeni. Aceasta include atât promptul, cât și completarea. Puteți seta max_tokens implicit la 2.048 dacă este necesar. Prompturile tale nu sunt utilizate pentru antrenament. Confidențialitatea este menținută pe tot parcursul procesului.

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)