Průvodce integrací pro LLM bez omezení

Základní URL a ověření

Naše API je na https://api.localuncensoredllm.com/v1. Ověřujete platnost předáním svého klíče v Authorization hlavička. Toto nastavení odpovídá standardním integracím OpenAI. Nepotřebujete složitou logiku směrování. Základní URL řeší veškeré směrování požadavků.

• Použít Bearer <YOUR_API_KEY> pro autorizaci.
• Klíč je vygenerován okamžitě po registraci.

To zajišťuje, že vaše prompty jdou přímo do našeho modelu bez zábran. Žádný middleware nefiltruje váš vstup. Okamžitě získáte přímý přístup k možnostem modelu.

POST /v1/chat/completions: Odesílání vašeho promptu

Odeslat JSON payload na koncový bod dokončení chatu. Toto je standardní způsob, jak získat textové odpovědi od modelu. Definujete obsah zprávy a systémové instrukce. Model zpracuje váš vstup a vrátí dokončení.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Tento endpoint řeší všechny vaše potřeby generování textu. Můžete upravit parametry, jako je teplota a top_p. Odpověď obsahuje vygenerovaný text a statistiky využití tokenů. Je jednoduchá, přímá a spolehlivá.

GET /v1/models: ověření vašeho endpointu

Vyhledejte endpoint modelů pro potvrzení připojení. Vrátí se seznam dostupných modelů. Měli byste vidět uncensored v odpovědi. To potvrzuje, že váš klíč je platný a služba běží.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Použijte toto k ověření nastavení před odesláním zátěže. Je to rychlá kontrola funkčnosti. Pokud koncový bod odpoví, vaše integrace funguje správně. Můžete pokračovat s jistotou.

Streamování, režim JSON a volání nástrojů

Povolte streamování nastavením stream: true. API vrací chunky, jak jsou generovány. To snižuje vnímanou latenci pro dlouhé odpovědi. Můžete také vynutit výstup ve formátu JSON pomocí response_format. To je užitečné pro parsování strukturovaných dat.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Volání funkcí je podporováno přes tools parametr. Definujte své nástroje ve standardním formátu OpenAI. Model bude výstupně generovat volání nástrojů, když je to vhodné. To umožňuje komplexní pracovní postupy agentů. Vše funguje v rámci stejného smluvního rozhraní API.

Omezení rychlosti a souběžnost

Každý API klíč je omezen na 300 požadavků za minutu. Můžete mít aktivních až 8 souběžných požadavků. To zabraňuje tomu, aby jeden klient monopolizoval zdroje. Limit platí na klíč, nikoliv na účet. Řiďte se podle toho při správě klíčů.

• Velikost těla požadavku je 8 MB.
• Překročení limitů vrací chybu 429.

Plánujte svou propustnost na základě těchto omezení. Systém je navržen pro stabilní, vysokoprovozový provoz. Špičkový provoz je zvládán v rámci okna souběžných požadavků.

Chyby, kredity a kontextové okno

Chyba 401 znamená, že váš klíč je neplatný. Chyba 402 znamená nedostatek kreditu. Dobijte jej pomocí kryptoměn, abyste mohli pokračovat. Chyby nespotřebovávají váš kredit. To zajišťuje, že platíte pouze za úspěšné odpovědi.

Okno kontextu má 100 000 tokenů. To zahrnuje jak prompt, tak completion. Můžete nastavit výchozí max_tokens na 2 048, pokud je to potřeba. Vaše prompty se nepoužívají pro trénink. Soukromí je zachováno po celou dobu.

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)