Integraatio-opas uncensored-llm:lle

Perus-URL ja todennus

API:n osoite on https://api.localuncensoredllm.com/v1. Autentikoit käyttämällä avaintasi Authorization header. Tämä kokoonpano jäljittelee standardia OpenAI-integraatiota. Sinun ei tarvitse käyttää monimutkaista reititykselogiikkaa. Perus-URL ohjaa kaikki pyynnöt.

• Käyttö Bearer <YOUR_API_KEY> valtuutusta varten.
• Avain luodaan välittömästi rekisteröitymisen yhteydessä.

Tämä varmistaa, että syötteetsi menevät suoraan uncensored-malliimme. Väliohjelmisto ei suodata syötteitäsi. Saat raakan pääsyn mallin ominaisuuksiin heti.

POST /v1/chat/completions: Promptin lähettäminen

Lähetä JSON-payload chat-valmispyyntöön. Tämä on vakiomenetelmä saada tekstivastauksia mallilta. Määrität viestisisällön ja järjestelmäohjeet. Malli käsittelee syötteesi ja palauttaa valmiin tekstin.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Tämä päätepiste käsittelee kaikki tekstintuotantotarpeesi. Voit säätää parametreja kuten lämpötilaa ja top_p. Vastaus sisältää tuotetun tekstin ja token-käytön tilastot. Se on yksinkertainen, suoraviivainen ja luotettava.

GET /v1/models: päätepisteen vahvistaminen

Kysy mallien päätepistettä varmistaaksesi yhteyden. Tämä palauttaa luettelon saatavilla olevista malleista. Sinun pitäisi nähdä uncensored vastauksessa. Tämä vahvistaa, että avaimesi on voimassa ja palvelu on käynnissä.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Käytä tätä varmistaaksesi asennuksesi ennen raskaiden kuormien lähettämistä. Se on nopea perustarkistus. Jos päätepiste vastaa, integraatiosi toimii oikein. Voit jatkaa varmuudella.

Streamaus, JSON-tila ja työkalujen kutsut

Ota streamaus käyttöön asettamalla stream: true. API palauttaa palautusosia niiden tuotessa. Tämä vähentää kokemaa viivettä pitkissä vastauksissa. Voit myös pakottaa JSON-tuloksen käyttämällä response_format. Tämä on hyödyllistä rakenteellisen datan jäsentämisessä.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Function calling tuetaan via the tools parametri. Määrittele työkalusi standardissa OpenAI-muodossa. Malli tuottaa työkalukutsuja sopivissa tilanteissa. Tämä mahdollistaa monimutkaiset agenttityövuorot. Kaikki toimii samassa API-sopimuksessa.

Nopeusrajoitukset ja samanaikaisuus

Jokaiselle API-avaimelle on rajoitettu 300 pyyntöä minuutissa. Voit käyttää enintään 8 samanaikaista pyyntöä. Tämä estää yksittäisten asiakkaiden monopolisoimasta resursseja. Raja on avainta kohti, ei tiliä kohti. Hallitse avaimiasi sen mukaisesti.

• Pyynnön rungon maksimikoko on 8 Mt.
• Rajojen ylittäminen palauttaa 429-virheen.

Suunnittele läpäisykykysi näiden rajoitusten perusteella. Järjestelmä on suunniteltu tasaiseen, suuren määrän käyttöön. Piikkiliikenne hoidetaan yhtäaikaispyyntöikkunan puitteissa.

Virheet, krediitit ja kontekstiluukku

Virhe 401 tarkoittaa, että avain on virheellinen. Virhe 402 tarkoittaa, että krediitti on riittämätön. Lisää varoja kryptomaksulla jatkaaksesi. Virheet eivät kuluta krediittejäsi. Tämä varmistaa, että maksat vain onnistuneista vastauksista.

Kontekstiikkoni on 100 000 tokenia. Tämä sisältää sekä promptin että vastauksen. Voit asettaa oletusarvon max_tokens arvoon 2 048 tarvittaessa. Promptejasi ei käytetä koulutukseen. Yksityisyys säilyy prosessin aikana.

Virtaus

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)