Przewodnik integracyjny z LLM bez ograniczeń

Bazowy URL i autoryzacja

Nasz API znajduje się pod adresem https://api.localuncensoredllm.com/v1. Uwierzytelniasz się, przekazując swój klucz w Authorization Nagłówek. To rozwiązanie odzwierciedla standardowe integracje OpenAI. Nie potrzebujesz złożonej logiki trasowania. Adres bazowy obsługuje kierowanie wszystkich żądań.

• Użyj Bearer <YOUR_API_KEY> dla autoryzacji.
• Klucz jest generowany natychmiast po rejestracji.

To zapewnia, że Twoje prompty trafiają bezpośrednio do naszego modelu bez cenzury. Nie ma pośrednika filtrującego Twoje wejście. Otrzymujesz natychmiastowy dostęp do możliwości modelu.

POST /v1/chat/completions: Wysyłanie promptu

Wyślij ładunek JSON do endpointu chat completions. Jest to standardowy sposób uzyskiwania odpowiedzi tekstowych od modelu. Definiujesz treść wiadomości i instrukcje systemowe. Model przetwarza Twoje dane wejściowe i zwraca uzupełnienie.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Ten punkt końcowy obsługuje wszystkie Twoje potrzeby generowania tekstu. Możesz dostosować parametry takie jak temperatura i top_p. Odpowiedź zawiera wygenerowany tekst oraz statystyki użycia tokenów. Jest prosty, bezpośredni i niezawodny.

GET /v1/models: weryfikacja Twojego endpointu

Wywołaj endpoint modeli, aby potwierdzić łączność. Zwraca listę dostępnych modeli. Powinieneś zobaczyć uncensored w odpowiedzi. Potwierdza to ważność Twojego klucza i działanie usługi.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Użyj tego, aby zweryfikować konfigurację przed wysłaniem dużych obciążeń. Jest to szybki test sprawności. Jeśli endpoint odpowiada, Twoja integracja działa poprawnie. Możesz kontynuować z pewnością.

Strumieniowanie, tryb JSON i wywoływanie narzędzi

Włącz strumieniowanie, ustawiając stream: true. API zwraca fragmenty w miarę ich generowania. Zmniejsza to postrzeganą opóźnienie dla długich odpowiedzi. Możesz również wymusić wyjście w formacie JSON, używając response_format. Jest to przydatne do parsowania danych strukturalnych.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Wywoływanie funkcji jest obsługiwane poprzez tools parametr. Zdefiniuj swoje narzędzia w standardowym formacie OpenAI. Model będzie generował wywołania narzędzi, gdy będzie to odpowiednie. Pozwala to na złożone przepływy pracy agentów. Wszystko działa w ramach tej samej umowy API.

Ograniczenia częstotliwości i współbieżność

Każdy klucz API jest ograniczony do 300 żądań na minutę. Możesz mieć do 8 żądań równoległych. Zapobiega to monopolizacji zasobów przez pojedynczych klientów. Limit dotyczy poszczególnych kluczy, a nie całego konta. Zarządzaj kluczami odpowiednio.

• Maksymalny rozmiar treści żądania wynosi 8 MB.
• Przekroczenie limitów zwraca błąd 429.

Zaplanuj swoją przepustowość na podstawie tych ograniczeń. System jest zaprojektowany do stałego, wysokopoziomowego użycia. Ruch burstowy jest obsługiwany w ramach okna żądań współbieżnych.

Błędy, kredyty i okno kontekstowe

Błąd 401 oznacza, że Twój klucz jest nieprawidłowy. Błąd 402 oznacza niewystarczające środki. Doładuj konto poprzez kryptowaluty, aby kontynuować. Błędy nie zużywają Twoich środków. Gwarantuje to, że płacisz tylko za udane odpowiedzi.

Okno kontekstowe wynosi 100 000 tokenów. Obejmuje ono zarówno prompt, jak i uzupełnienie. Możesz ustawić domyślną wartość max_tokens na 2 048, jeśli jest to potrzebne. Twoje prompty nie są używane do trenowania. Prywatność jest zachowana przez cały proces.

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)