Uncensored LLM için entegrasyon rehberi

Temel URL ve kimlik doğrulama

API'miz şurada bulunur: https://api.localuncensoredllm.com/v1. Anahtarınızı Authorization header. Bu yapılandırma standart OpenAI entegrasyonlarını yansıtır. Karmaşık yönlendirme mantığına ihtiyacınız yoktur. Temel URL tüm istek yönlendirmelerini halleder.

• Kullan Bearer <YOUR_API_KEY> yetkilendirme için.
• Anahtar kayıt sırasında anında oluşturulur.

Bu, prompt'larınızın doğrudan uncensored modelimize gitmesini sağlar. Girdinizi filtreleyen bir ara katman yoktur. Modelin yeteneklerine hemen ham erişiminiz olur.

POST /v1/chat/completions: İsteminizi gönderme

chat completions uç noktasına bir JSON yükü gönderin. Bu, modelden metin yanıtları almanın standart yoludur. Mesaj içeriğini ve sistem talimatlarını tanımlarsınız. Model girdinizi işler ve bir tamamlama döndürür.

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

Bu uç nokta tüm meti üretim ihtiyaçlarınızı karşılar. Sıcaklık ve top_p gibi parametreleri ayarlayabilirsiniz. Yanıt, üretilen meti ve token kullanım istatistiklerini içerir. Basit, doğrudan ve güvenilirdir.

GET /v1/models: Uç noktanızı doğrulama

Bağlantıyı doğrulamak için modeller uç noktasını sorgulayın. Bu, mevcut modellerin bir listesini döndürür. Şunu görmelisiniz uncensored yanıtta. Bu, anahtarınızın geçerli olduğunu ve hizmetin çalıştığını doğrular.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kurulumunuzu doğrulamak ve ağır iş yükleri göndermeden önce bunu kullanın. Bu hızlı bir sağlamlık kontrolüdür. Uç nokta yanıt verirse, entegrasyonunuz doğru çalışıyor demektir. Güvenle devam edebilirsiniz.

Akış, JSON modu ve araç çağırma

Ayarlayarak akışı etkinleştirin stream: true. API, parçaları oluşturuldukları şekilde döndürür. Bu, uzun yanıtlar için algılanan gecikmeyi azaltır. JSON çıktısını zorlamak için de kullanabilirsiniz. response_format. Yapılandırılmış veri ayrıştırmak için bu faydalıdır.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Fonksiyon çağırma, aracılığıyla desteklenir tools parametre. Araçlarınızı standart OpenAI formatında tanımlayın. Model, uygun olduğunda araç çağrıları üretecektir. Bu, karmaşık ajan iş akışlarına olanak tanır. Her şey aynı API sözleşmesi içinde çalışır.

Hız limitleri ve eşzamanlılık

Her API anahtarı dakikada 300 istekle sınırlıdır. Eşzamanlı olarak en fazla 8 istek yapabilirsiniz. Bu durum, tek bir istemcinin kaynakları tek başına ele geçirmesini engeller. Limit, hesap başına değil, anahtar başına geçerlidir. Anahtarlarınızı buna göre yönetin.

• Maksimum istek gövdesi boyutu 8 MB'dır.
• Sınırları aşmak 429 hatası döndürür.

İşlem hacminizi bu kısıtlamalara göre planlayın. Sistem, istikrarlı, yüksek hacimli kullanım için tasarlanmıştır. Patlayıcı trafik, eşzamanlı istek penceresi içinde yönetilir.

Hatalar, krediler ve bağlam penceresi

Bir 401 hatası, anahtarınızın geçersiz olduğunu gösterir. Bir 402 hatası, yetersiz kredi olduğunu gösterir. Devam etmek için kripto ile yükleyin. Hatalar kredilerinizi tüketmez. Bu, yalnızca başarılı yanıtlar için ödeme yapmanızı sağlar.

Bağlam penceresi 100.000 token'dır. Bu, hem prompt hem de completion'u içerir. Gerekirse varsayılan max_tokens'ı 2.048 olarak ayarlayın. Promptlarınız eğitim için kullanılmaz. Süreç boyunca gizlilik korunur.

Akış

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)