अनसेंसर्ड LLM के लिए इंटीग्रेशन गाइड

बेस URL और प्रमाणीकरण

हमारा API https://api.localuncensoredllm.com/v1. अपनी कुंजी पास करके प्रमाणीकरण करें Authorization हेडर। यह सेटअप मानक OpenAI इंटीग्रेशन की नकल करता है। आपको जटिल रूटिंग लॉजिक की आवश्यकता नहीं है। बेस यूआरएल सभी अनुरोध निर्देशित करता है।

• उपयोग करें Bearer <YOUR_API_KEY> प्रमाणीकरण के लिए।
• कुंजी साइनअप के तुरंत बाद उत्पन्न होती है।

यह सुनिश्चित करता है कि आपके प्रॉम्प्ट सीधे हमारे अनसेंसर्ड मॉडल पर जाते हैं। कोई मीडिलवेयर आपकी इनपुट को फ़िल्टर नहीं करता है। आपको तुरंत मॉडल की क्षमताओं तक रॉ एक्सेस मिलता है।

POST /v1/chat/completions: आपका प्रॉम्प्ट भेजना

चैट कंप्लीशन एंडपॉइंट पर एक JSON पेलोड भेजें। यह मॉडल से टेक्स्ट रिस्पॉन्स प्राप्त करने का मानक तरीका है। आप मैसेज कंटेंट और सिस्टम इन्स्ट्रक्शंस परिभाषित करते हैं। मॉडल आपकी इनपुट प्रोसेस करता है और एक कंप्लीशन लौटाता है।

Copycurl https://api.localuncensoredllm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit height in meters"}]
  }'

यह एंडपॉइंट आपके सभी टेक्स्ट जनरेशन की जरूरतों को हैंडल करता है। आप टेम्परेचर और top_p जैसे पैरामीटर्स को एडजस्ट कर सकते हैं। रिस्पॉन्स में जनरेटेड टेक्स्ट और टोकन यूज़ स्टैटिस्टिक्स शामिल हैं। यह सरल, डायरेक्ट और रिलायबल है।

GET /v1/models: अपने एंडपॉइंट की सत्यापित करें

कनेक्टिविटी की पुष्टि करने के लिए मॉडल्स एंडपॉइंट को क्वेरी करें। यह उपलब्ध मॉडलों की एक सूची लौटाता है। आपको दिखना चाहिए uncensored प्रतिक्रिया में। यह पुष्टि करता है कि आपकी कुंजी मान्य है और सेवा चल रही है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.localuncensoredllm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

भारी वर्कलोड भेजने से पहले अपनी सेटअप की जांच करने के लिए इसका उपयोग करें। यह एक त्वरित सैनिटी चेक है। यदि एंडपॉइंट प्रतिक्रिया देता है, तो आपकी इंटीग्रेशन सही ढंग से काम कर रही है। आप आत्मविश्वास के साथ आगे बढ़ सकते हैं।

स्ट्रीमिंग, JSON मोड, और टूल कॉलिंग

सेटिंग करके स्ट्रीमिंग सक्षम करें stream: true. API चंक को उत्पन्न होते ही लौटाता है। यह लंबे उत्तरों के लिए अनुभव की जाने वाली विलंबता को कम करता है। आप कॉम्पैटिबल JSON आउटपुट को भी फोर्स कर सकते हैं response_format. यह संरचित डेटा पार्सिंग के लिए उपयोगी है।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.localuncensoredllm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

फंक्शन कॉलिंग के माध्यम से समर्थित है tools पैरामीटर। मानक OpenAI फ़ॉर्मेट में अपने टूल्स परिभाषित करें। मॉडल उचित होने पर टूल कॉल्स आउटपुट करेगा। यह जटिल एजेंट वर्कफ़्लो की अनुमति देता है। सब कुछ उसी API कॉन्ट्रैक्ट के भीतर काम करता है।

रेट लिमिट्स और कंकरेंसी

प्रत्येक API कुंजी प्रति मिनट 300 अनुरोधों के लिए सीमित है। आप अधिकतम 8 समवर्ती अनुरोध चला सकते हैं। यह सुनिश्चित करता है कि कोई एक क्लाइंट संसाधनों पर कब्जा न करे। यह सीमा प्रति कुंजी है, खाते के लिए नहीं। अपनी कुंजियों का प्रबंधन उचित रूप से करें।

• अधिकतम अनुरोध बॉडी साइज 8 MB है।
• सीमाओं को पार करने से 429 त्रुटि लौटाई जाती है।

इन बाधाओं के आधार पर अपनी थ्रूपुट योजना बनाएं। सिस्टम स्थिर, उच्च-वॉल्यूम उपयोग के लिए डिज़ाइन किया गया है। बर्स्ट ट्रैफिक को संयुक्त अनुरोध विंडो के भीतर संभाला जाता है।

त्रुटियाँ, क्रेडिट और संदर्भ विंडो

401 त्रुटि का अर्थ है कि आपकी कुंजी अमान्य है। 402 त्रुटि अपर्याप्त क्रेडिट को दर्शाती है। सेवा जारी रखने के लिए क्रिप्टो के माध्यम से टॉप अप करें। त्रुटियां आपके क्रेडिट का उपभोग नहीं करतीं। यह सुनिश्चित करता है कि आप केवल सफल प्रतिक्रियाओं के लिए भुगतान करें।

संदर्भ विंडो 100,000 टोकन की है। इसमें प्रॉम्प्ट और कंप्लीशन दोनों शामिल हैं। आप आवश्यकता अनुसार डिफ़ॉल्ट max_tokens को 2,048 पर सेट कर सकते हैं। आपके प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं। प्रक्रिया भर में गोपनीयता बनाए रखी जाती है।

स्ट्रीमिंग

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)