Configurați furnizori AI personalizați și chei API în PandaNpc

Actualizat

Furnizorii personalizați permit PandaNpc să folosească un cont API, un gateway privat sau un endpoint de model local pe care îl controlați. Aceasta este denumită frecvent BYOK: aduceți propria cheie. Este util atunci când aveți nevoie de un model din afara catalogului încorporat, facturare la nivel de furnizor, un proxy intern, Ollama, LM Studio sau un serviciu auto-găzduit compatibil cu OpenAI.

Pentru chat-ul direct acceptat, PandaNpc trimite cererea către endpoint-ul configurat, în loc să înlocuiască un model încorporat. Furnizorul dvs. din amonte controlează în continuare prețurile, păstrarea datelor, limitele de rată, disponibilitatea modelelor și utilizarea acceptabilă.

Cerințe prealabile și limite de securitate

Înainte de a adăuga un furnizor, colectați:

  • API Key-ul furnizorului sau token-ul local de autentificare.
  • URL-ul său de bază API, care se termină de obicei în /v1 pentru un serviciu compatibil cu OpenAI.
  • Identificatorul exact al modelului acceptat de API.
  • Fereastra de context documentată și limita maximă de ieșire, dacă intenționați să modificați valorile implicite.

Utilizați o cheie dedicată, cu permisiunile minim necesare și o limită de cheltuieli, acolo unde furnizorul o acceptă. Nu plasați niciodată cheia în documentație, prompturi de chat, capturi de ecran, ieșirea consolei browserului sau într-un depozit Git.

Într-un browser web, cererile directe sunt supuse CORS. Furnizorul trebuie să permită cereri de la https://pandanpc.com. Un URL de bază precum http://localhost:11434/v1 se referă la computerul care rulează browserul, nu automat la mașina PandaPaw de la distanță. Aplicația desktop poate fi mai potrivită pentru endpoint-uri locale, deoarece nu este limitată de CORS din browser în același mod.

Pasul 1: Deschideți Configurarea modelului

Conectați-vă la PandaNpc și deschideți Configurarea modelului. Furnizorii și modelele sunt înregistrări separate: furnizorul stochează detaliile de conexiune și autentificare, iar fiecare model stochează identificatorul și limitele trimise către acea conexiune.

Dacă există deja un furnizor oficial, configurați-l sau copiați-l în loc să inventați un protocol diferit. Pentru un nou gateway compatibil cu OpenAI, selectați Adăugați Furnizor.

Pasul 2: Adăugați furnizorul

Completați formularul furnizorului:

Câmp Ce să introduceți Exemplu sau indicație
Nume afișat O etichetă vizibilă pentru dvs. Company AI Gateway
ID Furnizor Un identificator intern stabil company-openai
API Key Secretul folosit ca token bearer Valoare emisă de furnizor
URL de bază Rădăcina API fără /chat/completions https://gateway.example.com/v1
Protocol Formatul API din amonte Alegeți openai pentru completări de chat compatibile cu OpenAI
Secret Al doilea secret opțional Lăsați gol dacă furnizorul nu îl cere
Organizație Identificator de organizație opțional Doar dacă furnizorul o cere
Proiect Identificator de proiect opțional Doar dacă furnizorul o cere
Suport array de conținut Dacă conținutul mesajului poate folosi array-uri structurate Mențineți activat pentru furnizorii care acceptă conținut modern de mesaje multimodale

PandaNpc elimină slash-urile de la sfârșitul URL-ului de bază și adaugă /chat/completions pentru cererea directă de chat compatibilă cu OpenAI. Prin urmare, introduceți:

text
https://api.example.com/v1

nu:

text
https://api.example.com/v1/chat/completions

Salvați furnizorul înainte de a adăuga un model. Când editați un furnizor existent, un câmp API Key sau Secret gol înseamnă „păstrați valoarea configurată”; nu expune secretul stocat înapoi în formular.

Pasul 3: Adăugați un model

Alegeți Adăugați Model sub furnizor și completați aceste câmpuri:

Câmp Semnificație Exemplu
Nume afișat Etichetă selector lizibilă pentru oameni My Coding Model
Valoare model ID-ul exact al modelului din amonte model-name-from-provider
Tip model Maparea capacităților/categoriilor PandaNpc Selectați o valoare curentă din formular
Furnizor Înregistrarea de furnizor creată mai sus Company AI Gateway
Fereastră de context Total tokeni suportați Folosiți limita întreagă documentată a furnizorului
Maxim de tokeni Maxim de tokeni de ieșire generați Folosiți o valoare pozitivă nu mai mare decât limita furnizorului

Nume afișat poate fi schimbat fără a afecta apelul API. Valoare model nu poate fi ghicit după un nume de marketing; copiați-l din documentația API a furnizorului sau din endpoint-ul listei de modele.

Dacă nu sunteți siguri, lăsați goale câmpurile Fereastră de context și Maxim de tokeni. O valoare implicită conservatoare este mai sigură decât declararea unei ferestre de context mai mari decât suportă serverul. Aceste câmpuri sunt deosebit de importante pentru PandaCode deoarece influențează compactarea și bugetarea ieșirii.

Exemple comune de endpoint-uri

Următoarele modele ilustrează forma URL-ului; disponibilitatea și ID-urile modelelor depind de instalarea dvs. sau de contul de furnizor:

Tip de serviciu URL de bază tipic Note
API cloud compatibil cu OpenAI https://provider.example.com/v1 Trebuie să accepte Chat Completions în flux și autentificare bearer
Ollama pe computerul dvs. http://localhost:11434/v1 Porniți endpoint-ul compatibil cu OpenAI al Ollama; utilizarea din browser poate necesita configurare CORS
LM Studio pe computerul dvs. http://localhost:1234/v1 Porniți serverul local și selectați un ID de model încărcat
Gateway de rețea privată https://ai.internal.example/v1 Clientul PandaNpc trebuie să poată rezolva și accesa gazda

Nu presupuneți că fiecare serviciu care se promovează ca fiind „compatibil cu OpenAI” implementează streaming, apeluri de instrumente, imagini, câmpuri de raționament sau răspunsuri de eroare identice. Testați exact funcțiile de care are nevoie fluxul dvs. de lucru.

Verificați furnizorul și modelul

Folosiți un prompt cu cost redus, non-sensibil, înainte de a vă baza pe configurație:

  1. Selectați noul model într-o conversație nouă.
  2. Trimiteți Reply with exactly: provider connected.
  3. Confirmați că răspunsul este transmis în flux și că tabloul de bord al furnizorului înregistrează cererea.
  4. Trimiteți un scurt mesaj de urmărire pentru a verifica istoricul conversației.
  5. Dacă aveți nevoie de instrumente, imagini sau context lung, testați fiecare capacitate separat.

Pentru un endpoint local, verificați mai întâi în afara PandaNpc. O listă de modele compatibile cu OpenAI este adesea disponibilă cu:

bash
curl http://localhost:11434/v1/models

Folosiți răspunsul doar pentru a confirma accesibilitatea și ID-ul modelului. Nu introduceți o API Key de producție direct în istoricul shell-ului.

Utilizați modele personalizate cu PandaCode

PandaCode poate oferi un flux de lucru de programare în stilul Claude Code, folosind un backend de model ales de dvs., inclusiv DeepSeek, Qwen, un gateway compatibil cu OpenAI sau un serviciu intern. După configurarea furnizorului și a modelului, selectați acel model pentru conexiunea sau sarcina PandaCode relevantă.

Modelul trebuie să accepte modelul de interacțiune cerut de motorul de programare. Un furnizor care funcționează pentru chat simplu poate eșua totuși la apeluri de instrumente, fluxuri de lungă durată sau conținut structurat. Consultați Modele AI acceptate de PandaNpc pentru diferența dintre modelele de chat și motoarele locale de programare, și Instalarea și comenzile PandaPaw pentru configurarea motorului de la distanță.

Depanare

Eroare de autentificare `401` sau `403`

Creați o nouă API Key de furnizor, confirmați că este activă și reintroduceți-o. Verificați dacă serviciul din amonte necesită o organizație, un proiect sau o metodă de autentificare diferită. O cheie mascată copiată dintr-un ecran de editare nu este secretul original.

Endpoint sau model `404` nu a fost găsit

Eliminați /chat/completions din URL-ul de bază configurat, deoarece PandaNpc îl adaugă. Confirmați că /v1 este prezent atunci când este necesar și că Valoarea modelului se potrivește exact cu ID-ul modelului din amonte. Un furnizor poate returna același 404 atât pentru un URL greșit, cât și pentru un model indisponibil.

Browser-ul raportează o eroare de rețea sau CORS

Deschideți consola de dezvoltator a browserului doar pentru a identifica originea blocată; nu lipiți secrete acolo. Configurați furnizorul să permită https://pandanpc.com, folosiți endpoint-ul său HTTPS sau folosiți aplicația desktop PandaNpc. Regulile de conținut mixt blochează o pagină HTTPS să apeleze unele endpoint-uri HTTP simplu.

Ollama local sau LM Studio nu poate fi accesat

Asigurați-vă că serverul rulează pe același computer cu clientul care face cererea și ascultă pe interfața și portul configurate. Dacă serverul de model rulează pe alt computer, localhost este greșit; folosiți un nume de gazdă privat sau o adresă IP accesibilă și securizați serviciul înainte de a-l expune.

Răspunsul începe, dar se oprește sau nu are conținut

Confirmați că API-ul acceptă Chat Completions în flux și emite evenimente standard data:. Reduceți Maximul de tokeni, testați un mesaj doar cu text și dezactivați array-urile de conținut structurat doar dacă furnizorul documentează că acceptă exclusiv conținut de tip string.

Sesiunile lungi eșuează aproape de limita de context

Reduceți Fereastra de context configurată la limita reală suportată de furnizor și rezervați spațiu pentru ieșire, instrucțiuni de sistem și rezultate ale instrumentelor. Începeți o sesiune nouă după schimbarea configurației modelului, astfel încât noile limite să fie aplicate în mod consecvent.

Pentru detalii despre cotă la nivel de cont și fluxul de date, citiți Conturi, planuri și costuri API PandaNpc și Politica de confidențialitate.