Konfigurera anpassade AI-leverantörer och API-nycklar i PandaNpc

Uppdaterad

Anpassade leverantörer låter PandaNpc använda ett API-konto, privat gateway eller lokal modellslutpunkt som du kontrollerar. Detta kallas ofta BYOK: ta med din egen nyckel. Det är användbart när du behöver en modell utanför den inbyggda katalogen, leverantörsbaserad fakturering, en intern proxy, Ollama, LM Studio eller en självhostad OpenAI-kompatibel tjänst.

För direkt chatt som stöds skickar PandaNpc begäran till din konfigurerade slutpunkt istället för att ersätta med en inbyggd modell. Din uppströmsleverantör styr fortfarande prissättning, lagring, hastighetsbegränsningar, modelltillgänglighet och acceptabel användning.

Förutsättningar och säkerhetsgränser

Innan du lägger till en leverantör, samla in:

  • Leverantörens API-nyckel eller lokala autentiseringstoken.
  • Dess API-bas-URL, vanligtvis slutande på /v1 för en OpenAI-kompatibel tjänst.
  • Den exakta modellidentifieraren som API:et accepterar.
  • Det dokumenterade kontextfönstret och maximala utdatagränsen, om du planerar att åsidosätta standardvärden.

Använd en dedikerad nyckel med minimala nödvändiga behörigheter och en utgiftsgräns där leverantören stöder en sådan. Placera aldrig nyckeln i dokumentation, chatprompter, skärmbilder, webbläsarkonsolutdata eller ett Git-förråd.

I en webbläsare är direkta begäranden föremål för CORS. Leverantören måste tillåta begäranden från https://pandanpc.com. En bas-URL som http://localhost:11434/v1 refererar till datorn som kör webbläsaren, inte automatiskt till den fjärranslutna PandaPaw-maskinen. Skrivbordsappen kan vara mer lämplig för lokala slutpunkter eftersom den inte begränsas av webbläsarens CORS på samma sätt.

Steg 1: Öppna Modellkonfiguration

Logga in på PandaNpc och öppna Modellkonfiguration. Leverantörer och modeller är separata poster: leverantören lagrar anslutnings- och autentiseringsdetaljer, medan varje modell lagrar identifieraren och gränserna som skickas till den anslutningen.

Om en officiell leverantör redan visas, konfigurera eller kopiera den istället för att uppfinna ett annat protokoll. För en ny OpenAI-kompatibel gateway, välj Lägg till leverantör.

Steg 2: Lägg till leverantören

Fyll i leverantörsformuläret:

Fält Vad du ska ange Exempel eller vägledning
Visningsnamn En etikett som är synlig för dig Company AI Gateway
Leverantörs-ID En stabil intern identifierare company-openai
API-nyckel Hemligheten som används som bärare-token Värde utfärdat av leverantören
Bas-URL API-root utan /chat/completions https://gateway.example.com/v1
Protokoll Uppströms-API-formatet Välj openai för OpenAI-kompatibla chattkompletteringar
Hemlighet Valfri andra hemlighet Lämna tomt om inte leverantören kräver det
Organisation Valfri organisationsidentifierare Endast när leverantören kräver det
Projekt Valfri projektidentifierare Endast när leverantören kräver det
Stöd för innehållsarray Huruvida meddelandeinnehåll får använda strukturerade arrayer Håll aktiverat för leverantörer som accepterar modern multimodal meddelandeinnehåll

PandaNpc tar bort efterföljande snedstreck från bas-URL:en och lägger till /chat/completions för den direkta OpenAI-kompatibla chattbegäran. Ange därför:

text
https://api.example.com/v1

inte:

text
https://api.example.com/v1/chat/completions

Spara leverantören innan du lägger till en modell. När du redigerar en befintlig leverantör betyder ett tomt fält för API-nyckel eller hemlighet ”behåll det konfigurerade värdet”; det exponerar inte den lagrade hemligheten tillbaka till formuläret.

Steg 3: Lägg till en modell

Välj Lägg till modell under leverantören och fyll i dessa fält:

Fält Betydelse Exempel
Visningsnamn Läsbar väljareetikett My Coding Model
Modellvärde Exakt uppströmsmodell-ID model-name-from-provider
Modelltyp PandaNpc:s kapacitets-/kategorimappning Välj ett aktuellt värde från formuläret
Leverantör Leverantörspost skapad ovan Company AI Gateway
Kontextfönster Totalt antal token som stöds Använd leverantörens dokumenterade heltalsgräns
Max token Maximalt antal genererade utdatatoken Använd ett positivt värde som inte är större än leverantörens gräns

Visningsnamn kan ändras utan att påverka API-anropet. Modellvärde kan inte gissas från ett marknadsföringsnamn; kopiera det från leverantörens API-dokumentation eller model-list-slutpunkt.

Lämna Kontextfönster och Max token tomma om du är osäker. En konservativ standard är säkrare än att deklarera ett kontextfönster som är större än vad servern stöder. Dessa fält är särskilt viktiga för PandaCode eftersom de påverkar komprimering och utdatabudgetering.

Vanliga exempel på slutpunkter

Följande mönster illustrerar URL-formen; tillgänglighet och modell-ID beror på din installation eller leverantörskonto:

Tjänsttyp Typisk bas-URL Anteckningar
OpenAI-kompatibelt moln-API https://provider.example.com/v1 Måste stödja strömmande Chat Completions och bärare-autentisering
Ollama på den visande datorn http://localhost:11434/v1 Starta Ollamas OpenAI-kompatibla slutpunkt; webbläsaranvändning kan kräva CORS-konfiguration
LM Studio på den visande datorn http://localhost:1234/v1 Starta den lokala servern och välj ett inläst modell-ID
Privat nätverksgateway https://ai.internal.example/v1 PandaNpc-klienten måste kunna lösa och nå värden

Anta inte att varje tjänst som marknadsför sig som ”OpenAI-kompatibel” implementerar strömning, verktygsanrop, bilder, resonemangsfält eller identiska felsvar. Testa de exakta funktioner som ditt arbetsflöde behöver.

Verifiera leverantören och modellen

Använd en låg kostnad, icke-känslig prompt innan du förlitar dig på konfigurationen:

  1. Välj den nya modellen i en ny konversation.
  2. Skicka Reply with exactly: provider connected.
  3. Bekräfta att svaret strömmar och att leverantörens instrumentpanel registrerar begäran.
  4. Skicka en kort uppföljning för att verifiera konversationshistorik.
  5. Om du behöver verktyg, bilder eller lång kontext, testa varje funktion separat.

För en lokal slutpunkt, verifiera först utanför PandaNpc. En OpenAI-kompatibel modelllista finns ofta tillgänglig med:

bash
curl http://localhost:11434/v1/models

Använd svaret endast för att bekräfta nåbarhet och modell-ID. Lägg inte en produktions-API-nyckel direkt i skalhistoriken.

Använd anpassade modeller med PandaCode

PandaCode kan tillhandahålla ett Claude Code-liknande kodningsarbetsflöde medan du använder en modellbackend du väljer, inklusive DeepSeek, Qwen, en OpenAI-kompatibel gateway eller en intern tjänst. Efter att ha konfigurerat leverantören och modellen, välj den modellen för den relevanta PandaCode-anslutningen eller uppgiften.

Modellen måste stödja det interaktionsmönster som kodningsmotorn kräver. En leverantör som fungerar för vanlig chatt kan fortfarande misslyckas med verktygsanrop, långvariga strömmar eller strukturerat innehåll. Se AI-modeller som stöds av PandaNpc för skillnaden mellan chattmodeller och lokala kodningsmotorer, och PandaPaw-installation och kommandon för fjärrmotorinstallation.

Felsökning

`401`- eller `403`-autentiseringsfel

Skapa en ny leverantörsnyckel, bekräfta att den är aktiv och ange den igen. Kontrollera om uppströmstjänsten kräver en organisation, ett projekt eller en annan autentiseringsmetod. En maskerad nyckel som kopierats från en redigeringsskärm är inte den ursprungliga hemligheten.

`404` slutpunkt eller modell hittades inte

Ta bort /chat/completions från den konfigurerade bas-URL:en eftersom PandaNpc lägger till den. Bekräfta att /v1 finns när det krävs och att Modellvärde exakt matchar uppströmsmodell-ID:t. En leverantör kan returnera samma 404 för både en felaktig URL och en otillgänglig modell.

Webbläsaren rapporterar ett nätverks- eller CORS-fel

Öppna webbläsarens utvecklarkonsol endast för att identifiera den blockerade ursprungsadressen; klistra inte in hemligheter där. Konfigurera leverantören att tillåta https://pandanpc.com, använd dess HTTPS-slutpunkt, eller använd PandaNpc-skrivbordsappen. Regler för blandat innehåll blockerar en HTTPS-sida från att anropa vissa vanliga HTTP-slutpunkter.

Lokal Ollama eller LM Studio kan inte nås

Se till att servern körs på samma dator som klienten som skickar begäran och lyssnar på det konfigurerade gränssnittet och porten. Om modellservern körs på en annan dator är localhost fel; använd en nåbar privat värdnamn eller IP och säkra tjänsten innan du exponerar den.

Svaret startar men stannar eller har inget innehåll

Bekräfta att API:et stöder strömmande Chat Completions och avger standard data:-händelser. Minska Max token, testa ett text-only-meddelande och inaktivera strukturerade innehållsarrayer endast om leverantören dokumenterar att den enbart accepterar stränginnehåll.

Långa sessioner misslyckas nära kontextgränsen

Sänk det konfigurerade Kontextfönstret till leverantörens faktiska stödda gräns och reservera utrymme för utdata, systeminstruktioner och verktygsresultat. Starta en ny session efter att ha ändrat modellkonfigurationen så att de nya gränserna tillämpas konsekvent.

För kvot- och dataflödesdetaljer på kontonivå, läs PandaNpc-konton, planer och API-kostnader och Integritetspolicy.