กำหนดค่าผู้ให้บริการ AI แบบกำหนดเองและ API Keys ใน PandaNpc

อัปเดต

ผู้ให้บริการแบบกำหนดเองช่วยให้ PandaNpc ใช้บัญชี API, เกตเวย์ส่วนตัว, หรือ endpoint โมเดลท้องถิ่นที่คุณควบคุมได้ โดยทั่วไปเรียกว่า BYOK: นำคีย์ของคุณเองมาใช้ มันมีประโยชน์เมื่อคุณต้องการโมเดลที่อยู่นอกแคตตาล็อกในตัว, การเรียกเก็บเงินฝั่งผู้ให้บริการ, พร็อกซีภายใน, Ollama, LM Studio, หรือบริการที่เข้ากันได้กับ OpenAI ที่โฮสต์เอง

สำหรับการแชทโดยตรงที่รองรับ PandaNpc จะส่งคำขอไปยัง endpoint ที่คุณกำหนดค่า แทนที่จะใช้โมเดลในตัว ผู้ให้บริการต้นทางของคุณยังคงควบคุมราคา, การเก็บรักษาข้อมูล, ขีดจำกัดอัตรา, ความพร้อมใช้งานของโมเดล, และการใช้งานที่ยอมรับได้

ข้อกำหนดเบื้องต้นและขอบเขตความปลอดภัย

ก่อนเพิ่มผู้ให้บริการ ให้เตรียม:

  • คีย์ API ของผู้ให้บริการหรือโทเค็นการตรวจสอบสิทธิ์ในเครื่อง
  • API Base URL ของผู้ให้บริการ ซึ่งโดยปกติลงท้ายด้วย /v1 สำหรับบริการที่เข้ากันได้กับ OpenAI
  • ตัวระบุโมเดลที่แน่นอนที่ API ยอมรับ
  • context window และขีดจำกัดเอาต์พุตสูงสุดที่ระบุไว้ในเอกสาร หากคุณวางแผนที่จะแทนที่ค่าเริ่มต้น

ใช้คีย์เฉพาะที่มีสิทธิ์ขั้นต่ำที่จำเป็นและขีดจำกัดการใช้จ่าย หากผู้ให้บริการรองรับ อย่าใส่คีย์ลงในเอกสาร, พรอมต์แชท, สกรีนช็อต, เอาต์พุตคอนโซลเบราว์เซอร์, หรือที่เก็บ Git

ในเว็บเบราว์เซอร์ คำขอโดยตรงอยู่ภายใต้ข้อจำกัด CORS ผู้ให้บริการต้องอนุญาตคำขอจาก https://pandanpc.com Base URL เช่น http://localhost:11434/v1 หมายถึงคอมพิวเตอร์ที่รันเบราว์เซอร์ ไม่ได้หมายถึงเครื่อง PandaPaw ระยะไกลโดยอัตโนมัติ แอปเดสก์ท็อปอาจเหมาะสำหรับ endpoint ในเครื่องมากกว่า เนื่องจากไม่ได้ถูกจำกัดด้วย CORS ของเบราว์เซอร์ในลักษณะเดียวกัน

ขั้นตอนที่ 1: เปิดการกำหนดค่าโมเดล

ลงชื่อเข้าใช้ PandaNpc และเปิด การกำหนดค่าโมเดล ผู้ให้บริการและโมเดลเป็นเรกคอร์ดแยกกัน: ผู้ให้บริการเก็บรายละเอียดการเชื่อมต่อและการตรวจสอบสิทธิ์ ในขณะที่แต่ละโมเดลเก็บตัวระบุและขีดจำกัดที่ส่งไปยังการเชื่อมต่อนั้น

หากมีผู้ให้บริการอย่างเป็นทางการปรากฏอยู่แล้ว ให้กำหนดค่าหรือคัดลอกแทนที่จะสร้างโปรโตคอลที่แตกต่างกัน สำหรับเกตเวย์ที่เข้ากันได้กับ OpenAI ใหม่ ให้เลือก เพิ่มผู้ให้บริการ

ขั้นตอนที่ 2: เพิ่มผู้ให้บริการ

กรอกแบบฟอร์มผู้ให้บริการ:

ฟิลด์ สิ่งที่ต้องกรอก ตัวอย่างหรือคำแนะนำ
Display Name ป้ายชื่อที่คุณเห็น Company AI Gateway
Provider ID ตัวระบุภายในที่คงที่ company-openai
API Key คีย์ลับที่ใช้เป็น bearer token ค่าที่ออกโดยผู้ให้บริการ
Base URL รากของ API ที่ไม่มี /chat/completions https://gateway.example.com/v1
Protocol รูปแบบ API ต้นทาง เลือก openai สำหรับ chat completions ที่เข้ากันได้กับ OpenAI
Secret คีย์ลับที่สองเพิ่มเติม เว้นว่างไว้ เว้นแต่ผู้ให้บริการต้องการ
Organization ตัวระบุองค์กรเพิ่มเติม เฉพาะเมื่อผู้ให้บริการต้องการ
Project ตัวระบุโปรเจกต์เพิ่มเติม เฉพาะเมื่อผู้ให้บริการต้องการ
Support content array ระบุว่าเนื้อหาข้อความสามารถใช้อาร์เรย์แบบมีโครงสร้างได้หรือไม่ เปิดใช้งานไว้สำหรับผู้ให้บริการที่ยอมรับเนื้อหาข้อความแบบมัลติโมดัลที่ทันสมัย

PandaNpc จะลบเครื่องหมายท้ายออกจาก Base URL และต่อท้าย /chat/completions สำหรับคำขอแชทที่เข้ากันได้กับ OpenAI โดยตรง ดังนั้นให้กรอก:

text
https://api.example.com/v1

ไม่ใช่:

text
https://api.example.com/v1/chat/completions

บันทึกผู้ให้บริการก่อนเพิ่มโมเดล เมื่อแก้ไขผู้ให้บริการที่มีอยู่ การเว้นว่างช่อง API Key หรือ Secret หมายถึง "คงค่าที่กำหนดค่าไว้" และจะไม่แสดง secret ที่เก็บไว้กลับมาที่แบบฟอร์ม

ขั้นตอนที่ 3: เพิ่มโมเดล

เลือก เพิ่มโมเดล ภายใต้ผู้ให้บริการและกรอกฟิลด์เหล่านี้:

ฟิลด์ ความหมาย ตัวอย่าง
Display Name ป้ายชื่อที่มนุษย์อ่านได้สำหรับเลือก My Coding Model
Model Value ID โมเดลต้นทางที่แน่นอน model-name-from-provider
Model Type การแมปความสามารถ/หมวดหมู่ของ PandaNpc เลือกค่าปัจจุบันจากแบบฟอร์ม
Provider เรกคอร์ดผู้ให้บริการที่สร้างไว้ด้านบน Company AI Gateway
Context Window จำนวนโทเค็นทั้งหมดที่รองรับ ใช้ขีดจำกัดจำนวนเต็มที่ระบุในเอกสารของผู้ให้บริการ
Max Tokens จำนวนโทเค็นเอาต์พุตสูงสุดที่สร้างได้ ใช้ค่าบวกที่ไม่เกินขีดจำกัดของผู้ให้บริการ

Display Name สามารถเปลี่ยนได้โดยไม่ส่งผลต่อการเรียก API Model Value ไม่สามารถเดาจากชื่อทางการตลาดได้ ให้คัดลอกจากเอกสาร API ของผู้ให้บริการหรือ endpoint รายการโมเดล

เว้นว่าง Context Window และ Max Tokens เมื่อคุณไม่แน่ใจ ค่าเริ่มต้นแบบอนุรักษ์นิยมปลอดภัยกว่าการประกาศ context window ที่ใหญ่กว่าที่เซิร์ฟเวอร์รองรับ ฟิลด์เหล่านี้สำคัญโดยเฉพาะสำหรับ PandaCode เพราะมีผลต่อการบีบอัดและการจัดสรรงบประมาณเอาต์พุต

ตัวอย่าง endpoint ทั่วไป

รูปแบบต่อไปนี้แสดงลักษณะของ URL; ความพร้อมใช้งานและ ID โมเดลขึ้นอยู่กับการติดตั้งหรือบัญชีผู้ให้บริการของคุณ:

ประเภทบริการ Base URL ทั่วไป หมายเหตุ
คลาวด์ API ที่เข้ากันได้กับ OpenAI https://provider.example.com/v1 ต้องรองรับ Chat Completions แบบสตรีมและการตรวจสอบสิทธิ์แบบ bearer
Ollama บนคอมพิวเตอร์ที่ใช้เปิดใช้งาน http://localhost:11434/v1 เริ่ม endpoint ที่เข้ากันได้กับ OpenAI ของ Ollama; การใช้ในเบราว์เซอร์อาจต้องกำหนดค่า CORS
LM Studio บนคอมพิวเตอร์ที่ใช้เปิดใช้งาน http://localhost:1234/v1 เริ่มเซิร์ฟเวอร์ท้องถิ่นและเลือก ID โมเดลที่โหลดไว้
เกตเวย์เครือข่ายส่วนตัว https://ai.internal.example/v1 ไคลเอนต์ PandaNpc ต้องสามารถ resolve และเข้าถึงโฮสต์ได้

อย่าถือว่าทุกบริการที่โฆษณาว่า "เข้ากันได้กับ OpenAI" รองรับการสตรีม, การเรียกเครื่องมือ, รูปภาพ, ฟิลด์การให้เหตุผล, หรือการตอบสนองข้อผิดพลาดที่เหมือนกัน ทดสอบคุณสมบัติที่เวิร์กโฟลว์ของคุณต้องการจริง

ตรวจสอบผู้ให้บริการและโมเดล

ใช้พรอมต์ที่ต้นทุนต่ำและไม่มีความละเอียดอ่อนก่อนที่จะพึ่งพาการกำหนดค่านี้:

  1. เลือกโมเดลใหม่ในการสนทนาใหม่
  2. ส่ง Reply with exactly: provider connected
  3. ยืนยันว่าการตอบสนองสตรีมและแดชบอร์ดผู้ให้บริการบันทึกคำขอ
  4. ส่งข้อความติดตามสั้น ๆ เพื่อยืนยันประวัติการสนทนา
  5. หากคุณต้องการเครื่องมือ รูปภาพ หรือบริบทยาว ให้ทดสอบแต่ละความสามารถแยกกัน

สำหรับ endpoint ในเครื่อง ให้ตรวจสอบภายนอก PandaNpc ก่อน รายการโมเดลที่เข้ากันได้กับ OpenAI มักจะใช้งานได้ด้วย:

bash
curl http://localhost:11434/v1/models

ใช้การตอบสนองเพื่อยืนยันการเข้าถึงและ ID โมเดลเท่านั้น อย่าใส่คีย์ API สำหรับโปรดักชันลงในประวัติเชลล์โดยตรง

ใช้โมเดลแบบกำหนดเองกับ PandaCode

PandaCode สามารถให้เวิร์กโฟลว์การเขียนโค้ดแบบ Claude Code ในขณะที่ใช้แบ็กเอนด์โมเดลที่คุณเลือก รวมถึง DeepSeek, Qwen, เกตเวย์ที่เข้ากันได้กับ OpenAI, หรือบริการภายใน หลังจากกำหนดค่าผู้ให้บริการและโมเดลแล้ว ให้เลือกโมเดลนั้นสำหรับการเชื่อมต่อหรืองาน PandaCode ที่เกี่ยวข้อง

โมเดลต้องรองรับรูปแบบการโต้ตอบที่เอนจินการเขียนโค้ดต้องการ ผู้ให้บริการที่ใช้งานได้สำหรับการแชทธรรมดาอาจยังล้มเหลวในการเรียกเครื่องมือ, สตรีมที่ทำงานยาวนาน, หรือเนื้อหาที่มีโครงสร้าง ดู โมเดล AI ที่รองรับโดย PandaNpc สำหรับความแตกต่างระหว่างโมเดลแชทและเอนจินการเขียนโค้ดในเครื่อง และ การติดตั้งและคำสั่ง PandaPaw สำหรับการตั้งค่าเอนจินระยะไกล

การแก้ไขปัญหา

ข้อผิดพลาดการตรวจสอบสิทธิ์ `401` หรือ `403`

สร้างคีย์ผู้ให้บริการใหม่ ยืนยันว่ามีการใช้งานอยู่ และกรอกใหม่ ตรวจสอบว่าบริการต้นทางต้องใช้องค์กร โปรเจกต์ หรือวิธีการตรวจสอบสิทธิ์ที่แตกต่างหรือไม่ คีย์ที่ถูกปกปิดซึ่งคัดลอกจากหน้าจอแก้ไขไม่ใช่ secret ดั้งเดิม

`404` ไม่พบ endpoint หรือโมเดล

ลบ /chat/completions ออกจาก Base URL ที่กำหนดค่า เนื่องจาก PandaNpc ต่อท้ายให้ ยืนยันว่า /v1 มีอยู่เมื่อจำเป็น และ Model Value ตรงกับ ID โมเดลต้นทางอย่างแน่นอน ผู้ให้บริการอาจคืนค่า 404 เดียวกันทั้งสำหรับ URL ที่ผิดและโมเดลที่ไม่พร้อมใช้งาน

เบราว์เซอร์รายงานข้อผิดพลาดเครือข่ายหรือ CORS

เปิดคอนโซลนักพัฒนาของเบราว์เซอร์เพื่อระบุต้นทางที่ถูกบล็อกเท่านั้น อย่าวาง secret ลงไปที่นั่น กำหนดค่าให้ผู้ให้บริการอนุญาต https://pandanpc.com ใช้ endpoint HTTPS ของมัน หรือใช้แอปเดสก์ท็อป PandaNpc กฎเนื้อหาแบบผสมจะบล็อกหน้า HTTPS ไม่ให้เรียก endpoint HTTP ธรรมดาบางรายการ

ไม่สามารถเข้าถึง Ollama หรือ LM Studio ในเครื่องได้

ตรวจสอบให้แน่ใจว่าเซิร์ฟเวอร์ทำงานบนคอมพิวเตอร์เดียวกับไคลเอนต์ที่ส่งคำขอ และกำลังรับฟังบนอินเทอร์เฟซและพอร์ตที่กำหนดค่าไว้ หากเซิร์ฟเวอร์โมเดลทำงานบนคอมพิวเตอร์เครื่องอื่น localhost ไม่ถูกต้อง ให้ใช้โฮสต์เนมหรือ IP ส่วนตัวที่เข้าถึงได้ และรักษาความปลอดภัยบริการก่อนเปิดเผย

การตอบสนองเริ่มต้นแต่หยุดหรือไม่มีเนื้อหา

ยืนยันว่า API รองรับ Chat Completions แบบสตรีมและส่งอีเวนต์ data: มาตรฐาน ลด Max Tokens ทดสอบข้อความที่เป็นข้อความอย่างเดียว และปิดใช้งานอาร์เรย์เนื้อหาแบบมีโครงสร้างเฉพาะเมื่อผู้ให้บริการระบุว่ารองรับเนื้อหาสตริงเท่านั้น

เซสชันยาวล้มเหลวใกล้ขีดจำกัด context

ลด Context Window ที่กำหนดค่าให้เหลือขีดจำกัดที่ผู้ให้บริการรองรับจริง และสำรองพื้นที่สำหรับเอาต์พุต คำแนะนำระบบ และผลลัพธ์จากเครื่องมือ เริ่มเซสชันใหม่หลังจากเปลี่ยนการกำหนดค่าโมเดลเพื่อให้ขีดจำกัดใหม่ถูกนำไปใช้อย่างสม่ำเสมอ

สำหรับรายละเอียดโควตาและการไหลของข้อมูลระดับบัญชี อ่าน บัญชี แผน และค่าใช้จ่าย API ของ PandaNpc และ นโยบายความเป็นส่วนตัว