Nhà cung cấp tùy chỉnh cho phép PandaNpc sử dụng tài khoản API, cổng riêng hoặc điểm cuối mô hình cục bộ mà bạn kiểm soát. Điều này thường được gọi là BYOK: mang khóa của riêng bạn. Nó hữu ích khi bạn cần một mô hình ngoài danh mục tích hợp sẵn, thanh toán phía nhà cung cấp, proxy nội bộ, Ollama, LM Studio hoặc dịch vụ tương thích OpenAI tự lưu trữ.
Đối với trò chuyện trực tiếp được hỗ trợ, PandaNpc gửi yêu cầu đến điểm cuối đã cấu hình của bạn thay vì thay thế một mô hình tích hợp sẵn. Nhà cung cấp thượng nguồn của bạn vẫn kiểm soát giá cả, lưu giữ dữ liệu, giới hạn tốc độ, khả năng mô hình và chính sách sử dụng chấp nhận được.
Điều kiện tiên quyết và ranh giới bảo mật
Trước khi thêm nhà cung cấp, hãy thu thập:
- Khóa API của nhà cung cấp hoặc mã thông báo xác thực cục bộ.
- URL gốc API của nó, thường kết thúc bằng
/v1đối với dịch vụ tương thích OpenAI. - Mã định danh chính xác của mô hình mà API chấp nhận.
- Cửa sổ ngữ cảnh và giới hạn đầu ra tối đa được ghi lại, nếu bạn định ghi đè mặc định.
Sử dụng khóa chuyên dụng với quyền tối thiểu cần thiết và giới hạn chi tiêu nếu nhà cung cấp hỗ trợ. Không bao giờ đặt khóa trong tài liệu, lời nhắc trò chuyện, ảnh chụp màn hình, đầu ra bảng điều khiển trình duyệt hoặc kho lưu trữ Git.
Trong trình duyệt web, các yêu cầu trực tiếp phải tuân theo CORS. Nhà cung cấp phải cho phép các yêu cầu từ https://pandanpc.com. URL gốc như http://localhost:11434/v1 đề cập đến máy tính đang chạy trình duyệt, không tự động đến máy PandaPaw từ xa. Ứng dụng máy tính để bàn có thể phù hợp hơn với các điểm cuối cục bộ vì nó không bị giới hạn bởi CORS trình duyệt theo cùng cách.
Bước 1: Mở Cấu hình Mô hình
Đăng nhập vào PandaNpc và mở Cấu hình Mô hình. Nhà cung cấp và mô hình là các bản ghi riêng biệt: nhà cung cấp lưu trữ chi tiết kết nối và xác thực, trong khi mỗi mô hình lưu trữ mã định danh và giới hạn được gửi đến kết nối đó.
Nếu một nhà cung cấp chính thức đã xuất hiện, hãy cấu hình hoặc sao chép nó thay vì tạo ra một giao thức khác. Đối với cổng tương thích OpenAI mới, chọn Thêm nhà cung cấp.
Bước 2: Thêm nhà cung cấp
Hoàn thành biểu mẫu nhà cung cấp:
| Trường | Nội dung cần nhập | Ví dụ hoặc hướng dẫn |
|---|---|---|
| Tên hiển thị | Nhãn hiển thị cho bạn | Company AI Gateway |
| ID nhà cung cấp | Mã định danh nội bộ ổn định | company-openai |
| API Key | Bí mật được dùng làm mã thông báo bearer | Giá trị do nhà cung cấp cấp |
| URL gốc | Gốc API không có /chat/completions |
https://gateway.example.com/v1 |
| Giao thức | Định dạng API thượng nguồn | Chọn openai cho chat completions tương thích OpenAI |
| Bí mật | Bí mật thứ hai tùy chọn | Để trống trừ khi nhà cung cấp yêu cầu |
| Tổ chức | Mã định danh tổ chức tùy chọn | Chỉ khi nhà cung cấp yêu cầu |
| Dự án | Mã định danh dự án tùy chọn | Chỉ khi nhà cung cấp yêu cầu |
| Hỗ trợ mảng nội dung | Liệu nội dung tin nhắn có thể sử dụng mảng có cấu trúc hay không | Giữ bật cho các nhà cung cấp chấp nhận nội dung tin nhắn đa phương thức hiện đại |
PandaNpc loại bỏ các dấu gạch chéo cuối cùng từ URL gốc và nối thêm /chat/completions cho yêu cầu chat tương thích OpenAI trực tiếp. Do đó, hãy nhập:
https://api.example.com/v1không phải:
https://api.example.com/v1/chat/completionsLưu nhà cung cấp trước khi thêm mô hình. Khi chỉnh sửa một nhà cung cấp hiện có, trường API Key hoặc Bí mật trống có nghĩa là “giữ nguyên giá trị đã cấu hình”; nó không hiển thị lại bí mật đã lưu trên biểu mẫu.
Bước 3: Thêm mô hình
Chọn Thêm Mô hình dưới nhà cung cấp và hoàn thành các trường sau:
| Trường | Ý nghĩa | Ví dụ |
|---|---|---|
| Tên hiển thị | Nhãn chọn có thể đọc được | My Coding Model |
| Giá trị mô hình | Mã định danh mô hình thượng nguồn chính xác | model-name-from-provider |
| Loại mô hình | Ánh xạ khả năng/danh mục của PandaNpc | Chọn một giá trị hiện tại từ biểu mẫu |
| Nhà cung cấp | Bản ghi nhà cung cấp đã tạo ở trên | Company AI Gateway |
| Cửa sổ ngữ cảnh | Tổng số token được hỗ trợ | Sử dụng giới hạn số nguyên được tài liệu của nhà cung cấp ghi lại |
| Số token tối đa | Số token đầu ra tối đa được tạo | Sử dụng giá trị dương không lớn hơn giới hạn của nhà cung cấp |
Tên hiển thị có thể thay đổi mà không ảnh hưởng đến lệnh gọi API. Giá trị mô hình không thể đoán từ tên tiếp thị; hãy sao chép nó từ tài liệu API của nhà cung cấp hoặc điểm cuối danh sách mô hình.
Để trống Cửa sổ ngữ cảnh và Số token tối đa khi bạn không chắc chắn. Giá trị mặc định thận trọng an toàn hơn việc khai báo cửa sổ ngữ cảnh lớn hơn máy chủ hỗ trợ. Các trường này đặc biệt quan trọng đối với PandaCode vì chúng ảnh hưởng đến việc nén và phân bổ đầu ra.
Các ví dụ điểm cuối phổ biến
Các mẫu sau minh họa dạng URL; tính khả dụng và mã định danh mô hình phụ thuộc vào cài đặt hoặc tài khoản nhà cung cấp của bạn:
| Loại dịch vụ | URL gốc điển hình | Ghi chú |
|---|---|---|
| API đám mây tương thích OpenAI | https://provider.example.com/v1 |
Phải hỗ trợ streamed Chat Completions và xác thực bearer |
| Ollama trên máy tính đang xem | http://localhost:11434/v1 |
Khởi động điểm cuối tương thích OpenAI của Ollama; sử dụng trình duyệt có thể yêu cầu cấu hình CORS |
| LM Studio trên máy tính đang xem | http://localhost:1234/v1 |
Khởi động máy chủ cục bộ và chọn ID mô hình đã tải |
| Cổng mạng riêng | https://ai.internal.example/v1 |
Trình khách PandaNpc phải có thể phân giải và truy cập máy chủ |
Đừng giả định rằng mọi dịch vụ quảng cáo “tương thích OpenAI” đều triển khai phát trực tuyến, gọi công cụ, hình ảnh, trường suy luận hoặc phản hồi lỗi giống hệt nhau. Hãy kiểm tra các tính năng chính xác mà quy trình làm việc của bạn cần.
Xác minh nhà cung cấp và mô hình
Sử dụng lời nhắc có chi phí thấp, không nhạy cảm trước khi dựa vào cấu hình:
- Chọn mô hình mới trong một cuộc trò chuyện mới.
- Gửi
Reply with exactly: provider connected. - Xác nhận rằng phản hồi được phát trực tuyến và bảng điều khiển nhà cung cấp ghi lại yêu cầu.
- Gửi một tin nhắn tiếp theo ngắn để xác minh lịch sử hội thoại.
- Nếu bạn cần công cụ, hình ảnh hoặc ngữ cảnh dài, hãy kiểm tra từng khả năng riêng biệt.
Đối với điểm cuối cục bộ, trước tiên hãy xác minh nó ngoài PandaNpc. Danh sách mô hình tương thích OpenAI thường có sẵn bằng:
curl http://localhost:11434/v1/modelsChỉ sử dụng phản hồi để xác nhận khả năng truy cập và mã định danh mô hình. Không đặt khóa API sản xuất trực tiếp vào lịch sử shell.
Sử dụng mô hình tùy chỉnh với PandaCode
PandaCode có thể cung cấp quy trình làm việc mã hóa theo phong cách Claude Code trong khi sử dụng mô hình nền bạn chọn, bao gồm DeepSeek, Qwen, cổng tương thích OpenAI hoặc dịch vụ nội bộ. Sau khi cấu hình nhà cung cấp và mô hình, hãy chọn mô hình đó cho kết nối hoặc tác vụ PandaCode liên quan.
Mô hình phải hỗ trợ kiểu tương tác mà công cụ mã hóa yêu cầu. Một nhà cung cấp hoạt động cho chat thông thường vẫn có thể thất bại với gọi công cụ, phát trực tuyến dài hoặc nội dung có cấu trúc. Xem Mô hình AI được PandaNpc hỗ trợ để biết sự khác biệt giữa mô hình chat và công cụ mã hóa cục bộ, và Cài đặt và lệnh PandaPaw để thiết lập công cụ từ xa.
Khắc phục sự cố
Lỗi xác thực `401` hoặc `403`
Tạo khóa nhà cung cấp mới, xác nhận nó đang hoạt động và nhập lại. Kiểm tra xem dịch vụ thượng nguồn có yêu cầu tổ chức, dự án hoặc phương thức xác thực khác không. Một khóa bị che sao chép từ màn hình chỉnh sửa không phải là bí mật gốc.
`404` điểm cuối hoặc mô hình không tìm thấy
Xóa /chat/completions khỏi URL gốc đã cấu hình vì PandaNpc tự thêm vào. Xác nhận rằng /v1 có mặt khi cần và Giá trị mô hình khớp chính xác với mã định danh mô hình thượng nguồn. Nhà cung cấp có thể trả về cùng 404 cho cả URL sai và mô hình không khả dụng.
Trình duyệt báo lỗi mạng hoặc CORS
Chỉ mở bảng điều khiển nhà phát triển trình duyệt để xác định nguồn gốc bị chặn; không dán bí mật vào đó. Cấu hình nhà cung cấp để cho phép https://pandanpc.com, sử dụng điểm cuối HTTPS của nó hoặc sử dụng ứng dụng máy tính để bàn PandaNpc. Quy tắc nội dung hỗn hợp chặn trang HTTPS gọi một số điểm cuối HTTP thuần.
Không thể truy cập Ollama hoặc LM Studio cục bộ
Đảm bảo máy chủ đang chạy trên cùng máy tính với trình khách gửi yêu cầu và đang lắng nghe trên giao diện và cổng đã cấu hình. Nếu máy chủ mô hình chạy trên máy tính khác, localhost là sai; hãy sử dụng tên máy chủ hoặc IP riêng có thể truy cập và bảo mật dịch vụ trước khi lộ ra ngoài.
Phản hồi bắt đầu nhưng dừng lại hoặc không có nội dung
Xác nhận rằng API hỗ trợ Chat Completions phát trực tuyến và phát ra các sự kiện data: tiêu chuẩn. Giảm Số token tối đa, kiểm tra tin nhắn chỉ văn bản và chỉ tắt mảng nội dung có cấu trúc nếu nhà cung cấp ghi lại rằng họ chỉ chấp nhận nội dung chuỗi.
Phiên dài thất bại gần giới hạn ngữ cảnh
Giảm Cửa sổ ngữ cảnh đã cấu hình xuống giới hạn thực tế của nhà cung cấp và dành không gian cho đầu ra, hướng dẫn hệ thống và kết quả công cụ. Bắt đầu phiên mới sau khi thay đổi cấu hình mô hình để các giới hạn mới được áp dụng nhất quán.
Để biết chi tiết về hạn mức cấp tài khoản và luồng dữ liệu, hãy đọc Tài khoản, gói và chi phí API của PandaNpc và Chính sách quyền riêng tư.