Налаштування власних AI-провайдерів та API-ключів у PandaNpc

Оновлено

Власні провайдери дозволяють PandaNpc використовувати обліковий запис API, приватний шлюз або локальну кінцеву точку моделі, якою ви керуєте. Це часто називають BYOK: принесіть свій ключ. Це корисно, коли вам потрібна модель поза вбудованим каталогом, білінг з боку провайдера, внутрішній проксі, Ollama, LM Studio або саморозміщений сервіс, сумісний з OpenAI.

Для підтримуваного прямого чату PandaNpc надсилає запит на вашу налаштовану кінцеву точку, а не підставляє вбудовану модель. Ваш вищестоящий провайдер, як і раніше, контролює ціни, зберігання даних, ліміти швидкості, доступність моделей і правила прийнятного використання.

Передумови та межі безпеки

Перш ніж додавати провайдера, зберіть:

  • API-ключ провайдера або локальний токен автентифікації.
  • Його базову URL-адресу API, зазвичай із закінченням /v1 для сервісу, сумісного з OpenAI.
  • Точний ідентифікатор моделі, який приймає API.
  • Документоване вікно контексту та максимальний ліміт виведення, якщо ви плануєте змінювати значення за замовчуванням.

Використовуйте окремий ключ із мінімально необхідними дозволами та, де це підтримує провайдер, із лімітом витрат. Ніколи не розміщуйте ключ у документації, підказках чату, скріншотах, виводі консолі браузера або в Git-репозиторії.

У веб-браузері прямі запити підлягають CORS. Провайдер повинен дозволяти запити з https://pandanpc.com. Базова URL-адреса, наприклад http://localhost:11434/v1, стосується комп’ютера, на якому запущено браузер, а не автоматично віддаленої машини PandaPaw. Десктопний застосунок може бути більш придатним для локальних кінцевих точок, оскільки він не обмежений браузерним CORS таким самим чином.

Крок 1: Відкрийте конфігурацію моделей

Увійдіть у PandaNpc і відкрийте Model Configuration. Провайдери та моделі — це окремі записи: провайдер зберігає деталі підключення та автентифікації, а кожна модель зберігає ідентифікатор і ліміти, які надсилаються до цього підключення.

Якщо офіційний провайдер уже присутній, налаштуйте або скопіюйте його, замість того щоб вигадувати інший протокол. Для нового шлюзу, сумісного з OpenAI, виберіть Add Provider.

Крок 2: Додайте провайдера

Заповніть форму провайдера:

Поле Що вводити Приклад або підказка
Display Name Мітка, видима вам Company AI Gateway
Provider ID Стабільний внутрішній ідентифікатор company-openai
API Key Секрет, який використовується як токен носія Значення, видане провайдером
Base URL Корінь API без /chat/completions https://gateway.example.com/v1
Protocol Формат вищестоящого API Виберіть openai для сумісних із OpenAI завершень чату
Secret Додатковий другий секрет (необов’язково) Залиште порожнім, якщо провайдер цього не вимагає
Organization Ідентифікатор організації (необов’язково) Лише якщо це вимагає провайдер
Project Ідентифікатор проєкту (необов’язково) Лише якщо це вимагає провайдер
Support content array Чи може вміст повідомлення використовувати структуровані масиви Залиште увімкненим для провайдерів, які приймають сучасний мультимодальний вміст повідомлень

PandaNpc видаляє кінцеві скісні риски з Base URL і додає /chat/completions для прямого запиту чату, сумісного з OpenAI. Тому вводьте:

text
https://api.example.com/v1

а не:

text
https://api.example.com/v1/chat/completions

Збережіть провайдера перед додаванням моделі. Під час редагування наявного провайдера порожнє поле API Key або Secret означає «залишити налаштоване значення»; воно не показує збережений секрет у формі.

Крок 3: Додайте модель

Виберіть Add Model під провайдером і заповніть ці поля:

Поле Значення Приклад
Display Name Зручне для читання мітко-селектор My Coding Model
Model Value Точний ідентифікатор моделі у вищестоящого провайдера model-name-from-provider
Model Type Відображення можливостей/категорій PandaNpc Виберіть поточне значення з форми
Provider Запис провайдера, створений вище Company AI Gateway
Context Window Загальна підтримувана кількість токенів Використовуйте задокументоване ціле значення ліміту провайдера
Max Tokens Максимальна кількість токенів згенерованого виводу Використовуйте позитивне значення, не більше за ліміт провайдера

Display Name можна змінювати, не впливаючи на виклик API. Model Value не можна вгадати з маркетингової назви; скопіюйте його з документації API провайдера або кінцевої точки списку моделей.

Залиште Context Window і Max Tokens порожніми, якщо ви не впевнені. Консервативне значення за замовчуванням безпечніше, ніж оголошення більшого вікна контексту, ніж підтримує сервер. Ці поля особливо важливі для PandaCode, оскільки вони впливають на ущільнення та бюджетування виводу.

Поширені приклади кінцевих точок

Наведені нижче шаблони ілюструють форму URL-адреси; доступність та ідентифікатори моделей залежать від вашої інсталяції або облікового запису провайдера:

Тип сервісу Типова Base URL Примітки
Хмарний API, сумісний з OpenAI https://provider.example.com/v1 Має підтримувати потокові Chat Completions і автентифікацію через токен носія
Ollama на переглядаючому комп’ютері http://localhost:11434/v1 Запустіть сумісну з OpenAI кінцеву точку Ollama; використання в браузері може потребувати налаштування CORS
LM Studio на переглядаючому комп’ютері http://localhost:1234/v1 Запустіть локальний сервер і виберіть ідентифікатор завантаженої моделі
Шлюз приватної мережі https://ai.internal.example/v1 Клієнт PandaNpc має мати можливість вирішувати та досягати хоста

Не припускайте, що кожен сервіс, який рекламує «сумісність з OpenAI», реалізує потокову передачу, виклики інструментів, зображення, поля міркувань або ідентичні відповіді про помилки. Перевірте саме ті функції, які потрібні вашому робочому процесу.

Перевірка провайдера та моделі

Використовуйте нечутливий і недорогий запит, перш ніж покладатися на конфігурацію:

  1. Виберіть нову модель у новій розмові.
  2. Надішліть Reply with exactly: provider connected.
  3. Переконайтеся, що відповідь надходить потоково, а інформаційна панель провайдера фіксує запит.
  4. Надішліть коротке продовження, щоб перевірити історію розмови.
  5. Якщо вам потрібні інструменти, зображення або довгий контекст, протестуйте кожну можливість окремо.

Для локальної кінцевої точки спершу перевірте її поза PandaNpc. Список моделей, сумісний з OpenAI, часто доступний за допомогою:

bash
curl http://localhost:11434/v1/models

Використовуйте відповідь лише для підтвердження доступності та ідентифікатора моделі. Не вводьте виробничий API-ключ безпосередньо в історію оболонки.

Використання власних моделей з PandaCode

PandaCode може забезпечувати робочий процес кодування в стилі Claude Code, використовуючи при цьому вибраний вами бекенд моделі, зокрема DeepSeek, Qwen, сумісний з OpenAI шлюз або внутрішній сервіс. Після налаштування провайдера та моделі виберіть цю модель для відповідного підключення або завдання PandaCode.

Модель має підтримувати шаблон взаємодії, необхідний для механізму кодування. Провайдер, який працює для простого чату, може все одно не впоратися з викликами інструментів, довготривалими потоками або структурованим вмістом. Див. AI-моделі, підтримувані PandaNpc щодо різниці між чат-моделями та локальними механізмами кодування, а також Інсталяція та команди PandaPaw для налаштування віддаленого механізму.

Усунення неполадок

Помилка автентифікації `401` або `403`

Створіть новий ключ провайдера, підтвердьте, що він активний, і введіть його повторно. Перевірте, чи потребує вищестоящий сервіс організацію, проєкт або інший метод автентифікації. Замаскований ключ, скопійований з екрана редагування, не є оригінальним секретом.

`404` кінцева точка або модель не знайдено

Приберіть /chat/completions із налаштованої Base URL, оскільки PandaNpc додає його сам. Переконайтеся, що /v1 присутній там, де це потрібно, і що Model Value точно збігається з ідентифікатором моделі вищестоящого провайдера. Провайдер може повертати однаковий 404 і для неправильної URL-адреси, і для недоступної моделі.

Браузер повідомляє про мережеву помилку або помилку CORS

Відкрийте консоль розробника браузера лише для того, щоб визначити заблоковане джерело; не вставляйте туди секрети. Налаштуйте провайдера дозволяти https://pandanpc.com, використовуйте його HTTPS-кінцеву точку або скористайтеся десктопним застосунком PandaNpc. Правила змішаного вмісту блокують виклики деяких звичайних HTTP-кінцевих точок з HTTPS-сторінки.

Локальний Ollama або LM Studio недоступні

Переконайтеся, що сервер запущено на тому самому комп’ютері, що й клієнт, який надсилає запит, і що він прослуховує налаштований інтерфейс і порт. Якщо сервер моделі працює на іншому комп’ютері, localhost є неправильним; використовуйте доступне приватне ім’я хоста або IP-адресу та захистіть сервіс перед тим, як відкривати його.

Відповідь починається, але зупиняється або не має вмісту

Підтвердьте, що API підтримує потокові Chat Completions і надсилає стандартні події data:. Зменшіть Max Tokens, протестуйте текстове повідомлення та вимкніть структуровані масиви вмісту лише якщо провайдер документує, що він приймає виключно строковий вміст.

Довгі сеанси завершуються помилкою поблизу ліміту контексту

Зменшіть налаштоване Context Window до реального підтримуваного ліміту провайдера та залиште місце для виводу, системних інструкцій і результатів інструментів. Почніть новий сеанс після зміни конфігурації моделі, щоб нові ліміти застосовувалися послідовно.

Щодо деталей квот і потоків даних на рівні облікового запису читайте Облікові записи, плани та вартість API PandaNpc і Політику конфіденційності.