Skip to content

Где взять модель ​

Языковая модель в поставку платформы не входит. Администратор указывает адрес модели в разделе AI-провайдер, а сама модель работает снаружи — на сервере организации или в облачном сервисе.

Путей три, и выбор между ними обычно решается не качеством ответов, а доступностью сервиса из сети организации и способом оплаты.

ПутьКогда подходитЧто потребуется
Модель в своей сетиДанные не должны покидать контур организации, либо у сервера нет доступа в интернетСервер с GPU, Ollama или LM Studio
Российский сервис-агрегаторСвоего сервера нет, нужна оплата в рублях по договоруРегистрация и ключ доступа
Зарубежный сервисУже есть оплаченный доступ и адрес, с которого он открываетсяКлюч доступа, при необходимости — промежуточный сервер

Как выбрать путь ​

ПутьДоступ из РоссииОплатаСтруктура базы уходит наружу
Модель в своей сетиПрямойРазовая, за оборудованиеНет
Российский агрегаторПрямойВ рублях, по договоруДа, в сервис-посредник
Зарубежный сервисЧерез промежуточный серверКартой в валютеДа

Если структуре базы нельзя покидать контур организации, остаётся только модель в своей сети. В остальных случаях выбор решает оплата: нужны закрывающие документы и рубли — российский агрегатор; уже есть оплаченный доступ к зарубежному сервису — понадобится промежуточный сервер, потому что напрямую такие сервисы из России не отвечают.

Доступность сервиса из сети организации ​

Зарубежные сервисы отвечают отказом на запросы из России

Крупные зарубежные агрегаторы моделей ограничивают доступ по региону. Запрос с адреса российского дата-центра завершается ответом 403 Access denied by security policy, хотя ключ и адрес указаны верно. Так ведёт себя, например, OpenRouter (https://openrouter.ai/api/v1): с адреса домашнего провайдера он отвечает, а с сервера, арендованного в российском дата-центре, — отказом.

Признак именно этого ограничения — быстрый отказ: ответ приходит за доли секунды, тогда как недоступный сервер отвечает таймаутом через десятки секунд.

Проверить доступность стоит до покупки доступа. Обратитесь к адресу сервиса с того же сервера, где работает платформа:

bash
curl -s -o /dev/null -w "%{http_code} за %{time_total} с\n" https://адрес-сервиса/api/v1/models
ОтветЧто означает
200Сервис доступен, можно подключать
401Сервис доступен, нужен ключ — это рабочее состояние
403 за доли секундыРегион заблокирован, нужен другой сервис или промежуточный сервер
Нет ответа, таймаутАдрес недоступен из сети: проверьте адрес, порт и правила межсетевого экрана

Модель в своей сети ​

Сервер с моделью разворачивают в сети организации, и платформа обращается к нему напрямую. Структура базы наружу не уходит. Это единственный путь, когда сервер платформы вообще не имеет доступа в интернет.

Подходит любой сервер с OpenAI-совместимым API — Ollama, LM Studio и подобные. В разделе AI-провайдер выбирается тип OpenAI-совместимый, в Base URL — адрес сервера с моделью, оканчивающийся на /v1.

Что потребуется от сети:

ТребованиеЗачем
Адрес открывается с сервера платформыК модели обращается платформа, а не браузер: с рабочего места администратора адрес может отвечать, а с сервера — нет
Порт разрешён в правилах межсетевого экранаНаправление «сервер платформы → сервер модели»
Постоянный адрес или имя в DNSПри смене адреса помощник перестаёт отвечать, настройку правят вручную

Сервер модели в своей сети обычно не проверяет ключ

LM Studio не умеет проверку ключа вовсе: запросы в модель отправляет любой, кто дотянулся до порта. Такой сервер не выставляют в интернет — доступ ограничивают сетью: отдельная подсеть и правила межсетевого экрана либо сервер-посредник, который проверяет ключ перед тем, как передать запрос модели.

Опечатка в имени модели у локального сервера не даёт ошибки

LM Studio подставляет загруженную модель вместо запрошенной, и Проверить отвечает «ok», хотя поле Модель заполнено неверно. Берите идентификатор кнопкой в поле — см. Выбор модели из списка.

Скорость ответа зависит от оборудования сервера, а помощник обращается к модели до трёх раз на один вопрос — на что смотреть, описано в разделе Выбор модели.

Российский сервис-агрегатор ​

Агрегатор даёт доступ к моделям разных производителей через один адрес и один ключ, принимает оплату в рублях и работает с российскими юридическими лицами.

Подключается как обычный OpenAI-совместимый провайдер:

ПолеЗначение
Тип провайдераOpenAI-совместимый
Base URLАдрес API сервиса, обычно оканчивается на /v1
МодельИдентификатор из каталога сервиса
API-ключКлюч, выпущенный в личном кабинете сервиса

Примеры адресов, по которым такие сервисы подключаются:

СервисBase URLОсобенность
RouterAIhttps://routerai.ru/api/v1Идентификаторы моделей те же, что в зарубежных каталогах
AITunnelhttps://api.aitunnel.ru/v1Идентификаторы моделей без префикса производителя

Список неполный и приведён для примера: сервисы появляются и меняются, а условия, цены и набор моделей смотрите на их сайтах. Каталог моделей RouterAI отдаёт и без ключа, AITunnel на тот же запрос отвечает 401 с требованием токена — оба ответа означают, что сервис из вашей сети доступен.

Каталог у агрегатора большой — у крупных сервисов это сотни моделей. Перебирать их вручную не нужно: кнопка в поле Модель запрашивает список у самого сервиса, см. Выбор модели из списка.

Идентификаторы моделей у агрегаторов часто совпадают

Российские агрегаторы обычно перепродают доступ к тому же набору моделей, что и зарубежные, сохраняя идентификаторы вида google/gemini-3.1-flash-lite. При переходе с одного сервиса на другой достаточно поменять Base URL и API-ключ — поле Модель остаётся прежним.

Проверьте это по каталогу выбранного сервиса: у части агрегаторов идентификаторы записаны без префикса производителя.

Наценка агрегатора обычно составляет около 20 % к цене исходного сервиса. На стоимости работы помощника это сказывается мало — подробности в разделе Сколько стоит работа помощника.

Цены сравнивайте по обеим колонкам ​

В каталогах агрегаторов встречается цена чтения из кеша

На карточке модели может быть указана цена чтения из кеша — она в десятки раз ниже обычной. Помощник отправляет каждый запрос заново, поэтому ориентироваться нужно на цену входящих и исходящих токенов, а не на самое привлекательное число на карточке.

Промежуточный сервер к зарубежному сервису ​

Если организация уже оплатила доступ к зарубежному сервису, а он отвечает отказом по региону, запросы направляют через промежуточный сервер за пределами России: платформа обращается к нему, он передаёт запрос дальше. Что учесть при настройке и какая площадка подойдёт — Промежуточный сервер.

Что уходит в сервис модели

Помощнику передаётся структура выбранных таблиц — имена таблиц, колонок и их типы — и текст вопроса пользователя. Данные строк из источника не передаются.

Если структура базы считается чувствительной, выбирайте модель в своей сети: при работе через любой внешний сервис структура покидает контур организации.

Что дальше ​