Начните с классов задач и ограничений
Разделите нагрузку на извлечение фактов, классификацию, суммаризацию, генерацию текста, работу с инструментами, код и многошаговый анализ. Для каждого класса задайте требования к точности, времени ответа, стоимости, месту обработки данных и допустимым поставщикам. Модель выбирается внутри разрешённого пула, а не из всего доступного рынка.
Часть правил должна быть жёсткой: персональные или закрытые данные остаются в согласованном контуре, определённые действия требуют конкретной модели и версии, а критичный процесс имеет проверенный резерв.
Маршрутизатор тоже является моделью, которую нужно проверять
Решение может основываться на типе задачи, сложности, длине контекста, используемых инструментах, языке и целевом режиме «стоимость — баланс — качество». Для диалога учитывают устойчивость выбора: постоянная смена модели между сообщениями способна менять стиль и интерпретацию контекста.
В журнале сохраняют причину маршрута, выбранную модель, версию политики, токены, задержку, результат проверки и переход на резерв. Пользовательские секреты не должны попадать в объяснение маршрутизации.
Докажите эффект на реальном наборе запросов
Соберите репрезентативный набор задач с эталонами или критериями оценивания. Сравните маршрутизатор с понятными базовыми вариантами: одной сильной моделью, одной экономичной и простыми правилами. Измеряйте итоговое качество, успешность инструментов, задержку хвостовых перцентилей, стоимость успешного результата и долю эскалаций.
Средняя экономия ничего не значит, если редкие важные запросы ушли в слабую модель. Поэтому отчёт должен показывать качество по классам риска и причины ошибочной маршрутизации.
Эксплуатация требует ограничений и обратной связи
Задайте максимальную стоимость запроса, тайм-ауты, число повторов, порядок резервов и поведение при недоступности поставщика. Изменение состава моделей или политики проходит повторную оценку и постепенный выпуск.
Зрелый маршрутизатор не скрывает сложность, а делает её управляемой: команда видит, какой контур выполнил задачу, почему он был выбран и когда правило необходимо изменить.