Определите единицу результата
Цена миллиона токенов удобна поставщику, но редко отражает ценность для заказчика. Для поиска единицей может быть ответ с подтверждённой ссылкой, для поддержки — корректно решённое обращение, для обработки документов — извлечённый и проверенный пакет, для разработки — принятый фрагмент изменения.
Единица должна учитывать качество. Дешёвый ответ, который сотрудник полностью перепроверяет или исправляет, переносит расходы в рабочее время и создаёт ложную экономию.
Соберите полную стоимость
Для облака учитывают токены, кеширование, поиск, инструменты, трафик и минимальные платежи. Для локальной платформы — амортизацию GPU и серверов, питание, охлаждение, лицензии, эксплуатацию, резерв мощности и простой. Общие компоненты распределяют по проектам через теги, квоты или измеренное потребление.
Параллельно фиксируют версию модели, сценарий и владельца бюджета. Без этих данных всплеск расходов невозможно связать с конкретным изменением.
Управляйте мощностью как портфелем
Постоянная нагрузка может быть выгоднее на локальном контуре, а редкие пики — в облаке. Но сравнение выполняют при одинаковых требованиях к данным, задержке, качеству и доступности. Зарезервированный GPU с низкой загрузкой не становится бесплатным, а облачный маршрут с непредсказуемым контекстом может быстро превысить план.
Политика маршрутизации выбирает модель по сложности, классу данных и целевому качеству. Маленькая модель обслуживает типовой поток, большая подключается там, где её преимущество измерено.
Введите общий ритм решений
Инженеры еженедельно видят аномалии и неиспользуемую мощность, владельцы продуктов — стоимость единицы результата, финансы — прогноз и обязательства, руководство — ценность портфеля. Лимиты и оповещения задаются до запуска, а не после первого счёта.
Решение о масштабировании принимает не один процент загрузки. Учитываются очередь, задержка, качество, устойчивость, риск данных и стоимость следующей единицы результата. Так оптимизация не ухудшает сервис ради красивого графика затрат.