Сначала сценарий
Фраза «нужен локальный ИИ» ещё не определяет проект. Полезнее описать конкретное действие: поиск по утверждённым инструкциям, подготовка черновика или классификация входящего документа. Для сценария задают пользователя, входные данные, допустимый результат и действие после ответа. Это отделяет прикладную задачу от демонстрации технологии.
Критерий качества
Качество нельзя оценить только впечатлением от нескольких ответов. Нужен набор типичных и сложных примеров, ожидаемые свойства результата и список недопустимых ошибок. Для поиска важны полнота, ссылка на источник и актуальность документа. Для черновика важнее возможность проверки человеком. Метрика должна соответствовать реальному риску решения.
Граница данных
До загрузки документов определяют владельца данных, разрешённые категории и срок использования. Секреты, персональные и договорные сведения требуют отдельных решений по доступу и журналированию. Локальное размещение уменьшает передачу внешнему облаку, но не отменяет угроз внутри сети, ошибок конфигурации и избыточных прав пользователей.
Источники ответа
Если система использует корпоративные документы, каждый ответ желательно связывать с конкретным источником и его версией. Устаревший регламент не становится верным от того, что модель изложила его уверенно. Индекс должен обновляться контролируемо, а удалённый или отозванный документ переставать участвовать в ответах. Это задача управления знаниями, а не только модели.
Ресурсы и задержка
Оборудование выбирают после измерения сценария. Размер модели, длина контекста, количество одновременных пользователей и требуемая задержка меняют требования к памяти и ускорителю. Небольшой пилот на репрезентативных запросах даёт больше данных, чем покупка максимальной конфигурации заранее. Результаты измеряют на том же классе документов, который будет в работе.
Роли и контроль
Нужно разделить администрирование модели, управление источниками и обычное использование. Пользователь не должен получать документ через ИИ, если у него нет права открыть этот документ напрямую. Журналы помогают расследовать ошибки, но сами могут содержать чувствительный текст. Поэтому состав и срок хранения журналов определяют до запуска.
Пилот не равен эксплуатации
Пилот отвечает на ограниченный вопрос: достигается ли полезный результат при заданных условиях. Эксплуатация добавляет наблюдение, обновления, резервирование, поддержку и процедуру отключения. Успех демонстрации не доказывает готовность этих процессов. Решение о расширении принимают по фактам пилота и оставшимся рискам.
Следующий практический шаг
Выберите один сценарий, соберите небольшой утверждённый набор примеров и назначьте владельца качества. Опишите границу данных и недопустимые ответы. После этого можно сравнивать модели и варианты размещения. Такой порядок сохраняет возможность остановиться без дорогой инфраструктуры, если сценарий не подтверждает ценность.