Локальный ИИ для команды · 31 октября 2026
Один компьютер с локальным ИИ для команды: как проверить нагрузку
Проверяйте не число сотрудников, а одновременные обращения и ожидание каждого ответа. Сначала выполните рабочее задание отдельно, затем повторите его в нескольких независимых сеансах с общим стартом. Сохраните времена, ошибки и качество каждого результата. Объём памяти сам по себе не определяет, сколько людей смогут комфортно работать.
Измерьте ожидание каждого
Запишите время и правильность ответа.
Независимые сеансы → общий старт → время каждого.
Каждый получил пригодный ответ в согласованный срок?
Сотрудники, запросы и параллельная обработка — разные величины
В команде может быть много сотрудников, но они обращаются к модели в разное время. И наоборот: один человек может запустить несколько фоновых задач. Поэтому фраза «компьютер для пяти пользователей» без сценария не описывает нагрузку.
По FAQ Ollama, одновременно загруженные модели и параллельные запросы к одной модели — разные уровни работы. Возможности зависят от доступной памяти; запросы могут ожидать в очереди. Параллельная обработка увеличивает потребность в памяти для контекста. Настройки OLLAMA_NUM_PARALLEL, OLLAMA_MAX_LOADED_MODELS и OLLAMA_MAX_QUEUE управляют разными ограничениями. Их значения не равны числу сотрудников.
Начните с одной точной модели и неизменных настроек. Проверку двух разных моделей выполняйте отдельным этапом: иначе станет трудно понять, что изменилось — ожидание, загрузка другой модели или обработка документа.
До запуска договоритесь, что считать приемлемым
Выберите реальное типовое задание без персональных и коммерческих данных: например, извлечь четыре факта из обезличенной записки и назвать отсутствующую дату неизвестной. Сохраните сам текст, правильный ответ и допустимый формат. Добавьте длинный документ отдельной пробой, если он встречается в обычной работе.
Запишите допустимое время полного ответа, допустимое ожидание первого текста и требования к правильности. Пороги выбирает команда под свою задачу; универсальных секунд или токенов в секунду здесь нет. Ответ с пропущенным обязательным фактом не становится успешным только потому, что появился быстро.
Порядок проверки: один запрос, затем одновременная группа
- Получите одиночный результат. Выполните задание в новом сеансе. Сохраните текст ответа и полное время. Отдельно отметьте первый запуск и повтор с уже загруженной моделью. Подробные границы замера разобраны в методике проверки компьютера.
- Подготовьте два независимых сеанса. Используйте тот же сервер и ту же модель. У каждого сеанса должен быть собственный запрос без истории предыдущего чата. Проверьте, что интерфейс действительно отправляет отдельные обращения, а не блокирует вторую отправку до окончания первой.
- Дайте общий старт. Отправьте оба задания максимально близко по времени и запишите фактические моменты отправки. Ручная отправка не обеспечивает точной синхронности: разброс стартов сохраняют в отчёте, а не считают нулевым.
- Запишите каждого участника. Для каждого обращения нужны время отправки, первый нужный текст при потоковой выдаче, завершение, фактический ответ и ошибка, если она была. Не заменяйте два наблюдения одним средним.
- Повторите группу три раза. Это небольшая диагностическая серия, не статистическое доказательство устойчивости. Между группами дождитесь завершения всех заданий. Если результаты подходят, отдельно проверьте нужный вам больший размер группы; увеличивайте его постепенно.
Сохраняйте одинаковые условия клиента и сервера. Если повторяется тот же вход, возможное использование кэша отмечают отдельно. После короткой пробы повторите проверку на разнообразных рабочих запросах: одинаковый текст не воспроизводит весь день команды.
Как читать результат группы
| Поле | Зачем оно нужно |
|---|---|
| ID сеанса и фактический старт | Проверить перекрытие обращений во времени |
| Первый текст и полный ответ | Разделить начало выдачи и завершение задачи |
| Правильность, завершённость, ошибка | Не засчитать быстрый, но непригодный результат |
| Состояние модели и память | Сопоставить условия разных прогонов |
Учебный расчёт: два запроса отправлены одновременно; первый завершился через 12 секунд, второй — через 24. Группа завершена за 24 секунды. Среднее полное время равно (12 + 24) ÷ 2 = 18 секундам, но второй участник ждал 24 секунды. Производительность группы — 2 ÷ 24 × 60 = 5 завершённых запросов в минуту. Это вычисление для вымышленной группы, а не прогноз работы компьютера в течение часа.
При разных моментах отправки длительность группы считайте от самого раннего старта до самого позднего завершения. В числителе производительности учитывайте завершённые успешные запросы; ошибки указывайте отдельно. Не оценивайте редкие задержки по двум наблюдениям и не называйте такую пробу измерением p95.
Что показывают счётчики Ollama
В ответе API generate есть счётчики обработки входа и генерации, время загрузки и total_duration; длительности указаны в наносекундах. Сохраняйте их вместе с клиентским временем. Из одного eval_duration нельзя получить ожидание сотрудника: оно начинается при отправке, а заканчивается в его интерфейсе.
При stream: false ответ приходит целиком. Для времени первого видимого текста нужна потоковая выдача и отдельный замер в клиенте. Разность клиентского времени и серверного счётчика не объявляйте «чистой очередью»: без дополнительного наблюдения нельзя отделить все сетевые и клиентские задержки.
Появилась ошибка 503: увеличивать очередь?
FAQ Ollama описывает 503 при перегрузке. Сначала сохраните ошибку, настройки и размер группы. Большая очередь допускает больше ожидающих обращений, но сама по себе не доказывает более быструю обработку. Повторите меньшую нагрузку и сравните время каждого ответа.
Два запроса отправлены вместе: значит, они вычислялись параллельно?
Нет: одновременная отправка подтверждает только нагрузку со стороны клиентов. Сервер может выполнять обращения последовательно или с перекрытием. Для вывода нужны сведения о настройках и наблюдения сервера; для покупателя в любом случае важен проверенный результат каждого сеанса.
Что попросить перед покупкой FEVM FAEX1
Передайте продавцу паспорт прогона, обезличенное задание, нужный размер группы и пороги ожидания. Запросите все ответы и времена, включая неудачные. Для FAEX1 с 128 ГБ это общая память CPU/GPU, не выделенная VRAM. Успех одной небольшой группы не подтверждает работу любой модели, всех сотрудников или длинных документов.
После успешной пробы проведите ограниченный рабочий пилот с характерными паузами и заданиями. Доступ сотрудников настраивается отдельно: эта статья не требует открывать API в интернет. Для освобождения памяти между отдельными проверками используйте инструкцию по выгрузке модели.
Источники: FAQ Ollama: параллельные запросы и очередь; Generate API: поток и временные счётчики. Проверено 31.10.2026. Методика и учебный расчёт предложены редакционно; аппаратные испытания и нагрузочные запросы при подготовке статьи не выполнялись.