Сколько памяти нужно для локальной нейросети: 7B, 14B, 32B и 70B
Чтобы оценить память для локальной нейросети, сложите объём её весов, память для контекста и рабочие расходы программы, затем оставьте место операционной системе. Например, только веса условной модели 32B при идеальном хранении по 4 бита занимают 16 ГБ. Реальному запуску потребуется больше. Поэтому размер файла модели и объём RAM компьютера нужно сравнивать с учётом настроек запуска.
Это руководство поможет подготовить проверяемый запрос перед покупкой компьютера для локального ИИ. Все числа в таблице ниже рассчитаны по формуле; аппаратные испытания FEVM FAEX1 для этой статьи не проводились.
Что означают 7B, 14B, 32B и 70B
Буква B обозначает миллиарды параметров модели. Эти параметры, или веса, хранятся в файлах и используются программой при вычислении ответа. В статье рассматривается запуск готовой текстовой модели — требования к обучению нужно считать отдельно.
Сравнивать объём памяти только по числу параметров недостаточно: значение имеет и формат хранения. Квантование позволяет уменьшить точность представления весов и сократить их объём; влияние на ответы нужно оценивать на своих задачах. Это объясняется в документации Hugging Face о квантовании.
Таблица: сколько места занимают только веса
Для первого приближения используйте формулу:
Объём весов в ГБ ≈ число параметров в миллиардах × бит на параметр ÷ 8
| Модель | 16 бит | 8 бит | 4 бита |
|---|---|---|---|
| 7B | 14 ГБ | 7 ГБ | 3,5 ГБ |
| 14B | 28 ГБ | 14 ГБ | 7 ГБ |
| 32B | 64 ГБ | 32 ГБ | 16 ГБ |
| 70B | 140 ГБ | 70 ГБ | 35 ГБ |
В формуле все параметры условно имеют одинаковую разрядность. Реальный формат может использовать смешанную точность, дополнительные коэффициенты и служебные данные. Файл с обозначением «4-bit» не обязан совпадать с колонкой «4 бита» байт в байт. Проверяйте размер конкретного файла и оценку загрузчика.
Если программа показывает GiB, учитывайте другую единицу: 1 GiB = 1 073 741 824 байта. Для сопоставления приводите размер модели и доступную память к одной системе единиц.
Почему одной таблицы недостаточно
Помимо весов, память занимают рабочие буферы программы и данные текущего запроса. У многих текстовых моделей для обработки последовательности используется KV-кэш. Его объём зависит от архитектуры, длины контекста и формата хранения кэша. Механизм описан в документации Hugging Face о кэшировании.
Поэтому проверка с коротким вопросом не подтверждает работу с длинным документом. Для типичного трансформера с полным вниманием увеличение контекста увеличивает расходы KV-кэша; у других архитектур зависимость может отличаться. При нескольких одновременных запросах также нужно учитывать данные отдельных сеансов.
Единого процента запаса для всех моделей нет. Практичная последовательность такая: выбрать конкретную модель и её файл, задать нужный контекст, получить оценку программы, а затем выполнить пробный запуск с рабочим документом.
Что означают 128 ГБ в FEVM FAEX1
В предлагаемой на fevm.store комплектации FAEX1 указаны Ryzen AI Max+ 395, Radeon 8060S и 128 ГБ общей памяти процессора и встроенной графики. Операционная система и приложения используют тот же общий объём. Для выбранного способа GPU-ускорения нужно отдельно проверить, какая часть памяти ему доступна.
Материалы AMD о локальных LLM на Ryzen AI Max+ показывают зависимость возможностей платформы от программной среды и настроек. Результаты на устройствах из материала AMD нельзя автоматически приписывать FEVM FAEX1.
До выбора FAEX1 стоит проверить три вещи: помещается ли нужная модель с вашим контекстом, поддерживает ли её выбранная программа на установленной системе и устраивает ли скорость на ваших заданиях. Для проверки запишите точный файл модели, версии программы и драйвера, длину контекста и режим ускорения.
Пример заявки на проверку
Вместо запроса «потянет ли компьютер 32B» подготовьте короткую карточку. Она позволит повторить проверку на разных устройствах и сравнить результаты в одинаковых условиях.
Задача: ответы на русском по рабочему документу.
Модель: точное название, версия и файл квантования.
Контекст: например, 8192 токена, если такой объём нужен в работе и поддерживается моделью.
Нагрузка: один пользователь, затем отдельная проверка нужного числа одновременных запросов.
Что записать: потребление памяти, время до первого ответа, скорость генерации и качество ответа на одинаковых заданиях.
Для предварительной оценки в LM Studio предусмотрен режим --estimate-only: он оценивает память без загрузки модели и учитывает заданные параметры, включая контекст и выгрузку на GPU. Порядок применения приведён в официальной документации LM Studio. Оценка помогает отсеять неподходящий вариант; удобство работы подтверждается пробным запуском.
Как принять решение перед покупкой
- Сначала выберите рабочие задания. Подготовьте несколько типичных вопросов и документов, на которых сможете проверить качество ответа.
- Зафиксируйте модель и настройки. Сохраните ссылку на конкретный файл, формат, контекст и программу запуска.
- Оцените весь расход памяти. Учтите веса, контекст, рабочие буферы, систему и остальные приложения.
- Согласуйте пробный запуск. Попросите результат на сопоставимой конфигурации с указанием условий испытания.
- Сравните результат с задачей. Для переписки, обработки документов и совместной работы требования к задержкам могут различаться.
Если рассматриваете FEVM FAEX1, передайте эту карточку при обсуждении конфигурации. Наличие подходящей программы, установка системы и настройка рабочего сценария согласуются отдельно. Общий порядок выбора компьютера разобран в руководстве по компьютерам для локальных нейросетей.
Частые вопросы
Поможет ли SSD на 4 ТБ запустить более крупную модель?
Больший SSD даёт место для хранения файлов. Возможность держать модель в оперативной памяти зависит от RAM и режима запуска. Для программ, использующих подкачку или частичную загрузку, скорость нужно измерять отдельно.
Можно ли считать память MoE-модели по активным параметрам?
Сначала нужно проверить способ загрузки конкретной модели. В обычном режиме с размещением всех экспертов в памяти ориентируются на все загружаемые веса. В примере AMD с Llama 4 Scout объём всех параметров и число активных параметров различаются; активная часть сама по себе не описывает расход памяти.
Если модель поместилась в память, будет ли она быстро отвечать?
Вместимость отвечает только на вопрос о размещении данных. Приемлемую скорость и качество ответа проверяют на выбранной модели, программе и рабочей нагрузке.