Как дать документы локальному ИИ: целиком или через RAG

Весь текст в контексте: для целостного разбора

Контекст — объём текста, доступный модели при подготовке ответа. В нём должны разместиться не только документ, но и инструкции, вопрос и используемая история беседы; при планировании также оставьте место для ответа. Размер PDF в мегабайтах и число страниц не дают точного количества токенов: проверяйте извлечённый текст и подсчёт в выбранной программе или токенизаторе модели.

В документации LM Studio описаны оба способа: короткий документ, который помещается в контекст, передаётся целиком; для длинного программа может использовать поиск фрагментов. К чату можно прикреплять DOCX, PDF и TXT. Поэтому само наличие вложения ещё не означает, что модель получила весь файл.

Когда начать с полного текста: нужно разобрать одну инструкцию, пересказать небольшой отчёт или сопоставить несколько разделов одного документа. Например: «Сравни условия разделов 2 и 5; для каждого вывода укажи раздел». Передача целого текста убирает отдельный этап поиска, но правильность ответа всё равно нужно сверить с оригиналом.

Как оценить, поместится ли документ

Используйте бюджет токенов для выбранной модели и её фактических настроек. Это смета контекста, а не расчёт гигабайтов RAM:

Место для документов = настроенный контекст − инструкции и вопрос − история − место для ответа − запас

Текст на 18 000 токенов укладывается в эту смету, на 28 000 — уже нет. Тогда можно начать новый чат, сузить задачу до нужных разделов или использовать поиск. Увеличение контекста — ещё один вариант, но его нужно проверить на конкретной модели: Ollama прямо указывает, что больший контекст повышает расход памяти. В этой программе настроенный контекст загруженной модели можно проверить командой ollama ps.

RAG: когда нужен ответ из архива

RAG — подход, при котором система сначала ищет материалы по вопросу и передаёт модели найденный контекст. В официальном введении LlamaIndex отдельно описаны загрузка данных, построение индекса, поиск и оценка результата. Индекс — подготовленная структура для поиска; его нужно поддерживать вместе с исходными файлами. Этот путь добавляет материалы к запросу и сам по себе не является дообучением весов модели.

Он уместен, например, для вопроса: «В какой инструкции описана настройка сетевого доступа для модели А?» Полезно указать точное название устройства, документ, редакцию или термин. Но найденный фрагмент может оказаться неполным или относиться к старой версии. Поэтому проверяйте не только красивый ответ, но и файл, раздел и текст, на которые он опирается.

1. Подготовьте читаемый текст. Откройте извлечённое содержимое. Для сканов отдельно проверьте распознавание, для таблиц — соответствие строк и столбцов. Поддержка расширения PDF не доказывает правильность разбора вашего файла.
2. Сохраните происхождение. У материала должны быть имя файла, версия или дата и понятное место в документе. Отделите действующие документы от архивных.
3. Проверьте обновление базы. После замены файла повторите вопрос с известным ответом и убедитесь, что поиск использует нужную редакцию.
4. Разделите две проверки. Сначала найдены ли нужные фрагменты; затем правильно ли модель ответила по ним. Если приложение показывает источники, откройте их. Если нет — проверьте их доступным способом до приёмки результата.

Это редакционная процедура проверки, а не утверждение о наличии всех перечисленных функций в любом приложении с названием «RAG».

«Найти» и «проверить всё» — разные задачи

Обычный поиск релевантных фрагментов не подтверждает, что просмотрен каждый файл. Из его устройства следует практическое ограничение: ответ на вопрос «какие условия встречаются во всех документах?» может не быть полным реестром. Для задачи «выпиши условия из каждого документа» нужен явный проход по списку файлов, а затем сводная таблица.

Заранее создайте строки имя файла → версия → найденное значение → место в источнике → статус обработки. Пустое значение, отсутствие нужного сведения и ошибка чтения должны различаться. Затем сопоставьте число обработанных файлов с исходным списком. Поиск можно включить в эту процедуру, но он не заменяет учёт всех документов.

Проверка на трёх учебных файлах

Создайте три TXT с содержимым ниже. Все названия и условия вымышлены и не относятся к гарантии или поставкам FEVM. Эти короткие файлы проверяют чтение фактов, выбор версии и признание отсутствующих данных; они сами по себе не проверяют поиск в большом архиве.

Изделие: СЕВЕР-А.
Версия инструкции: 1, архивная.
Действовала до 30.09.2026.
Интервал осмотра: 30 дней.

Изделие: СЕВЕР-А.
Версия инструкции: 2, действующая с 01.10.2026.
Интервал осмотра: 45 дней.
Допустимая температура хранения: не указана.

Изделие: ЮГ-Б.
Версия инструкции: 1, действующая с 01.10.2026.
Интервал осмотра: 60 дней.

Для первой пробы прикрепите только действующий файл СЕВЕР-А или передайте его текст и выполните первые два задания. Для третьего задания используйте все три файла. Если настраиваете поиск по архиву, повторите в нём все задания по всему набору. Попросите отвечать только по предоставленным источникам, указывать файл и версию и прямо писать, когда данных нет.

Если получено «30 дней», проверьте версию найденного источника. Если в сводке нет ЮГ-Б, проверьте охват файлов. Если нужный фрагмент найден, но ответ искажает его, проверяйте уже этап ответа модели. Успех на этих трёх TXT — только начальная проба: дальше нужны реальные документы, в том числе длинные файлы и ваши рабочие форматы.

Что это означает для выбора компьютера

Начните с задачи, файлов и программы, затем определяйте требования к памяти и SSD. У FEVM FAEX1 в версии 128 ГБ это общая память CPU/GPU. Она не задаёт автоматически размер контекста и не гарантирует работу любого документа или RAG-приложения. Подготовленный запрос на проверку полезнее одного числа RAM:

ОС и программа → точная модель → настроенный контекст → пример документа → нужен весь текст, поиск или обработка всех файлов → ожидаемый факт и источник → результат проверки версии и пропусков.

Способы запуска разобраны в сравнении LM Studio и Ollama. Для автономной работы отдельно проверьте весь сценарий по инструкции без интернета: локальная генерация ответа сама по себе не подтверждает локальность всех компонентов поиска и обработки файлов.