Видеокарта для локального ИИ: сколько VRAM нужно для LLM, изображений и видео

Запуск искусственного интеллекта на собственном компьютере уже не ограничивается простым чат-ботом. Современная видеокарта позволяет локально запускать языковые модели, анализировать документы, писать код, создавать изображения, генерировать видео, распознавать речь и озвучивать текст. При этом данные могут оставаться на компьютере пользователя без обязательной отправки исходных файлов в облачный сервис.

Главным ограничением такого компьютера обычно становится объём видеопамяти. Для локальных нейросетей 16 ГБ VRAM могут оказаться полезнее более высокой игровой производительности карты с 8 или 12 ГБ. Если веса модели не помещаются в память GPU, приходится использовать системную RAM, уменьшать контекст или выбирать более сильную квантизацию.

Разберём, как выбрать видеокарту для локального ИИ, сколько VRAM требуется моделям 8B, 14B, 32B и 70B, чем отличаются Q4 и Q8, что можно запускать через LM Studio и какая GeForce подходит для Stable Diffusion, FLUX, Whisper и генерации видео.

Все актуальные варианты можно сравнить в разделе видеокарт AplTech.ru.

Почему для нейросетей сначала смотрят на VRAM

В обычной игре нехватка нескольких гигабайт видеопамяти иногда можно компенсировать снижением качества текстур или разрешения.

С нейросетью всё строже. Её веса занимают конкретный объём памяти.

Если модель вместе с рабочими буферами требует 18 ГБ, полностью загрузить её в 16 ГБ VRAM невозможно.

Есть три варианта:

• взять меньшую модель;
• использовать более сильную квантизацию;
• выгрузить часть слоёв в системную RAM.

Последний способ позволяет запустить большую модель, но обычно снижает скорость.

VRAM определяет размер модели, производительность GPU - её скорость

Это важнейший принцип при покупке видеокарты для нейросетей.

Например, RTX 5080 намного производительнее RTX 5060 Ti, однако обе могут иметь 16 ГБ памяти.

RTX 5080 значительно быстрее обработает модель, которая помещается в эти 16 ГБ. Но если LLM требует 24 ГБ, ни одна из них не сможет полностью держать её в VRAM.

RTX 5090 отличается принципиально: она имеет уже 32 ГБ GDDR7 и поэтому открывает доступ к другому классу локальных моделей.

Сколько VRAM нужно для разных задач

8 ГБ уже сильно ограничивают локальный AI

Запустить нейросеть на 8-гигабайтной видеокарте можно.

Небольшая модель 7B или 8B в Q4 занимает порядка нескольких гигабайт и работает достаточно хорошо.

Также доступны Whisper, некоторые модели Stable Diffusion и множество инструментов компьютерного зрения.

Проблемы начинаются при переходе к более крупным LLM, SDXL с тяжёлыми расширениями, FLUX и особенно AI-видео.

Поэтому покупать новую 8-гигабайтную карту специально для нейросетей имеет смысл только при очень ограниченном бюджете.

12 ГБ - рабочий минимум, но без большого запаса

12 ГБ позволяют комфортно запускать небольшие и средние текстовые модели.

Например, 7B-8B в Q5/Q8 или 14B в Q4 в зависимости от архитектуры и контекста.

Для генерации изображений 12 ГБ также достаточно для многих задач.

Но если пользователь уже планирует эксперименты с 20B, 32B, FLUX и видео, запас быстро закончится.

16 ГБ - наиболее рациональный объём для нового компьютера среднего класса

С 16 ГБ видеопамяти локальный ИИ становится значительно менее ограниченным.

Такой GPU подходит для:

• Qwen, Llama, Gemma и других LLM среднего размера;
• LM Studio;
• Stable Diffusion и SDXL;
• FLUX с оптимизациями;
• ComfyUI;
• Whisper;
• локального TTS;
• небольших видео-моделей.

Одним из доступных современных вариантов является GeForce RTX 5060 Ti 16 ГБ.

24 ГБ заметно меняют возможности компьютера

Следующий серьёзный шаг происходит при переходе примерно к 24 ГБ VRAM.

Такой объём уже позволяет держать в GPU многие 32B-модели в Q4 и использовать более сложные графические workflows.

К этому классу относится GeForce RTX 4090 с 24 ГБ GDDR6X.

Для человека, работающего одновременно с LLM, FLUX и локальным видео, 24 ГБ заметно комфортнее 16 ГБ.

32 ГБ - сильный уровень для домашней AI-станции

GeForce RTX 5090 имеет 32 ГБ GDDR7.

Такой объём позволяет:

• запускать 32B LLM с меньшими компромиссами;
• использовать более высокий уровень квантизации;
• увеличивать размер контекста;
• держать больше компонентов ComfyUI одновременно;
• комфортнее работать с FLUX;
• генерировать видео;
• выполнять локальный fine-tuning небольших моделей.

Например, в каталоге представлена GeForce RTX 5090 32 ГБ.

32 ГБ всё равно не превращают RTX 5090 в карту для любого LLM

Большая 70B-модель в Q4 может занимать порядка 40 ГБ только весами.

Поэтому RTX 5090 не сможет полностью разместить многие 70B-модели в 4-битном варианте.

Можно:

• использовать более сильную квантизацию;
• уменьшить контекст;
• часть модели оставить в RAM;
• использовать несколько GPU.

Для полноценной работы с 70B без постоянного CPU offload удобнее 48 ГБ VRAM и больше.

Профессиональные карты с 48 и 96 ГБ

NVIDIA RTX 6000 Ada имеет 48 ГБ GDDR6 ECC.

Это уже позволяет запускать гораздо более крупные модели полностью на GPU.

Ещё выше располагается RTX PRO 6000 Blackwell с 96 ГБ GDDR7 ECC.

Такие карты предназначены для рабочих станций, AI-разработки, больших 3D-сцен, научных вычислений и профессионального inference.

Как рассчитать память модели

Очень грубая формула выглядит так:

количество параметров × количество бит на параметр ÷ 8.

Для 32B в FP16:

32 млрд × 16 бит / 8 ≈ 64 ГБ

Для 32B в условных 4 битах:

32 млрд × 4 бит / 8 ≈ 16 ГБ

На практике GGUF имеет служебные данные и разные типы квантизации для разных слоёв, поэтому реальный размер будет выше.

Что означают Q4, Q5, Q6 и Q8

Это различные уровни квантизации.

Почему часто выбирают Q4_K_M

Q4_K_M широко используется для локального запуска GGUF-моделей.

Она уменьшает размер достаточно сильно, чтобы сравнительно крупная LLM помещалась на потребительской видеокарте, и при этом обычно сохраняет приемлемое качество.

Если памяти достаточно, следующим логичным вариантом становится Q5_K_M.

Q8 имеет смысл, когда качество важнее экономии памяти и GPU располагает большим объёмом VRAM.

Примерный размер популярных классов моделей

Размеры ориентировочные. Кроме весов необходимо учитывать KV-кэш и память runtime.

Контекст тоже занимает VRAM

Пользователь может скачать 8-гигабайтный GGUF и решить, что на видеокарте с 8 ГБ всё поместится идеально.

Но после загрузки модели требуется дополнительная память для контекста.

Если увеличить окно с нескольких тысяч токенов до десятков тысяч, потребление памяти может ощутимо вырасти.

Поэтому выбирать GPU строго по размеру файла модели не стоит.

Что такое LM Studio

LM Studio является одним из наиболее простых способов начать работу с локальными языковыми моделями.

Программа позволяет:

• искать модели;
• скачивать готовые GGUF;
• выбирать квантизацию;
• запускать чат локально;
• настраивать контекст;
• управлять GPU offload;
• запускать локальный API;
• подключать модель к другим программам.

Для обычного пользователя это намного проще ручной установки llama.cpp и настройки параметров командной строки.

Какие готовые модели есть для LM Studio

Через встроенный раздел Discover можно искать готовые модели с Hugging Face.

Среди популярных семейств:

• Qwen;
• Llama;
• Gemma;
• Mistral;
• DeepSeek;
• gpt-oss.

Например, LM Studio официально использует gpt-oss-20b в своей документации как один из доступных идентификаторов модели.

Пользователь может выбрать одну и ту же LLM в Q4, Q5, Q6 или Q8 в зависимости от объёма памяти.

Какая LLM подходит под конкретную видеокарту

Это не жёсткое ограничение. LM Studio умеет распределять слои между GPU и системной памятью.

GPU Offload позволяет запустить более крупную модель

Если видеопамяти недостаточно, можно загрузить только часть слоёв LLM на видеокарту.

Остальные будут обрабатываться с использованием CPU и RAM.

Например, 32B Q4 можно запустить на системе с 16 ГБ VRAM и большим объёмом оперативной памяти, однако работать она будет медленнее, чем на GPU, где помещается целиком.

LM Studio также позволяет оценить потребление памяти до фактической загрузки модели.

Почему для Windows чаще выбирают NVIDIA

Главное преимущество NVIDIA в локальном ИИ - экосистема CUDA.

Под CUDA оптимизировано огромное количество программ и библиотек:

• PyTorch;
• ComfyUI;
• Diffusers;
• различные Stable Diffusion интерфейсы;
• FLUX;
• видеогенераторы;
• инструменты fine-tuning;
• многие кастомные AI-проекты с GitHub.

Поэтому если пользователь хочет экспериментировать с разными направлениями и не знает заранее, какой софт понадобится, GeForce обычно является наиболее универсальным выбором.

Можно ли использовать AMD Radeon

Да. AMD развивает ROCm, а многие inference-инструменты работают с Radeon.

Особенно интересны модели с большим объёмом памяти.

Но перед покупкой желательно проверить поддержку конкретного приложения и операционной системы. Один проект может отлично работать через ROCm, а другой потребует обходных решений или будет оптимизирован только под CUDA.

Для опытного пользователя Radeon может быть хорошим вариантом, но для первой универсальной AI-станции NVIDIA проще.

RTX 5060 Ti 16 ГБ - практичный старт

RTX 5060 Ti 16 ГБ интересна не столько игровой производительностью, сколько именно объёмом VRAM.

Она позволяет работать с:

• LM Studio;
• LLM 7B-14B;
• частью 20B-моделей;
• Stable Diffusion;
• SDXL;
• FLUX с оптимизацией;
• Whisper;
• ComfyUI;
• небольшими video AI моделями.

Для первого компьютера, который собирается специально под нейросети, это намного интереснее 8-гигабайтной карты.

RTX 5070 Ti 16 ГБ - когда нужна более высокая скорость

RTX 5070 Ti 16 ГБ имеет тот же объём памяти, но более производительный графический процессор.

Поэтому она лучше подходит, если пользователь часто:

• генерирует изображения;
• использует большие batch;
• занимается видео;
• хочет более высокую скорость генерации токенов;
• совмещает AI с современными играми.

Но максимальный размер полностью загруженной LLM остаётся ограничен 16 ГБ.

RTX 5080 16 ГБ - очень быстрая, но не более вместительная

RTX 5080 16 ГБ имеет значительно большую вычислительную мощность и пропускную способность памяти.

Для Stable Diffusion, FLUX, видео и обучения она заметно быстрее.

Но для пользователя, который хочет в первую очередь запускать максимально большие LLM, её 16 ГБ являются главным ограничением.

В таком сценарии более старая карта с 24 ГБ иногда может оказаться практичнее.

RTX 5090 32 ГБ - оптимум среди потребительского high-end

GeForce RTX 5090 сочетает очень высокую вычислительную производительность и 32 ГБ памяти.

Это делает её одной из наиболее универсальных потребительских видеокарт для:

• локальных LLM;
• генерации изображений;
• AI-видео;
• CUDA-разработки;
• LoRA и QLoRA;
• 3D и рендеринга.

Изображения можно создавать полностью локально

Локальный AI-ПК умеет значительно больше, чем обычный чат.

Для изображений используются, например:

• Stable Diffusion;
• SDXL;
• Stable Diffusion 3.5;
• FLUX.1;
• различные специализированные checkpoints.

Генерация выполняется непосредственно на видеокарте.

Что можно делать с изображениями

Помимо генерации картинки по тексту доступны:

• image-to-image;
• замена фона;
• inpainting;
• outpainting;
• удаление объектов;
• увеличение разрешения;
• восстановление изображений;
• ControlNet;
• работа с позой и глубиной;
• применение LoRA.

Для сложных workflows удобно использовать ComfyUI.

FLUX заметно требовательнее старого Stable Diffusion

FLUX.1 dev имеет около 12 млрд параметров.

При полной точности такая модель требует много памяти, поэтому на потребительских видеокартах применяются FP8, квантизация и перенос отдельных компонентов в RAM.

16 ГБ позволяют работать с оптимизированными вариантами. 24-32 ГБ делают процесс намного удобнее и позволяют использовать более сложные цепочки.

Генерация видео - одна из самых тяжёлых домашних AI-задач

Для каждого ролика нейросети приходится работать не с одним изображением, а с последовательностью кадров и учитывать движение объектов во времени.

Это сильно увеличивает требования к памяти и вычислительной мощности.

Для локальной генерации используются такие семейства, как:

• Wan;
• HunyuanVideo;
• image-to-video модели;
• различные video workflows в ComfyUI.

Можно ли генерировать видео на 8 ГБ

Некоторые компактные модели позволяют это сделать.

Например, Wan 2.1 T2V 1.3B рассчитана примерно на 8,2 ГБ VRAM.

Но это скорее точка входа.

Для крупных моделей, высокого разрешения и более длинных роликов намного удобнее 16, 24 или 32 ГБ.

Почему для AI-видео RTX 5090 особенно интересна

В генерации видео одновременно важны и объём памяти, и вычислительная скорость.

RTX 5090 предлагает оба преимущества.

На RTX 5080 вычисления тоже очень быстрые, но 16 ГБ раньше вынуждают использовать offload или более компактную модель.

ИИ умеет распознавать аудио

OpenAI Whisper можно запустить локально и использовать для:

• расшифровки интервью;
• транскрипции встреч;
• создания субтитров;
• распознавания лекций;
• перевода речи;
• обработки большого архива записей.

Whisper значительно менее требователен к видеопамяти, чем крупные LLM и video AI.

ИИ может самостоятельно озвучивать текст

Другой класс моделей занимается Text-to-Speech.

Локально можно создавать:

• озвучивание статей;
• голосовые ответы ассистента;
• дикторскую речь;
• дубляж;
• разные голоса для персонажей.

Для таких задач обычно не требуется RTX 5090. Даже средняя видеокарта справляется достаточно хорошо.

Мультимодальные LLM могут видеть изображения

Отдельный класс языковых моделей способен принимать картинку вместе с текстом.

Такая нейросеть может:

• описать фотографию;
• прочитать текст со скриншота;
• проанализировать диаграмму;
• найти проблему в интерфейсе;
• ответить на вопрос по изображению;
• извлечь данные из документа.

Vision-компонент также использует дополнительную память, поэтому для мультимодальных моделей запас VRAM особенно полезен.

Локальный RAG позволяет общаться со своими документами

Видеокарта пригодится и для систем RAG.

Можно создать локальную базу знаний из:

• PDF;
• Word;
• технической документации;
• исходного кода;
• внутренних инструкций;
• базы компании.

Пользователь задаёт вопрос, система ищет подходящие фрагменты и передаёт их локальной LLM.

Это позволяет работать с корпоративными документами без обязательной передачи их облачному AI-сервису.

Можно ли обучать LLM на домашней видеокарте

Полностью обучить современную большую LLM с нуля практически невозможно на одном домашнем GPU.

Но дообучение вполне реально.

На потребительских GeForce используют:

• LoRA;
• QLoRA;
• fine-tuning небольших LLM;
• обучение image LoRA;
• персонализацию генеративных моделей.

Для обучения VRAM требуется больше, чем для обычного inference.

Чем больше VRAM, тем проще fine-tuning

16 ГБ можно использовать для небольших экспериментов.

24 ГБ позволяют работать со значительно более удобными параметрами.

32 ГБ дают дополнительный запас под размер модели, batch и контекст.

Профессиональные карты на 48-96 ГБ предназначены уже для значительно более тяжёлых проектов.

Нужна ли мощная CPU для локального ИИ

Если модель целиком работает на GPU, центральный процессор обычно не является главным ограничением.

Однако CPU важен при:

• offload в RAM;
• предобработке данных;
• загрузке моделей;
• работе отдельных AI-компонентов;
• обучении и подготовке dataset.

Поэтому строить AI-компьютер вокруг самого дешёвого процессора тоже не стоит.

32 или 64 ГБ обычной RAM

Для системы с 16 ГБ VRAM разумно иметь минимум 32 ГБ системной памяти.

Если планируется запуск моделей, которые частично не помещаются на GPU, лучше 64 ГБ.

Для 70B с большим CPU offload могут пригодиться 96 или 128 ГБ RAM.

SSD тоже имеет значение

Современные модели занимают десятки гигабайт.

Если пользователь хранит несколько вариантов Q4, Q5 и Q8, коллекция очень быстро разрастается.

К этому добавляются checkpoints для изображений и видео.

Для AI-компьютера практично использовать NVMe SSD на 1-2 ТБ, а при большой библиотеке моделей - ещё больше.

Какую видеокарту выбрать под конкретные задачи

Какую RTX купить для локальных нейросетей

Если компьютер собирается с ограниченным бюджетом, оптимальной отправной точкой выглядит RTX 5060 Ti 16 ГБ.

RTX 5070 Ti имеет смысл, когда нужен тот же объём памяти, но более высокая скорость.

RTX 5080 ещё быстрее, особенно в генерации изображений и видео, однако её 16 ГБ по-прежнему ограничивают размер LLM.

RTX 4090 с 24 ГБ остаётся интересной картой именно благодаря памяти.

RTX 5090 32 ГБ является одним из наиболее универсальных потребительских вариантов, если компьютер планируется использовать сразу для LLM, FLUX, видео и обучения LoRA.

Для больших 70B-моделей уже следует смотреть в сторону профессиональных GPU на 48 ГБ и больше.

Подходящие варианты доступны в разделе видеокарт AplTech.ru.