Google говорит, что Gemma 4 может работать на машинах с памятью 16 ГБ

Google представил Gemma 4 12B 3 июня как мультимодальную модель с 12 миллиардами параметров, созданную для приема собственного аудиовхода. Благодаря этому выпуску новая модель Google пополнилась линейкой аппаратного обеспечения, в которую входят некоторые персональные компьютеры более высокого класса, что сделало локальные речевые и мультимодальные проекты более доступными для разработчиков, которые не хотят, чтобы каждый запрос отправлялся в удаленную службу.

Компания заявила, что модель может работать локально с 16 ГБ видеопамяти или единой памятью. Это утверждение о пригодности памяти, а не обещание, что каждый компьютер с 16 ГБ будет работать с одинаковой скоростью или даже поддерживать одинаковые настройки. Совместимость ускорителей, квантование, операционная система и программное обеспечение для вывода влияют на то, будет ли локальное развертывание полезным на практике.

Google сделал веса доступными под Apache 2.0 и задокументировал маршруты для общих локальных и облачных инструментов разработки. Также сообщается, что более широкое семейство Gemma к моменту запуска превысило 150 миллионов загрузок. Общий объем загрузки - это показатель Google, который не учитывает активные развертывания или производительность самого Gemma 4.

Практическая привлекательность - контроль. Модель, которая подходит для одной машины, может поддерживать автономные эксперименты и рабочие процессы, в которых данные хранятся ближе к пользователю. Эти преимущества по-прежнему зависят от приложения, оборудования и мер безопасности, связанных с моделью. Загружаемые весы не делают развертывание не требующим обслуживания, а объем памяти размером с ноутбук не решает вопросы о задержке или качестве вывода.

Разработчикам, сравнивающим Gemma с размещенными системами, следует тестировать всю рабочую нагрузку, а не одну спецификацию. Полезные проверки включают использование памяти после загрузки, время отклика, обработку звука, поддерживаемые ускорители и эффект квантования. Релиз Google устанавливает достижимую отправную точку, а реальные машинные испытания определят, насколько широкими станут эти претензии.