Bonsai 27B: ИИ-модель с 27 млрд параметров умещается в смартфоне

Стартап PrismML объявил о запуске Bonsai 27B — ИИ-модели с 27 миллиардами параметров, которая впервые может работать непосредственно на смартфоне. Нейросеть сжата до 3,9 ГБ, что позволяет запускать её на iPhone 17 Pro Max. Скорость генерации составляет 11 токенов в секунду, что достаточно для полноценного диалога и логических рассуждений.

Для сравнения: обычная 27-миллиардная модель в половинной точности требует около 54 ГБ оперативной памяти — больше, чем есть в большинстве ноутбуков. PrismML применила технологию троичного сжатия, при которой веса модели принимают значения из трёх возможных. Это позволило сократить объём примерно в 14 раз без критической потери качества.

По данным компании, троичный вариант Bonsai сохраняет 94,6% точности эталонной версии в стандартных бенчмарках. При этом модель превосходит «двухбитные» сборки конкурентов, которые при вдвое большем размере проваливают задачи по математике и программированию.

Как сообщает CNBC, Apple уже проводит с PrismML предварительные переговоры об использовании технологии сжатия. Следующей целью стартапа станет сжатие модели Gemma от Google до аналогичного размера.

Bonsai 27B доступна бесплатно для загрузки и использования на устройствах под управлением iOS. Это открывает новые возможности для внедрения продвинутого ИИ на мобильных устройствах без необходимости облачной обработки.