Приложение Ollama, предназначенное для локального использования моделей искусственного интеллекта на компьютерах под управлением Windows, macOS и Linux, обновилось и теперь поддерживает аппаратное ускорение на процессорах Apple M5. Это нововведение значительно улучшает производительность программы по сравнению с облачными решениями, такими как ChatGPT, которые требуют постоянного подключения к интернету и не позволяют запускать модели ИИ локально.
Ollama предоставляет возможность загружать и запускать различные модели ИИ прямо на домашнем компьютере, что делает его особенно привлекательным для пользователей. Модели могут быть найдены на платформах сообществ или напрямую от разработчиков, что облегчает их доступность. Однако запуск таких моделей на личных устройствах часто сталкивается с проблемами, связанными с высоким потреблением системной оперативной и видеопамяти.
Чтобы решить эту проблему, разработчики Ollama внедрили в версию 0.19 поддержку фреймворка машинного обучения MLX и унифицированной архитектуры памяти, разработанной Apple. Это значительно увеличивает скорость работы приложения на устройствах с чипами Apple. Важно отметить, что обновление касается только новейших процессоров, таких как Apple M5, M5 Pro и M5 Max.
С помощью Ollama 0.19 теперь можно быстрее обрабатывать запросы и генерировать токены, что положительно сказывается на производительности как персональных ИИ-агентов, таких как OpenClaw, так и специализированных решений, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Однако стоит учесть, что для работы приложения ребуется не менее 32 Гбайт унифицированной памяти на компьютере.