Приложение Ollama, предназначенное для запуска моделей искусственного интеллекта на локальных компьютерах с операционными системами Windows, macOS и Linux, теперь поддерживает аппаратное ускорение на устройствах с процессорами Apple M5.
В отличие от облачных сервисов, таких как ChatGPT, которые требуют постоянного интернет-соединения и не позволяют запускать модели локально, Ollama предоставляет возможность загружать и использовать модели ИИ непосредственно на персональном компьютере. Разработчики публикуют открытые модели на специализированных платформах или предлагают их для свободной загрузки.
Тем не менее, запуск таких моделей может быть сложной задачей, так как они требуют значительных ресурсов системной и видеопамяти. Чтобы решить эту проблему, команда Ollama внедрила поддержку фреймворка машинного обучения MLX и унифицированной архитектуры памяти в обновлении версии 0.19. Это улучшение значительно увеличивает производительность на устройствах с чипами Apple.
Однако стоит отметить, что пока поддержка новых возможностей касается только последних чипов Apple M5, M5 Pro и M5 Max. Приложение Ollama 0.19 теперь активно использует нейроускорители, что сокращает время до первого токена и ускоряет генерацию токенов в целом. Благодаря этому значительно увеличилась скорость работы персональных ИИ-агентов, таких как OpenClaw, а также специализированных решений, включая OpenCode, Anthropic Claude Code и OpenAI Codex. Важно помнить, что для корректной работы на компьютере должно быть не менее 32 Гбайт унифицированной памяти.