Una de las mejores herramientas para ejecutar modelos de IA de forma nativa en una Mac acaba de mejorar. He aquí por qué y cómo ejecutarlo.
Los modelos nativos de IA ahora se ejecutan más rápido en Ollama en Apple Silicon Macs
Si no estás familiarizado serEs una aplicación para Mac, Linux y Windows que permite a los usuarios ejecutar modelos de IA localmente en su computadora.
A diferencia de las aplicaciones basadas en la nube como ChatGPT, cuyos modelos no se ejecutan localmente y requieren una conexión a Internet, Ollama permite a los usuarios cargar y ejecutar modelos directamente en su máquina.
Estos modelos se pueden descargar de comunidades de código abierto como Hugging Face, o incluso directamente de proveedores de modelos, como hemos cubierto aquí.
Sin embargo, ejecutar un LLM localmente puede ser todo un desafío, ya que incluso los LLM pequeños y livianos consumen una cantidad considerable de memoria RAM y GPU.
El Dr. Ollama intentó solucionarlo Lanzó una versión preliminar (Ollama 0.19) que “ahora está diseñada para aprovechar la arquitectura de memoria unificada del marco de aprendizaje automático de Apple, MLX”, para que los modelos nativos de IA se ejecuten más rápido en Apple Silicon Macs.
Aquí está Ollama:
Esto da como resultado un gran aumento de velocidad en todos los dispositivos de silicio de Apple. En los chips M5, M5 Pro y M5 Max de Apple, Ollama utiliza el nuevo acelerador neuronal GPU para acelerar tanto la velocidad del primer token (TTFT) como de la generación (tokens por segundo).
Con esta actualización, Ollama dice que ejecutar asistentes personales como OpenClaw y agentes de codificación como “Cloud Code, OpenCode o Codex” ahora es más rápido.
La advertencia es que Ollama recomienda a los usuarios “asegúrense de tener una Mac con más de 32 GB de memoria unificada”, lo que puede no ser el caso para muchos usuarios actualmente interesados en ejecutar LLM localmente.
Sin embargo, para saber más sobre Ollama, Sigue este enlace. Y si quieres saber más sobre el proyecto MLX de Apple, puedes encontrar todos los detalles aquí.
