PrismML vuelve a ser noticia hoy después de que el CEO de la startup de IA se enterara CNBC Que Apple está mirando la tecnología de la empresa. La compañía también lanzó su modelo Bonsai 27B que, según dice, funciona en iPhone, iPad y Mac.
Cuando PrismML apareció en los titulares por primera vez la semana pasada Información Reportado en Startups de IA.
Ese informe menciona que PrismML tuvo reuniones con Apple “sobre cómo podría usar su tecnología”.
El informe también menciona el modelo Bonsai 27B de PrismML, cuyo lanzamiento está previsto para hoy.
Como era de esperar, PrismML ahora expone ese modelo:
Bonsai 27B alcanza hasta 163 tok/s en 1 bit y 134 tok/s en Ternario en una NVIDIA GeForce RTX 5090. En una M5 Max, alcanza 87 tok/s en 1 bit y 58 tok/s en Ternario.
Instalar un teléfono es una barrera más estricta de lo que sugieren los números de almacenamiento. Un teléfono nunca expone toda su memoria a una aplicación: un modelo de iPhone de 12 GB ofrece alrededor de 6 GB para uso del dispositivo, y el modelo comparte ese presupuesto con su caché y activación KV. Ninguna construcción convencional de un modelo 27B se acerca a solucionar esto. Aproximadamente 4 GB, el Bonsai 27B de 1 bit es el primero en pasar por la sala para trabajar.
El comunicado de prensa menciona específicamente el nuevo modelo que se ejecuta de forma nativa en hardware de Apple:
Bonsai 27B se ejecuta en dispositivos Apple (Mac, iPhone, iPad) a través de MLX y en GPU NVIDIA a través de CUDA, un kernel personalizado de bits bajos creado para su arquitectura de atención híbrida. Model Weight está disponible hoy bajo la licencia Apache 2.0. Con esta versión, ofrecemos una API de vista previa para desarrolladores gratuita y por tiempo limitado para que los desarrolladores puedan probar fácilmente nuestro modelo.
Mientras tanto, dice el director ejecutivo de PrismML, Babak Hasibi CNBC Que Apple está interesada en la tecnología de PrismML:
El director ejecutivo de PrismML, Babak Hasibi, dijo a CNBC que Apple y otras empresas están evaluando los modelos de la startup y midiendo su velocidad, eficiencia energética y rendimiento en los dispositivos.
“Ahora realmente están evaluando nuestra tecnología”, dijo Hassby sobre Apple.
Calificó las conversaciones como muy tempranas y dijo que aún no estaba claro hacia dónde conducirían, pero que “las cosas están avanzando muy bien”.
Apple no respondió de inmediato a una solicitud de comentarios.
Puedes conocer más sobre el modelo Bonsai 27B de PrismML aquíY lea el artículo completo de CNBC. aquí.
Tecnología de 9to5Mac
Aquí vale la pena distinguir dos cosas. Dejaremos que los expertos en inteligencia artificial evalúen las afirmaciones y la tecnología de PrismML.
En cuanto a la conexión de Apple, está claro que la startup de IA está hablando con Apple como una forma de generar entusiasmo en torno a su nuevo lanzamiento.
En general, es aconsejable mantener en silencio cualquier discusión seria entre las nuevas empresas y Apple. De lo contrario, un ambiente para Fuerte escepticismo esta hecho
De todos modos, PrismML logró llamar la atención. Información Y CNBC Alrededor de su último lanzamiento. Misión a corto plazo cumplida.
