Ingenieros de la Universidad de Stanford, la Universidad Carnegie Mellon, la Universidad de Pensilvania y el Instituto de Tecnología de Massachusetts trabajaron con Skywater Technologies, una fundición de semiconductores puros con sede exclusivamente en Estados Unidos, para desarrollar un nuevo chip de computadora multicapa. El equipo dice que su arquitectura podría marcar un cambio importante en el hardware de IA y reforzar la innovación nacional en semiconductores.
A diferencia de la mayoría de los chips actuales, que en su mayoría son planos y 2D, este prototipo está diseñado para elevarse hacia arriba. Las piezas ultrafinas se apilan como los pisos de un edificio alto y el cableado vertical actúa como muchos ascensores de alta velocidad que transfieren grandes cantidades de datos rápidamente. Con un número récord de interconexiones verticales y un diseño muy entretejido que coloca juntas la memoria y las unidades de computación, el diseño evita la lentitud que ha limitado el progreso en los chips planos. En pruebas y simulaciones de hardware, el chip 3D supera al chip 2D en aproximadamente un orden de magnitud.
Los investigadores han producido previamente chips 3D experimentales en laboratorios académicos, pero el equipo dice que esta es la primera vez que muestran mejoras claras en el rendimiento y se producen en una fundición comercial. “Esto abre la puerta a una nueva era de fabricación e innovación de chips”, dijo Subhashish Mitra, profesor de ingeniería eléctrica y profesor de informática en la Universidad de Stanford, e investigador principal de un nuevo artículo presentado en la 71ª edición anual de IEEE International Electron. “Avances como este son la forma en que podemos mejorar mil veces el rendimiento del hardware que exigirán los futuros sistemas de IA”.
Por qué los chips planos luchan con la IA moderna
Los grandes modelos de IA como ChatGPT y Cloud transfieren constantemente grandes cantidades de datos entre la memoria, que contiene información, y las unidades informáticas que la procesan.
En los chips 2D convencionales, todo se encuentra en una superficie y la memoria es limitada y dispersa, por lo que los datos se fuerzan a través de un pequeño número de caminos largos y abarrotados. Las partes informáticas pueden funcionar mucho más rápido de lo que pueden suministrar datos y el chip no puede mantener suficiente memoria. Espere resultados con frecuencia. Los ingenieros llaman a este problema el “muro de la memoria”, donde la velocidad de procesamiento supera la capacidad del chip para alimentar datos.
Durante años, los fabricantes de chips han luchado contra el muro de la memoria reduciendo los transistores, los pequeños interruptores que manejan los cálculos y almacenando datos, y empaquetando cada vez más de ellos en cada chip. Pero los investigadores dicen que el método está cerca de un límite físico estricto, conocido como el “muro de miniaturización”.
El nuevo diseño pretende superar ambas limitaciones construyendo hacia arriba. “Al integrar verticalmente la memoria y la computación, podemos transferir mucha más información rápidamente, del mismo modo que los ascensores de un rascacielos permiten que muchos ocupantes viajen entre pisos simultáneamente”, dijo Tathagata Srimani, profesor asistente de ingeniería eléctrica e informática en la Universidad Carnegie Mellon, autor principal del artículo, que comenzó como becario.
“Los muros de memoria y los muros de miniaturización forman una combinación mortal”, dice Robert M. Redway, profesor asistente de ingeniería eléctrica y de sistemas en la Universidad de Pensilvania y coautor del estudio. “Atacamos esto integrando estrechamente la memoria y la lógica y luego construyendo hacia arriba a una densidad muy alta. Es como el Manhattan de la informática: podemos acomodar a más personas en menos espacio”.
Cómo se fabrican los chips 3D monolíticos
Muchos esfuerzos anteriores con chips 3D tomaron una ruta más simple al apilar chips separados. Esto puede ayudar, pero los vínculos entre capas suelen ser relativamente difíciles, limitados en número y pueden convertirse en cuellos de botella.
Este grupo utilizó un enfoque diferente. En lugar de hacer chips separados y unirlos, construyen cada nueva capa directamente encima de la anterior en un flujo continuo. Este método, conocido como integración 3D “monolítica”, utiliza temperaturas lo suficientemente bajas como para evitar daños a los circuitos ya construidos debajo. Esto permite empaquetar las capas más apretadas y crear conexiones mucho más densas entre ellas.
Un punto clave, dicen los investigadores, es que todo el proceso se realizó en una fundición de silicio comercial nacional. “Convertir un concepto académico sofisticado en algo que pueda incorporarse a una fábrica comercial es un gran desafío”, dijo el coautor Mark Nelson, vicepresidente de operaciones de desarrollo tecnológico de Skywater Technologies. “Esto demuestra que estas arquitecturas avanzadas no sólo son posibles en el laboratorio: pueden construirse a nivel nacional, a la escala que Estados Unidos necesita para estar a la vanguardia de la innovación en semiconductores”.
Aumentos de rendimiento y lo que viene después para el hardware de IA
En las primeras pruebas de hardware, el prototipo superó a los chips 2D comparables en unas cuatro veces. Las simulaciones del equipo sugieren ganancias aún mayores a medida que el diseño crece, con más capas apiladas de memoria y computación. Con capas adicionales, los modelos muestran una mejora doce veces mayor en las cargas de trabajo reales de IA, incluidas las cargas de trabajo derivadas del modelo LLaMA de código abierto de Mater.
Los investigadores también destacaron una amplia gama de beneficios. Dicen que la arquitectura ofrece un camino práctico hacia una mejora de 100 a 1000 veces en el producto de retardo de energía (EDP), una métrica que combina velocidad y eficiencia energética. Al acortar la distancia que deben viajar los datos y agregar más rutas verticales para el movimiento, el chip puede aumentar el rendimiento y al mismo tiempo reducir la energía por operación, una combinación que es difícil de lograr con diseños planos convencionales.
El equipo dice que la importancia del trabajo no es sólo la velocidad. Al demostrar que se pueden fabricar chips 3D monolíticos en Estados Unidos, sostienen que proporciona un modelo para una nueva era de innovación de hardware nacional en la que los chips más avanzados se pueden diseñar y fabricar en suelo estadounidense.
También dicen que el cambio hacia la integración vertical y monolítica en 3D requerirá una nueva generación de ingenieros capacitados en este enfoque, de la misma manera que el auge de los circuitos integrados de la década de 1980 fue impulsado por estudiantes que aprendían diseño y fabricación de chips en laboratorios estadounidenses. A través de esfuerzos de colaboración y financiación, incluido el Microelectronics Commons California-Pacific-Northwest AI Hardware Hub (Northwest-AI-Hub), los estudiantes e investigadores ya se están preparando para avanzar en la innovación de semiconductores estadounidenses.
“Este tipo de avance tiene que ver definitivamente con el rendimiento”, afirmó H.S. Philip Wong, Willard R. e Inez Kerr Bell, profesor de la Escuela de Ingeniería de Stanford e investigador principal del Northwest-AI-Hub. “Pero también tienen que ver con las capacidades. Si podemos fabricar chips 3D avanzados, podemos innovar más rápido, responder más rápido y dar forma al futuro del hardware de IA”.
La investigación se llevó a cabo en la Escuela de Ingeniería de la Universidad de Stanford, la Facultad de Ingeniería de la Universidad Carnegie Mellon, la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania y el Instituto de Tecnología de Massachusetts, y toda la fabricación se completó en la fundición de Skywater Technology en Bloomington, Minnesota. El apoyo provino de la Agencia de Proyectos de Investigación Avanzada de Defensa, el Programa de becas de investigación para graduados de la Fundación Nacional de Ciencias de EE. UU., Samsung, el Instituto de Energía Stanford Precourt, la Alianza SystemX de Stanford, el Microelectronics Commons AI Hardware Hub del Departamento de Guerra, el Departamento de Energía de EE. UU. y la Fundación Nacional de Ciencias de la Fundación Nacional de Ciencias (2congrama 2congrama 4).
Otros coautores de Stanford incluyen a Suhyung Choi, Samuel Dayo, Andrew Bechdolt, Shengman Li, Dennis T. Rich y RH Young. Los autores adicionales son de CMU y MIT.
