Las habilidades lingüísticas del sistema de inteligencia artificial actual son sorprendentes. Ahora podemos participar en conversaciones naturales con sistemas como Chattagpat, Géminis y muchos otros, que pueden compararse casi con humanos con fluidez. Aún así, sabemos muy poco sobre el proceso interno en las redes que conducen a resultados tan notables.
Apareció en una nueva investigación Revista de Mecánica Estadística: Teoría y experiencia For,,,,,,,,,, for,, for,,,, for,,,, for,,, for,,,, for,,,, for,,,, for,,, for,,, for,,, for,,, for,,,, for,,, for,,, for,,,, for,,, for,,,, for,,, for,,, for,,,, for,,, for,,, for,,,, for,,, for,,,, for,,, for,,,, for,,, for,,,, for,,, for,,,, for,,,, for,,,, for,,,, for,,,, for,,,, for,,,, for,,, for,,, for,,, for,,, for,,,,, for,,,, for,,,, for,,,, for,, for,.Chorro) Esto muestra una pieza de misterio. Esto muestra que cuando se utilizan pequeñas cantidades de datos para el entrenamiento, las redes nerviosas inicialmente dependen de la posición de las palabras en una oración. Sin embargo, dado que este sistema está expuesto a muchos datos, se transmite a una nueva estrategia basada en el significado de las palabras. Los estudios muestran que esta transferencia ocurre repentinamente, una vez que se cruza un límite de datos significativo, como una transferencia de etapa en el sistema físico. Los resultados ofrecen información valiosa para comprender las tareas de estos modelos.
Justo cuando un niño aprende a leer, una red nerviosa comienza a comprender las palabras basadas en palabras: depende de dónde se encuentren las palabras en una oración, la red puede estimar su relación (¿son artículos, verbos, elementos?). Sin embargo, a medida que el entrenamiento está en marcha, la red “va a la escuela”, ocurre un cambio: el significado de la palabra se convierte en la principal fuente de información.
Esta, la nueva investigación, se ha informado que, en un modelo fácil de mecanismos hechos a sí mismo, un edificio básico de modelos de lenguaje de transformadores, como usamos todos los días (chatgot, gimnasio, nubes, etc.). Un transformador es una arquitectura de red nerviosa que está diseñada para tomar medidas en datos similares a texto, y crea una médula espinal de muchos modelos de idiomas modernos. Los transformadores se especializan en la comprensión de la relación dentro de una continuación y utilizan procedimientos hechos a sí mismos para evaluar la importancia de cada palabra que otras.
El investigador post documental de la Universidad de Harvard y el primer autor del estudio, Hugo Cui, explica: “Para evaluar la relación entre las palabras”, la red puede usar dos estrategias, una de las cuales es explotar las posiciones de palabras. “En un idioma como el inglés, por ejemplo, el artículo generalmente ocurre antes del verbo, lo que resulta en esto”. Mary Eats Apple “es un ejemplo fácil de esta secuencia.
“Esta es la primera estrategia que surge de la capacitación en red”. “Sin embargo, en nuestro estudio, observamos que si la capacitación continúa y la red obtiene suficientes datos, en una ubicación particular, una vez que se cruza un rango, la estrategia de repente cambia: en cambio, la red comienza a confiar en el significado”.
“Cuando diseñamos esta tarea, solo queríamos estudiar qué estrategias o estrategias, la red adoptaría. Pero lo que obtuvimos fue un poco sorprendente: por debajo de cierto límite, la red dependía de la posición, mientras que además de ella, solo del significado”.
CUI describe este cambio como una transferencia de etapa, que tomó prestado un concepto de la física. Estadísticas Estadísticas Estadísticas, explicando su comportamiento colectivo al explicar los datos de datos y el sistema de datos que contiene muchas partículas (como átomos o moléculas). Del mismo modo, la red neurológica, la base del sistema AI, contiene una gran cantidad de “nodos” o neuronas (designadas por la semejanza del cerebro humano), cada una está conectada a muchos otros y está realizando tareas fáciles. La inteligencia del sistema emerge de las interacciones de estas neuronas, una tendencia que puede describirse en los métodos de datos.
Es por eso que podemos hablar sobre un cambio repentino en el comportamiento de la red como una transferencia de etapa, como agua, temperatura y presión, bajo algunas condiciones de presión, se transforma de líquido a gas.
“Desde un punto de vista teórico, comprenda que la estrategia cambia como esta”, enfatizó Cui. “Nuestras redes se han hecho más fácil que estos modelos complejos con los que las personas interactúan a diario, pero pueden darnos indicaciones para comprender los términos que hacen que un modelo estabilice una estrategia o otra persona.
La investigación de Hugo Ko, Freya Behrns, Florent Karzakala y Lanka Zedaborovo, titulada “Una posición de enfoque del producto DOT y una transferencia de paso entre el aprendizaje de aprendizaje”, se ha publicado como parte del número especial de 2025 como parte del aprendizaje automático 2025. Se publica e incluida como parte de 2025.
