La mayoría de las noticias y actualizaciones de productos que Adobe lanzó esta semana fueron, como era de esperar, Centrándose en la IA generativa. Pero si bien gran parte de este año se han producido grandes avances en la generación de imágenes y vídeos, Adobe se está centrando en hacer avanzar sus ofertas de IA en otra área: el audio con IA.
Las dos nuevas funciones, Generar banda sonora y Generar voz, hacen exactamente lo que sugieren sus nombres. Puedes crear música de fondo y grabar guiones para tus vídeos. Pero cada uno viene con controles prácticos que hacen que el audio de IA sea menos una apuesta y una herramienta útil para creadores de todos los niveles. Ya están disponibles en beta
Adobe también está lanzando una versión beta de su último modelo de imagen Firefly de quinta generación. Promete ser mejor en la creación de imágenes fotorrealistas y ahora puede utilizar la edición basada en indicaciones. También hay un nuevo editor de video beta Firefly que viene con una línea de tiempo multipista que te ayuda a compilar clips generados por IA. Adobe también está ampliando su asociación con dos nuevas empresas de inteligencia artificial, ElevenLabs y Topaz Labs. Para obtener más noticias sobre IA, puede obtener más información sobre la llegada de AI Assistant a Photoshop y Express.
A continuación se muestra un ejemplo de cómo se le solicita que ingrese la descripción de su música AI.
Crea música y bandas sonoras.
La concesión de licencias de música es compleja, especialmente para uso comercial. Así que déjame comenzar con la parte más importante: cualquier música generada con la banda sonora generada por Firefly recibe una licencia universal, lo que significa que puedes usarla para cualquier propósito de forma indefinida. Adobe construye sus herramientas de IA utilizando contenido (en este caso, audio) que tiene licencia para su uso en capacitación en IA. Entonces, en teoría, no deberías eliminar el audio de Firefly AI de YouTube u otras plataformas ni recibir la temida advertencia de derechos de autor.
“Es un momento único en el mundo donde las licencias de música están en la cima de la mente de todos y los creadores están frustrados porque están tratando de hacer lo mejor para su contenido o están confundidos”, dijo en una entrevista Jay LeBoeuf, jefe de audio de IA de Adobe. “Así que sólo esperamos aclarar la confusión”.
En una demostración, Firefly rechazó un mensaje con el nombre de un artista porque violaba las pautas del usuario debido a preocupaciones de derechos de autor. Debido a que la modelo no está entrenada en la música de Taylor Swift, por ejemplo, no puede producir música como ella.
Ahora, lo divertido: Generate Soundtrack es la primera herramienta de música con inteligencia artificial de Adobe y está diseñada para adivinar lo que quieres. Subes tu vídeo y la IA lo analiza. Según su evaluación, Firefly escribirá un mensaje que cree que podría funcionar bien para su vídeo. Este es un mensaje al estilo Mad Libs y puede intercambiar los descriptores según corresponda. El mensaje tiene tres partes: describir la vibra general, el estilo (género de pensamiento) y el propósito (comercial, experimental, etc.). Puede ajustar la velocidad y el nivel de potencia.
Una vez que esté satisfecho con su mensaje, haga clic en Generar y, en menos de dos minutos, cuatro variaciones solo instrumentales estarán listas para que las toque. Su audio será tan largo como su video, pero podrá editarlo según sea necesario. Puedes subir vídeos de hasta cinco minutos de duración.
Cómo hacer música con Firefly
Ahora puedes intentar crear música instrumental con IA para tus vídeos. Generate Soundtrack y Generate Speech están disponibles a través de Firefly y se encuentran en versión beta. Comprueba si tu plan de Adobe incluye acceso a Firefly y, si no es así, puedes conseguir un plan Desde $10 por mes.
- Abra Firefly en la web.
- Haga clic en Generar en el menú del lado izquierdo.
- Haga clic en Crear banda sonora a partir de tarjetas disponibles en la parte inferior de la ventana de chat.
- Sube tu video usando el menú del lado izquierdo.
- Luego, Firefly analizará su video y escribirá un mensaje apropiado en el menú del lado izquierdo.
- Si no te gusta lo que se le ocurre a Firefly, puedes hacer clic en la “X” y escribir en el mensaje que elijas. También puedes elegir entre vibraciones, estilos y propósitos sugeridos en el menú del lado izquierdo.
- Desplácese hacia abajo y ajuste la potencia, la velocidad y la duración según sea necesario.
- Haga clic en Generar.
Una vez que tengas la banda sonora que deseas, puedes descargar el vídeo completo (o solo la banda sonora) a tu computadora.
Este es un ejemplo de una banda sonora de cuatro músicas creada por Firefly para un vídeo de IA que hice para algunas personas que estaban de fiesta en la playa.
Creando discurso
Crear conferencias en Firefly es fácil y tiene muchas características que lo harán útil para casi cualquier proyecto. Esta es una ventana simple donde puedes escribir las palabras que deseas que lea la voz de la IA. Puede cargar un guión de hasta 7500 caracteres, aproximadamente un vídeo de 15 a 20 minutos. Una vez cargado, puedes elegir entre 50 voces, cada una etiquetada con edad y sexo aproximados, con opciones no binarias. Puedes crear discursos en 20 idiomas diferentes. Pero la parte divertida es lo que puedes hacer para ajustar tu mensaje.
El habla es más que simplemente leer palabras en una página. Cuando leemos pasajes largos o hablamos con otras personas, naturalmente agregamos énfasis, emoción y ritmo a nuestro discurso. Con el nuevo programa, puedes hacer lo mismo, agregando pausas donde quieras que la IA tome un respiro y resaltando dónde debe cambiar el tono.
Si eres como yo y nadie pronuncia tu nombre en el primer intento, puedes utilizar la herramienta “Reparar pronunciación” para solucionar cualquier error. Seleccione el nombre o el nombre propio y luego agregue un desglose fonético y la IA lo usará para suavizar la pronunciación.
Estas herramientas, junto con su capacidad práctica para ajustar secciones específicas, están destinadas a brindarle más control que otros programas de conversión de texto a voz no siempre ofrecen.
“Es una manera de dar un discurso animado a los creadores, a los propietarios de pequeñas empresas, a los educadores, a todos los que realmente tienen una historia que contar, y tal vez no se sientan tan cómodos como nosotros simplemente sacando un micrófono y hablando”, dijo LeBeouf.
Firefly Audio es un nuevo modelo de IA. Pero esa no es tu única opción. Adobe ha ido añadiendo constantemente a su lista de modelos de IA de terceros para vídeo e imagen este año. Está ampliando esas opciones nuevamente al incluir el modelo V2 multilingüe de ElevenLab como una opción para generar voz.
Para obtener más información, consulte Así funciona la aplicación de cámara Project Indigo de Adobe, ahora compatible con iPhone 17.
