Adobe se está moviendo hacia el vídeo generativo con IA. Compañía Plantilla de vídeo de luciérnagaque se anunció a principios de este año, se lanza hoy a través de una serie de nuevas herramientas, incluidas algunas dentro de Premiere Pro que permitirán a los creadores ampliar el metraje y crear videos a partir de imágenes fijas e indicaciones de texto.
La primera herramienta, Geneative Extend, se lanza en la versión beta de Premiere Pro. Se puede utilizar para ampliar el final o el comienzo de tomas muy cortas, o realizar ajustes a mitad de la toma, como corregir las líneas de los ojos cambiantes o movimientos inesperados.
Los clips solo se pueden extender durante dos segundos, por lo que Geneative Extend solo es adecuado para ediciones pequeñas, pero esto puede reemplazar la necesidad de volver a tomar metraje para corregir pequeños problemas. Se pueden crear clips extendidos a 720p o 1080p a 24 fps. También se puede utilizar en audio para ayudar a facilitar las ediciones, aunque con limitaciones. Ampliará los efectos de sonido y el “tono de la habitación” ambiental hasta por diez segundos, por ejemplo, pero no el diálogo hablado ni la música.
Se están lanzando dos herramientas más de creación de videos en la web. Las herramientas de texto a video e imagen a video de Adobe, anunciadas por primera vez en septiembre, ahora se están implementando como una versión beta pública limitada en la aplicación web Firefly.
La función de texto a video funciona de manera similar a otros generadores de video como Runway y Sora de OpenAI: los usuarios solo necesitan ingresar una descripción de texto de lo que desean crear. Puede simular una variedad de estilos, como películas “reales” normales, animación 3D y stop motion, y los clips creados se pueden mejorar aún más utilizando una selección de “controles de cámara” que simulan cosas como ángulos de cámara, movimiento y distancia de disparo. .
La función Imagen a video va aún más allá al permitir a los usuarios agregar una imagen de referencia junto con un mensaje de texto para brindar más control sobre los resultados. Adobe sugiere que esto se puede usar para crear tomas sin procesar a partir de fotos y fotografías, o ayudar a visualizar nuevas tomas cargando una imagen fija de un video existente. El ejemplo de antes y después a continuación muestra que esto realmente no puede reemplazar las reproducciones directamente, ya que muchos errores como cables tambaleantes y fondos cambiantes aparecen en los resultados.
Tampoco podrás hacer películas enteras usando esta tecnología en el corto plazo. Los clips de texto a vídeo e imagen a vídeo tienen actualmente una duración máxima de cinco segundos y la calidad es de 720p y 24 fotogramas por segundo. En comparación, OpenAI dice que Sora puede crear videos de hasta un minuto de duración “mientras mantiene la calidad visual y cumple con las indicaciones del usuario”, pero eso aún no está disponible públicamente a pesar de que se anunció meses antes que las herramientas de Adobe.
La conversión de texto a vídeo, de imagen a vídeo y el escalado generativo tardan unos 90 segundos en crearse, pero Adobe dice que está trabajando en un “modo turbo” para reducirlo. Por muy restrictivas que sean, Adobe dice que sus herramientas impulsadas por su modelo de IA de vídeo son “comercialmente seguras” porque están entrenadas en contenido que el gigante del software creativo ha recibido autorización para utilizar. Modelos de otros proveedores como Runway están siendo examinados por supuestamente entrenar con miles de videos robados de YouTube o, en el caso de Meta, tal vez incluso subjetivo Vídeos: la viabilidad comercial puede ser un factor decisivo para algunos usuarios.
Otro beneficio es que los videos creados o editados usando el modelo de video Firefly de Adobe se pueden incrustar con credenciales de contenido para ayudar a revelar los derechos de uso y propiedad de la IA cuando se publican en línea. No está claro cuándo estas herramientas dejarán de estar en versión beta, pero al menos están disponibles públicamente, que es más de lo que podemos decir. OpenAI SoraY los generadores Movie Gen de Meta y Veo de Google.
El lanzamiento del video con IA se anunció hoy en la conferencia MAX de Adobe, donde la compañía también presentará una serie de otras funciones impulsadas por IA en sus aplicaciones creativas.
