Meta ha presentado un conjunto de modelos fundacionales bajo el nombre de Meta Movie Gen, con los que ofrece a los creadores herramientas para generar, personalizar y editar vídeos y producir audios, todos de alta calidad y con descripciones de texto. En concreto, Meta Movie Gen es la tercera generación de modelos fundacionales de Meta, que la compañía dirige a creadores de contenido y cineastas como una herramienta que ayude a impulsar su creatividad, en lugar de sustituirla.

Tal y como explica la compañía en su blog oficial, los modelos que incluye se han entrenado con conjuntos de datos con licencia y otros disponibles públicamente, para ofrecer cuatro capacidades: generación de vídeo, generación de vídeo personalizada, edición de vídeo precisa y generación de audio.

Respecto a la generación de vídeo, el modelo utiliza un transformador de 30.000 millones de parámetros para producir vídeos de alta calidad de hasta 16 segundos para una velocidad de 16 fotogramas por segundo, a partir de una descripción de texto.

Como señala Meta, «el modelo puede razonar sobre el movimiento de objetos, las interacciones entre sujetos y objetos y el movimiento de la cámara, y puede aprender movimientos plausibles para una amplia variedad de conceptos«. Los modelos de Meta Movie Gen también generan de vídeos personalizados, a partir de la imagen de una persona y una descripción. A ello se unen la capacidad de editar, con acciones localizadas o más generales, y resultados precisos.

Meta Movie Gen también genera audio. Concretamente, utiliza un modelo de 13.000 millones de parámetros que genera vídeo de alta calidad para un vídeo y a partir de una descripción en texto. El resultado tiene una duración de hasta 45 segundos y engloba sonido ambiental, efectos de sonido y música instrumental de fondo. Este modelo también permite generar audio coherente para vídeos de duraciones arbitrarias.

Además, la empresa subraya que, a medida que sigan mejorando sus modelos y se acerquen a un posible lanzamiento futuro, «trabajaremos en estrecha colaboración con cineastas y creadores para integrar sus comentarios«. «Al adoptar un enfoque colaborativo, queremos asegurarnos de crear herramientas que ayuden a las personas a mejorar su creatividad inherente de nuevas formas que nunca soñaron que serían posibles. Imagina animar un video de «un día en la vida» para compartir en Reels y editarlo usando mensajes de texto, o crear un saludo de cumpleaños animado personalizado para un amigo y enviárselo por WhatsApp«, añade Meta.