Meta anunció Movie Gen, su modelo de inteligencia artificial para generar videos que ha mostrado importantes avances, pero que no será lanzado aún al público. Conoce en qué consiste esta herramienta de IA de Meta.
Con Meta Movie Gen se puede convertir texto en video, así como facilita la creación de videos personalizados. También es posible mejorar la edición de videos y la creación de audio.
"Aunque hoy se trata solo de una
investigación, estamos ansiosos por ver todas las formas en que las personas mejorarán su creatividad en el futuro", señala Meta.
Christopher Cox, director de productos en Meta Platforms, destacó que este modelo de IA tiene la capacidad de generar videos de hasta 16 segundos a una velocidad de 16 fotogramas por segundo.
"Los comentarios que recibimos de los cineastas y creadores de videos fueron que se debe priorizar la facilidad de edición, pero aún más la capacidad de generar videos con un personaje o imagen específico, que estos modelos ahora logran fielmente. No estamos listos para lanzar esto como producto en el corto plazo (sigue siendo costoso y el tiempo de generación es demasiado largo), pero queríamos compartir dónde estamos ya que los resultados están siendo bastante impresionantes", manifestó en
Threads.
Movie Gen fue entrenado con un conjuntos de datos con licencia y disponibles públicamente, según Meta. También se entrenó un modelo de generación de audio con parámetros 13B que puede tomar un video y mensajes de texto opcionales para generar audio de alta calidad y alta fidelidad de hasta 45 segundos, incluyendo sonido ambiental, efectos de sonido y música instrumental de fondo, todo sincronizado con el contenido del video.
También se cuenta con una técnica de extensión de audio que puede generar audio coherente para videos de duraciones arbitrarias, logrando en general un rendimiento de vanguardia en calidad de audio, alineación de video a audio y alineación de texto a audio.
"A diferencia de las herramientas tradicionales que requieren habilidades especializadas o las generativas que carecen de precisión, Movie Gen conserva el contenido original y se centra únicamente en los píxeles relevantes", se indica en el blog oficial.
Aún no se ha dado detalles de cómo se integraría este modelo de IA en herramientas de Meta como los reels en Instagram o WhatsApp.
Más en Andina:
(FIN) SPV
JRA
Publicado: 10/10/2024