Gadgetshowto
Tradicionalmente, la gente usaba televisores que tenían una relación de aspecto de 16: 9 o 4: 3 para ver videos. Sin embargo, con los dispositivos recientes, las personas ven y crean videos en una variedad de proporciones. Recortar videos para que se ajusten a las pantallas de estos dispositivos es una tarea tediosa para los curadores de videos. Afortunadamente, Google está en el caso de recortar videos sin problemas.
Recientemente, en una publicación de blog, Google anunció una herramienta de código abierto para reencuadrar y recortar videos para que se ajusten a cualquier pantalla. AutoFlip es la herramienta que utiliza tecnología de seguimiento y detección de objetos basada en aprendizaje automático (ML) para replantear videos automáticamente.
AutoFlip: para recorte de video inteligente
Google creó esta herramienta para deshacerse del método convencional de recorte estático para recortar videos. El método de recorte estático implica técnicas poco confiables de reencuadre de video, es decir, especificar una ventana de visualización de la cámara para el video y luego recortar todo lo que esté fuera de esa área. Este método produce una salida no deseada de los videos..
Google Autoflip tiene muchas funciones avanzadas que incluyen detección de tomas, análisis de contenido de video y, por último, reencuadre. Permítanme analizar brevemente cada una de estas estrategias de reencuadre.
Detección de disparo (escena)
Una escena o una toma en un video es una secuencia continua de fotogramas sin cortes. Si hay algún cambio en la toma o escena de un video, AutoFlip de Google puede detectar el cambio comparando el histograma de color de los fotogramas anteriores con los nuevos. Se detecta un cambio de disparo cuando la distribución del color del fotograma cambia a una velocidad diferente a la de una ventana histórica deslizante. La herramienta, para optimizar el proceso de reencuadre, almacena todo el video antes de tomar decisiones de reencuadre..
Análisis de contenido de video
Usando esta estrategia, la herramienta detecta objetos y personas importantes en el video. Utiliza modelos de detección de objetos basados en aprendizaje profundo para identificar objetos. Con este modelo, la herramienta puede incluso detectar cualquier superposición de texto o logotipos de marca y otros elementos como movimiento o pelota para videos deportivos. Los modelos de detección de rostros y objetos están integrados en la herramienta a través de MediaPipe. Básicamente es un marco para procesar datos multimodales mediante el desarrollo de tuberías. Este marco utiliza el marco de trabajo de aprendizaje automático TensorFlow Lite de Google en las CPU.
Reencuadre
Después de identificar personas y objetos en los videos, la herramienta toma decisiones lógicas sobre cómo replantear el video. AutoFlip elige una de las tres estrategias de reencuadre para recortar el contenido - estacionario, panorámico o de seguimiento. La herramienta elige la estrategia óptima en función del contenido del video. Por ejemplo, en el modo estacionario, la ventana de la cámara reencuadrada permanece fija en una posición estacionaria donde están presentes la mayoría de las escenas importantes del video. Para videos que contienen movimiento, usa Panning moviendo la ventana de la cámara reencuadrada a una velocidad constante. Cuando hay sujetos interesantes en el encuadre, el modo de seguimiento entra en vigor.
Según la estrategia de reencuadre elegida por el algoritmo, AutoFlip establece una ventana de recorte optimizada para cada fotograma. Esto preserva el contenido importante del video de la mejor manera posible..
Google lanzó esta herramienta directamente a los desarrolladores y cineastas con el objetivo de "Reducir las barreras a su creatividad de diseño y llegar a través de la automatización de la edición de video.“. De paisaje a retrato o de retrato a paisaje, sea cual sea el caso, AutoFlipis está diseñado para ofrecer el mejor resultado posible.
