Lectura de labios en videos sin audio mediante Dynamic Time Warping y Machine Learning

Aug 5, 2026

Subir por Riley

Este trabajo desarrolla un sistema de lectura de labios basado en visión por computador y aprendizaje automático para transcribir palabras pronunciadas en videos sin audio. El enfoque emplea Mediapipe para detectar los labios, descriptores de Fourier para describir su movimiento, Dynamic Time Warping (DTW) para medir similitudes entre secuencias temporales y K-Nearest Neighbors (KNN) para la clasificación. Los resultados muestran alta precisión en entornos controlados, pero limitaciones al generalizar entre hablantes y ante cambios de orientación de la cabeza. Se concluye la necesidad de robustecer el modelo para su uso en contextos reales y diversos.

IdiomaSpanish

CategoríaTecnología

FormatoPDF

Páginas15

Tiempo de lectura23 min

AccesoGratis para descargar

Tabla de contenidos

Introducción

Motivación y contexto

Técnicas de lectura de labios y aplicaciones

Avances con Inteligencia Artificial y Visión por Computador

Metodología (descripción general)

This is the published version of the bachelor thesis: Matienzo Reyes, Sanny Jheremmy; Antens, Coen Jocobus tut. Lectura de labios en videos sin audio mediante Dynamic Time Warping y Machine Learning. 2025.(Enginyeria Informàtica) This version is available at [https://ddd.uab.cat/record/308778](https://ddd.uab.cat/record/308778)[ ](https://ddd.uab.cat/record/308778)under the terms of the license Lectura de labios en videos sin audio mediante Dynamic Time Warping y Machine Learning Sanny Jheremmy Matienzo Reyes Resumen—Este trabajo presenta el desarrollo de un sistema de lectura de labios basado en Visión por Computador y Machine Learning, con el objetivo de transcribir palabras pronunciadas en videos sin audio. Este sistema busca facilitar la comunicación para personas con dificultades auditivas y explorar nuevas aplicaciones en contextos donde el sonido no es una opción viable. Para su desarrollo, se ha utilizado la librería Mediapipe para la detección de los labios, descriptores de Fourier para representar su movimiento, Dynamic Time Warping (DTW) para medir similitudes entre secuencias temporales y K-Nearest Neighbors (KNN) para la clasificación de palabras. Los resultados muestran que el sistema logra una alta precisión en entornos controlados, pero presenta dificultades al generalizar a diferentes hablantes y cambios en la orientación de la cabeza. Este estudio confirma el potencial de la lectura de labios automatizada y destaca la necesidad de mejorar la robustez del modelo para su aplicación en entornos más diversos. Palabras clave—Inteligencia Artificial, Visión por Computador, Lectura de Labios, Dynamic Time Warping (DTW), Descriptores de Fourier, K-Nearest Neighbors (KNN), Mediapipe. Abstract—This work presents the development of a lip-reading system based on Computer Vision and Machine Learning, aiming to transcribe spoken words from videos without audio. This system seeks to facilitate communication for individuals with hearing impairments and explore new applications in scenarios where audio is not a viable option. The development process involved Mediapipe for lip detection, Fourier descriptors for movement representation, Dynamic Time Warping (DTW) to measure temporal sequence similarities, and K-Nearest Neighbors (KNN) for word classification. The results indicate that the system achieves high accuracy in controlled environments but struggles to generalize across different speakers and variations in head orientation. This study highlights the potential of automated lip reading and the need to enhance model robustness for broader real-world applications. Index Terms—Artificial Intelligence, Computer Vision, Lip Reading, Dynamic Time Warping (DTW), Fourier Descriptors, KNearest Neighbors (KNN), Mediapipe. ◆ 1 INTRODUCCIÓN La comunicación es una herramienta fundamental en nuestras vidas. Muchas personas ni siquiera pensamos encómo sería nuestra vida si perdiéramos la capacidad de comunicarnos. Sin embargo, existen personas que luchan díaa día contra este problema, como, por ejemplo, las personas sordomudas. Para las personas sordomudas, ésta es una realidad con la que viven todos los días. No pueden escuchar ni hablar de la misma forma que el resto, así que tienen que buscar maneras diferentes de expresarse. En la mayoría de los casos, las personas sordomudas no pueden desarrollar el habla porque nacieron sin la capacidad de oír, lo que afecta el aprendizaje del habla. Sin embargo, también existen enfermedades que pueden limitar la capacidad del habla. Por ejemplo, si nos vamos a un caso • E-mail de [contacto: jheremmymatienzo@gmail.com](contacto: jheremmymatienzo@gmail.com) • Mención realizada: Computación • Trabajo tutorizado por: Coen Antens • Curso 2024/25 Figura 1: Retrato de Bruce Willis mediático, podemos hablarde Bruce Willis, a quien se le diagnosticó afasia, un trastorno del lenguaje causado por daños en las áreas del cerebro responsables de la comunicación. Otro c

Preguntas frecuentes

Cuál es el objetivo del sistema de lectura de labios propuesto?

Transcribir palabras pronunciadas en videos sin audio, facilitando la comunicación en situaciones donde el sonido no es una opción viable.

Qué herramientas y técnicas se usan para detectar y clasificar palabras?

Mediapipe para la detección de labios, descriptores de Fourier para representar el movimiento, DTW para comparar secuencias temporales y KNN para la clasificación de palabras.

Qué limitaciones muestra el sistema según los resultados?

Logra alta precisión en entornos controlados, pero presenta dificultades para generalizar a diferentes hablantes y ante variaciones en la orientación de la cabeza.

Aug 5, 2026

Subir por Riley