Sistema para el aprendizaje del lenguaje de señas colombiano usando visión por computador
El reconocimiento de gestos con las manos es un área de investigación que ha capturado la atención de muchos investigadores para el desarrollo de aplicaciones de interacción Humano-Máquina (HCI, por sus siglas en inglés), entre las que se pueden encontrar realidad virtual, realidad aumentada, jue...
| Autor Principal: | Triviño López, Iván Camilo |
|---|---|
| Formato: | info:eu-repo/semantics/bachelorThesis |
| Idioma: | spa |
| Publicado: |
Universidad de La Salle. Facultad de Ingeniería. Ingeniería en Automatización
2019
|
| Materias: | |
| Acceso en línea: |
http://hdl.handle.net/10185/29247 |
| Etiquetas: |
Agregar Etiqueta
Sin Etiquetas, Sea el primero en etiquetar este registro!
|
| Sumario: |
El reconocimiento de gestos con las manos es un área de investigación que ha capturado
la atención de muchos investigadores para el desarrollo de aplicaciones de interacción
Humano-Máquina (HCI, por sus siglas en inglés), entre las que se pueden encontrar
realidad virtual, realidad aumentada, juegos, aplicaciones educativas, entre otras.
En el presente proyecto de investigación se desarrolló un sistema para el apoyo de la
enseñanza del lenguaje de señas a través de una aplicación HCI que emplea visión
por computador; el sistema propuesto le indica al usuario a través de una imagen o
un videoclip, qué seña debe ejecutar y de qué manera debe hacerlo, posteriormente
le permite ejecutar la seña mientras la captura con un dispositivo Microsoft Kinect para
luego, haciendo uso de procesamiento de imágenes digitales y algoritmos de inteligencia
artificial, determinar si el usuario ha ejecutado la seña de manera correcta.
La aplicación desarrollada es capaz de clasificar un conjunto de siete señas estáticas,
con un total de 3.600 muestras y cuatro señas dinámicas, con un total de 1.800 muestras;
para el análisis de las señas estáticas se tuvieron en cuenta tres descriptores: HOG,
U-LBP y Firma del contorno, junto con cuatro clasificadores: Naive Bayes, SVM, ANN
y KNN, obteniendo que el mejor descriptor es HOG, con una precisión promedio de
clasificación de 0; 9795 con el clasificador SVM y asimismo que el mejor clasificador es
SVM con una exactitud de clasificación de 0; 9800 y un resultado de F1-Score de 0; 9798
junto con el descriptor HOG. Por otro lado, para las señas dinámicas se tuvo en cuenta un
descriptor basado en la trayectoria junto con cuatro clasificadores: Random Forest, SVM,
KNN y Naive Bayes, obteniendo que el mejor clasificador es el SVM con una exactitud
de clasificación de 0; 9400, una precisión promedio de 0; 9400 y un resultado de F1-Score
de 0; 9390.
El desarrollo de la aplicación así como las pruebas, se realizaron en un computador con
procesador Intel Core i5 de 2,5 GHz con TurboBoost 3,1GHz y 8GB de memoria RAM |
|---|