Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora

Autores
Villanueva, Ignacio
Año de publicación
2026
Idioma
español castellano
Tipo de recurso
tesis de grado
Estado
versión aceptada
Colaborador/a o director/a de tesis
Talamé, María Lorena
Descripción
La evaluación objetiva de técnica en ejercicios de entrenamiento físico representa un desafío fundamental debido a la subjetividad inherente del análisis manual y los costos prohibitivos de sistemas comerciales de captura de movimiento. Este trabajo presenta el desarrollo de un modelo de clasificación de técnica en el ejercicio de press de hombro, mediante técnicas de visión por computadora y aprendizaje profundo. Se toma el press militar como caso de estudio, combinando Vision Transformers para estimación de poses con redes convolucionales 3D para clasificación temporal. El pipeline desarrollado procesa videos del ejercicio en dos etapas: extracción de puntos articulares (keypoints) 2D utilizando ViTPose sobre 17 puntos anatómicos del estándar COCO, seguido de análisis temporal a través de PoseConv3D que clasifica secuencias de movimiento en tres categorías (técnica correcta, errores de codos, errores de rodillas). El desarrollo de un algoritmo de corrección de seguimiento (tracking) representa una contribución técnica del proyecto, resolviendo inconsistencias de identificación en videos multi-persona mediante proximidad espacial. La metodología experimental siguió un desarrollo iterativo basado en evidencia, progresando desde un experimento base con sobreajuste severo hasta la implementación final optimizada mediante transfer learning (aprendizaje por transferencia) con fine-tuning (ajuste fino) desde modelos preentrenados en NTU60. El modelo final alcanza F1-score macro de 0.91 y precisión de 91.6 % en el dataset Fitness-AQA, demostrando la efectividad del enfoque multi-clase unificado comparado con aproximaciones binarias especializadas. Los resultados validan la viabilidad de modelos de clasificación biomecánica basados en análisis visual, ofreciendo una alternativa accesible a tecnologías comerciales disponibles. La arquitectura desarrollada establece un marco de trabajo replicable para análisis automatizado de movimiento humano, con aplicaciones potenciales en entrenamiento físico, rehabilitación y deporte. The objective evaluation of technique in physical training exercises represents a fundamental challenge due to the inherent subjectivity of manual analysis and the prohibitive costs of commercial motion capture systems. This work presents the development of a technique classification model for the overhead press exercise, using computer vision and deep learning techniques. The overhead press is used as a case study, combining Vision Transformers for pose estimation with 3D convolutional networks for temporal classification. The developed pipeline processes exercise videos in two stages: extraction of 2D joint keypoints using ViTPose over 17 anatomical points of the COCO standard, followed by temporal analysis through PoseConv3D that classifies motion sequences into three categories (correct technique, elbow errors, knee errors). The development of a tracking correction algorithm represents a technical contribution of the project, resolving identification inconsistencies in multiperson videos through spatial proximity. The experimental methodology followed an evidence-based iterative development, progressing from a baseline experiment with severe overfitting to the final optimized implementation using transfer learning with fine-tuning from models pretrained on NTU60. The final model achieves a macro F1-score of 0.91 and 91.6 % accuracy on the Fitness-AQA dataset, demonstrating the effectiveness of the unified multi-class approach compared to specialized binary approaches. The results validate the viability of biomechanical classification models based on visual analysis, offering an accessible alternative to available commercial technologies. The developed architecture establishes a replicable framework for automated human motion analysis, with potential applications in physical training, rehabilitation, and sport.
Fil: Villanueva, Ignacio. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.
Fil: Talamé, María Lorena. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.
Materia
Trabajo final de grado
Informática
Aplicación informática
Entrenamiento deportivo
Inteligencia artificial
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc-sa/4.0/
Repositorio
Repositorio Institucional (UCaSal)
Institución
Universidad Católica de Salta
OAI Identificador
oai:bibliotecas.ucasal.edu.ar:81857
Acceder
id RIUCASAL_ed1eced8f964b46fa0a2023865f16c3f
oai_identifier_str oai:bibliotecas.ucasal.edu.ar:81857
network_acronym_str RIUCASAL
repository_id_str 3930
network_name_str Repositorio Institucional (UCaSal)
spelling Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadoraVillanueva, IgnacioTrabajo final de gradoInformáticaAplicación informáticaEntrenamiento deportivoInteligencia artificialLa evaluación objetiva de técnica en ejercicios de entrenamiento físico representa un desafío fundamental debido a la subjetividad inherente del análisis manual y los costos prohibitivos de sistemas comerciales de captura de movimiento. Este trabajo presenta el desarrollo de un modelo de clasificación de técnica en el ejercicio de press de hombro, mediante técnicas de visión por computadora y aprendizaje profundo. Se toma el press militar como caso de estudio, combinando Vision Transformers para estimación de poses con redes convolucionales 3D para clasificación temporal. El pipeline desarrollado procesa videos del ejercicio en dos etapas: extracción de puntos articulares (keypoints) 2D utilizando ViTPose sobre 17 puntos anatómicos del estándar COCO, seguido de análisis temporal a través de PoseConv3D que clasifica secuencias de movimiento en tres categorías (técnica correcta, errores de codos, errores de rodillas). El desarrollo de un algoritmo de corrección de seguimiento (tracking) representa una contribución técnica del proyecto, resolviendo inconsistencias de identificación en videos multi-persona mediante proximidad espacial. La metodología experimental siguió un desarrollo iterativo basado en evidencia, progresando desde un experimento base con sobreajuste severo hasta la implementación final optimizada mediante transfer learning (aprendizaje por transferencia) con fine-tuning (ajuste fino) desde modelos preentrenados en NTU60. El modelo final alcanza F1-score macro de 0.91 y precisión de 91.6 % en el dataset Fitness-AQA, demostrando la efectividad del enfoque multi-clase unificado comparado con aproximaciones binarias especializadas. Los resultados validan la viabilidad de modelos de clasificación biomecánica basados en análisis visual, ofreciendo una alternativa accesible a tecnologías comerciales disponibles. La arquitectura desarrollada establece un marco de trabajo replicable para análisis automatizado de movimiento humano, con aplicaciones potenciales en entrenamiento físico, rehabilitación y deporte. The objective evaluation of technique in physical training exercises represents a fundamental challenge due to the inherent subjectivity of manual analysis and the prohibitive costs of commercial motion capture systems. This work presents the development of a technique classification model for the overhead press exercise, using computer vision and deep learning techniques. The overhead press is used as a case study, combining Vision Transformers for pose estimation with 3D convolutional networks for temporal classification. The developed pipeline processes exercise videos in two stages: extraction of 2D joint keypoints using ViTPose over 17 anatomical points of the COCO standard, followed by temporal analysis through PoseConv3D that classifies motion sequences into three categories (correct technique, elbow errors, knee errors). The development of a tracking correction algorithm represents a technical contribution of the project, resolving identification inconsistencies in multiperson videos through spatial proximity. The experimental methodology followed an evidence-based iterative development, progressing from a baseline experiment with severe overfitting to the final optimized implementation using transfer learning with fine-tuning from models pretrained on NTU60. The final model achieves a macro F1-score of 0.91 and 91.6 % accuracy on the Fitness-AQA dataset, demonstrating the effectiveness of the unified multi-class approach compared to specialized binary approaches. The results validate the viability of biomechanical classification models based on visual analysis, offering an accessible alternative to available commercial technologies. The developed architecture establishes a replicable framework for automated human motion analysis, with potential applications in physical training, rehabilitation, and sport.Fil: Villanueva, Ignacio. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.Fil: Talamé, María Lorena. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.Universidad Católica de Salta. Facultad de Ingeniería (Salta)Talamé, María Lorena2026-06-05info:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_7a1finfo:ar-repo/semantics/trabajoFinalDeGradoapplication/pdfhttps://bibliotecas.ucasal.edu.ar/opac_css/index.php?lvl=cmspage&pageid=24&id_notice=81857https://bibliotecas.ucasal.edu.ar/ark:/49597/ntxdjrpfpdhttps://n2t.net/ark:/49597/ntxdjrpfpd8185720260609u u u0frey0103 baspa1001514Salta (province)info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/4.0/Creative Commons Atribución/Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)reponame:Repositorio Institucional (UCaSal)instname:Universidad Católica de Saltainstacron:UCaSal2026-09-24T12:46:52Zoai:bibliotecas.ucasal.edu.ar:81857Institucionalhttp://bibliotecas.ucasal.edu.ar/opac_css/index.php?lvl=cmspage&pageid=16Universidad privadaNo correspondehttp://bibliotecas.ucasal.edu.ar/ws/oai2_7?verb=Identifycdiedrich@ucasal.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:39302026-09-24 12:46:54.483Repositorio Institucional (UCaSal) - Universidad Católica de Saltafalse
dc.title.none.fl_str_mv Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
title Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
spellingShingle Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
Villanueva, Ignacio
Trabajo final de grado
Informática
Aplicación informática
Entrenamiento deportivo
Inteligencia artificial
title_short Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
title_full Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
title_fullStr Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
title_full_unstemmed Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
title_sort Evaluación automatizada de técnica en ejercicios de fitness mediante aprendizaje profundo y visión por computadora
dc.creator.none.fl_str_mv Villanueva, Ignacio
author Villanueva, Ignacio
author_facet Villanueva, Ignacio
author_role author
dc.contributor.none.fl_str_mv Talamé, María Lorena
dc.subject.none.fl_str_mv Trabajo final de grado
Informática
Aplicación informática
Entrenamiento deportivo
Inteligencia artificial
topic Trabajo final de grado
Informática
Aplicación informática
Entrenamiento deportivo
Inteligencia artificial
dc.description.none.fl_txt_mv La evaluación objetiva de técnica en ejercicios de entrenamiento físico representa un desafío fundamental debido a la subjetividad inherente del análisis manual y los costos prohibitivos de sistemas comerciales de captura de movimiento. Este trabajo presenta el desarrollo de un modelo de clasificación de técnica en el ejercicio de press de hombro, mediante técnicas de visión por computadora y aprendizaje profundo. Se toma el press militar como caso de estudio, combinando Vision Transformers para estimación de poses con redes convolucionales 3D para clasificación temporal. El pipeline desarrollado procesa videos del ejercicio en dos etapas: extracción de puntos articulares (keypoints) 2D utilizando ViTPose sobre 17 puntos anatómicos del estándar COCO, seguido de análisis temporal a través de PoseConv3D que clasifica secuencias de movimiento en tres categorías (técnica correcta, errores de codos, errores de rodillas). El desarrollo de un algoritmo de corrección de seguimiento (tracking) representa una contribución técnica del proyecto, resolviendo inconsistencias de identificación en videos multi-persona mediante proximidad espacial. La metodología experimental siguió un desarrollo iterativo basado en evidencia, progresando desde un experimento base con sobreajuste severo hasta la implementación final optimizada mediante transfer learning (aprendizaje por transferencia) con fine-tuning (ajuste fino) desde modelos preentrenados en NTU60. El modelo final alcanza F1-score macro de 0.91 y precisión de 91.6 % en el dataset Fitness-AQA, demostrando la efectividad del enfoque multi-clase unificado comparado con aproximaciones binarias especializadas. Los resultados validan la viabilidad de modelos de clasificación biomecánica basados en análisis visual, ofreciendo una alternativa accesible a tecnologías comerciales disponibles. La arquitectura desarrollada establece un marco de trabajo replicable para análisis automatizado de movimiento humano, con aplicaciones potenciales en entrenamiento físico, rehabilitación y deporte. The objective evaluation of technique in physical training exercises represents a fundamental challenge due to the inherent subjectivity of manual analysis and the prohibitive costs of commercial motion capture systems. This work presents the development of a technique classification model for the overhead press exercise, using computer vision and deep learning techniques. The overhead press is used as a case study, combining Vision Transformers for pose estimation with 3D convolutional networks for temporal classification. The developed pipeline processes exercise videos in two stages: extraction of 2D joint keypoints using ViTPose over 17 anatomical points of the COCO standard, followed by temporal analysis through PoseConv3D that classifies motion sequences into three categories (correct technique, elbow errors, knee errors). The development of a tracking correction algorithm represents a technical contribution of the project, resolving identification inconsistencies in multiperson videos through spatial proximity. The experimental methodology followed an evidence-based iterative development, progressing from a baseline experiment with severe overfitting to the final optimized implementation using transfer learning with fine-tuning from models pretrained on NTU60. The final model achieves a macro F1-score of 0.91 and 91.6 % accuracy on the Fitness-AQA dataset, demonstrating the effectiveness of the unified multi-class approach compared to specialized binary approaches. The results validate the viability of biomechanical classification models based on visual analysis, offering an accessible alternative to available commercial technologies. The developed architecture establishes a replicable framework for automated human motion analysis, with potential applications in physical training, rehabilitation, and sport.
Fil: Villanueva, Ignacio. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.
Fil: Talamé, María Lorena. Universidad Católica de Salta. Facultad de Ingeniería; Argentina.
description La evaluación objetiva de técnica en ejercicios de entrenamiento físico representa un desafío fundamental debido a la subjetividad inherente del análisis manual y los costos prohibitivos de sistemas comerciales de captura de movimiento. Este trabajo presenta el desarrollo de un modelo de clasificación de técnica en el ejercicio de press de hombro, mediante técnicas de visión por computadora y aprendizaje profundo. Se toma el press militar como caso de estudio, combinando Vision Transformers para estimación de poses con redes convolucionales 3D para clasificación temporal. El pipeline desarrollado procesa videos del ejercicio en dos etapas: extracción de puntos articulares (keypoints) 2D utilizando ViTPose sobre 17 puntos anatómicos del estándar COCO, seguido de análisis temporal a través de PoseConv3D que clasifica secuencias de movimiento en tres categorías (técnica correcta, errores de codos, errores de rodillas). El desarrollo de un algoritmo de corrección de seguimiento (tracking) representa una contribución técnica del proyecto, resolviendo inconsistencias de identificación en videos multi-persona mediante proximidad espacial. La metodología experimental siguió un desarrollo iterativo basado en evidencia, progresando desde un experimento base con sobreajuste severo hasta la implementación final optimizada mediante transfer learning (aprendizaje por transferencia) con fine-tuning (ajuste fino) desde modelos preentrenados en NTU60. El modelo final alcanza F1-score macro de 0.91 y precisión de 91.6 % en el dataset Fitness-AQA, demostrando la efectividad del enfoque multi-clase unificado comparado con aproximaciones binarias especializadas. Los resultados validan la viabilidad de modelos de clasificación biomecánica basados en análisis visual, ofreciendo una alternativa accesible a tecnologías comerciales disponibles. La arquitectura desarrollada establece un marco de trabajo replicable para análisis automatizado de movimiento humano, con aplicaciones potenciales en entrenamiento físico, rehabilitación y deporte. The objective evaluation of technique in physical training exercises represents a fundamental challenge due to the inherent subjectivity of manual analysis and the prohibitive costs of commercial motion capture systems. This work presents the development of a technique classification model for the overhead press exercise, using computer vision and deep learning techniques. The overhead press is used as a case study, combining Vision Transformers for pose estimation with 3D convolutional networks for temporal classification. The developed pipeline processes exercise videos in two stages: extraction of 2D joint keypoints using ViTPose over 17 anatomical points of the COCO standard, followed by temporal analysis through PoseConv3D that classifies motion sequences into three categories (correct technique, elbow errors, knee errors). The development of a tracking correction algorithm represents a technical contribution of the project, resolving identification inconsistencies in multiperson videos through spatial proximity. The experimental methodology followed an evidence-based iterative development, progressing from a baseline experiment with severe overfitting to the final optimized implementation using transfer learning with fine-tuning from models pretrained on NTU60. The final model achieves a macro F1-score of 0.91 and 91.6 % accuracy on the Fitness-AQA dataset, demonstrating the effectiveness of the unified multi-class approach compared to specialized binary approaches. The results validate the viability of biomechanical classification models based on visual analysis, offering an accessible alternative to available commercial technologies. The developed architecture establishes a replicable framework for automated human motion analysis, with potential applications in physical training, rehabilitation, and sport.
publishDate 2026
dc.date.none.fl_str_mv 2026-06-05
dc.type.none.fl_str_mv info:eu-repo/semantics/bachelorThesis
info:eu-repo/semantics/acceptedVersion
http://purl.org/coar/resource_type/c_7a1f
info:ar-repo/semantics/trabajoFinalDeGrado
format bachelorThesis
status_str acceptedVersion
dc.identifier.none.fl_str_mv https://bibliotecas.ucasal.edu.ar/opac_css/index.php?lvl=cmspage&pageid=24&id_notice=81857
https://bibliotecas.ucasal.edu.ar/ark:/49597/ntxdjrpfpd
https://n2t.net/ark:/49597/ntxdjrpfpd
81857
20260609u u u0frey0103 ba
url https://bibliotecas.ucasal.edu.ar/opac_css/index.php?lvl=cmspage&pageid=24&id_notice=81857
https://bibliotecas.ucasal.edu.ar/ark:/49597/ntxdjrpfpd
https://n2t.net/ark:/49597/ntxdjrpfpd
identifier_str_mv 81857
20260609u u u0frey0103 ba
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Atribución/Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Atribución/Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv 1001514
Salta (province)
dc.publisher.none.fl_str_mv Universidad Católica de Salta. Facultad de Ingeniería (Salta)
publisher.none.fl_str_mv Universidad Católica de Salta. Facultad de Ingeniería (Salta)
dc.source.none.fl_str_mv reponame:Repositorio Institucional (UCaSal)
instname:Universidad Católica de Salta
instacron:UCaSal
reponame_str Repositorio Institucional (UCaSal)
collection Repositorio Institucional (UCaSal)
instname_str Universidad Católica de Salta
instacron_str UCaSal
institution UCaSal
repository.name.fl_str_mv Repositorio Institucional (UCaSal) - Universidad Católica de Salta
repository.mail.fl_str_mv cdiedrich@ucasal.edu.ar
_version_ 1877231127474733056
score 13.265058

Publicaciones similares