Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM

Autores
Roodschild, Matías
Año de publicación
2024
Idioma
español castellano
Tipo de recurso
tesis doctoral
Estado
versión aceptada
Colaborador/a o director/a de tesis
Will, Adrián Luis Ernesto
Gotay Sardiñas, Jorge
Descripción
Con el aumento de la profundidad en las redes neuronales, la función sigmoide logística ha sido reemplazada por otras funciones de activación más eficientes como la función ReLU (Rectified Linear Unit). Esto se debe a sus problemas de saturación y desvanecimiento del gradiente, mayormente conocido por sus siglas en inglés (VGP). Estas nuevas funciones permitieron construir arquitecturas innovadoras las cuales han logrado avances notables en machine learning, computer vision y natural languaje processing. Sin embargo, la función sigmoide sigue teniendo usos importantes en arquitecturas tales como GRU, LSTM e incluso Transformers (base de ChatGPT entre otros). Por este motivo, cualquier modificación a la función sigmoide, que le permita una mayor resistencia al VGP y mejore su desempeño en redes neuronales profundas constituye un aporte al área. Se analizaron en esta tesis las principales funciones de activación en las redes neuronales profundas, para encontrar las propiedades que explican su éxito y limitaciones. Como resultado del estudio, se hicieron modificaciones a la función sigmoide, las cuales dieron lugar a siete nuevas funciones de activación que probaron ser resistentes al VGP y tener muy buenos desempeños como compuertas reguladoras del flujo de información en celdas LSTM. Una característica común de las nuevas funciones de activación es su dependencia a parámetros (dos o tres parámetros), que ofrecen una amplia flexibilidad para aproximar diferentes funciones tales como, función lineal, ReLU, Swish y hard-Sigmoide entre otras. Los parámetros asociados a estas nuevas funciones pueden fijarse o ser ajustables, y adaptarse automáticamente al conjunto de los datos presentados. Esta tesis se completa con una propuesta concreta con funciones adaptativas en AutoML para arquitecturas LSTM, que producen buenos resultados sin intervención del usuario.
Fil: Roodschild, Matías. Universidad Tecnológica Nacional. Facultad Regional Santa Fe; Argentina.
Materia
Redes Neuronales
Vanishing Gradient Problem
LSTM
Sigmoide Logística
Funciones de activación
Auto Machine Learning
Nivel de accesibilidad
acceso abierto
Condiciones de uso
Attribution-ShareAlike 4.0 International
Repositorio
Repositorio Institucional Abierto (UTN)
Institución
Universidad Tecnológica Nacional
OAI Identificador
oai:ria.utn.edu.ar:20.500.12272/11989
Acceder
id RIAUTN_70981b91b4e33c5b41f849de83dfbea4
oai_identifier_str oai:ria.utn.edu.ar:20.500.12272/11989
network_acronym_str RIAUTN
repository_id_str a
network_name_str Repositorio Institucional Abierto (UTN)
spelling Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTMRoodschild, MatíasRedes NeuronalesVanishing Gradient ProblemLSTMSigmoide LogísticaFunciones de activaciónAuto Machine LearningCon el aumento de la profundidad en las redes neuronales, la función sigmoide logística ha sido reemplazada por otras funciones de activación más eficientes como la función ReLU (Rectified Linear Unit). Esto se debe a sus problemas de saturación y desvanecimiento del gradiente, mayormente conocido por sus siglas en inglés (VGP). Estas nuevas funciones permitieron construir arquitecturas innovadoras las cuales han logrado avances notables en machine learning, computer vision y natural languaje processing. Sin embargo, la función sigmoide sigue teniendo usos importantes en arquitecturas tales como GRU, LSTM e incluso Transformers (base de ChatGPT entre otros). Por este motivo, cualquier modificación a la función sigmoide, que le permita una mayor resistencia al VGP y mejore su desempeño en redes neuronales profundas constituye un aporte al área. Se analizaron en esta tesis las principales funciones de activación en las redes neuronales profundas, para encontrar las propiedades que explican su éxito y limitaciones. Como resultado del estudio, se hicieron modificaciones a la función sigmoide, las cuales dieron lugar a siete nuevas funciones de activación que probaron ser resistentes al VGP y tener muy buenos desempeños como compuertas reguladoras del flujo de información en celdas LSTM. Una característica común de las nuevas funciones de activación es su dependencia a parámetros (dos o tres parámetros), que ofrecen una amplia flexibilidad para aproximar diferentes funciones tales como, función lineal, ReLU, Swish y hard-Sigmoide entre otras. Los parámetros asociados a estas nuevas funciones pueden fijarse o ser ajustables, y adaptarse automáticamente al conjunto de los datos presentados. Esta tesis se completa con una propuesta concreta con funciones adaptativas en AutoML para arquitecturas LSTM, que producen buenos resultados sin intervención del usuario.Fil: Roodschild, Matías. Universidad Tecnológica Nacional. Facultad Regional Santa Fe; Argentina.Will, Adrián Luis ErnestoGotay Sardiñas, Jorge2024-12-19T19:43:16Z2024-12info:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_db06info:ar-repo/semantics/tesisDoctoralpdfapplication/pdfhttp://hdl.handle.net/20.500.12272/11989spainfo:eu-repo/semantics/openAccessAttribution-ShareAlike 4.0 Internationalhttp://creativecommons.org/licenses/by-sa/4.0/Matías RoodschildCreativeCommonsreponame:Repositorio Institucional Abierto (UTN)instname:Universidad Tecnológica Nacional2026-09-24T12:45:37Zoai:ria.utn.edu.ar:20.500.12272/11989instacron:UTNInstitucionalhttp://ria.utn.edu.ar/Universidad públicaNo correspondehttp://ria.utn.edu.ar/oaigestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:a2026-09-24 12:45:38.839Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacionalfalse
dc.title.none.fl_str_mv Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
title Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
spellingShingle Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
Roodschild, Matías
Redes Neuronales
Vanishing Gradient Problem
LSTM
Sigmoide Logística
Funciones de activación
Auto Machine Learning
title_short Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
title_full Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
title_fullStr Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
title_full_unstemmed Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
title_sort Modificaciones de la función sigmoide para el problema del desvanecimiento del gradiente y su aplicación a arquitecturas LSTM
dc.creator.none.fl_str_mv Roodschild, Matías
author Roodschild, Matías
author_facet Roodschild, Matías
author_role author
dc.contributor.none.fl_str_mv Will, Adrián Luis Ernesto
Gotay Sardiñas, Jorge
dc.subject.none.fl_str_mv Redes Neuronales
Vanishing Gradient Problem
LSTM
Sigmoide Logística
Funciones de activación
Auto Machine Learning
topic Redes Neuronales
Vanishing Gradient Problem
LSTM
Sigmoide Logística
Funciones de activación
Auto Machine Learning
dc.description.none.fl_txt_mv Con el aumento de la profundidad en las redes neuronales, la función sigmoide logística ha sido reemplazada por otras funciones de activación más eficientes como la función ReLU (Rectified Linear Unit). Esto se debe a sus problemas de saturación y desvanecimiento del gradiente, mayormente conocido por sus siglas en inglés (VGP). Estas nuevas funciones permitieron construir arquitecturas innovadoras las cuales han logrado avances notables en machine learning, computer vision y natural languaje processing. Sin embargo, la función sigmoide sigue teniendo usos importantes en arquitecturas tales como GRU, LSTM e incluso Transformers (base de ChatGPT entre otros). Por este motivo, cualquier modificación a la función sigmoide, que le permita una mayor resistencia al VGP y mejore su desempeño en redes neuronales profundas constituye un aporte al área. Se analizaron en esta tesis las principales funciones de activación en las redes neuronales profundas, para encontrar las propiedades que explican su éxito y limitaciones. Como resultado del estudio, se hicieron modificaciones a la función sigmoide, las cuales dieron lugar a siete nuevas funciones de activación que probaron ser resistentes al VGP y tener muy buenos desempeños como compuertas reguladoras del flujo de información en celdas LSTM. Una característica común de las nuevas funciones de activación es su dependencia a parámetros (dos o tres parámetros), que ofrecen una amplia flexibilidad para aproximar diferentes funciones tales como, función lineal, ReLU, Swish y hard-Sigmoide entre otras. Los parámetros asociados a estas nuevas funciones pueden fijarse o ser ajustables, y adaptarse automáticamente al conjunto de los datos presentados. Esta tesis se completa con una propuesta concreta con funciones adaptativas en AutoML para arquitecturas LSTM, que producen buenos resultados sin intervención del usuario.
Fil: Roodschild, Matías. Universidad Tecnológica Nacional. Facultad Regional Santa Fe; Argentina.
description Con el aumento de la profundidad en las redes neuronales, la función sigmoide logística ha sido reemplazada por otras funciones de activación más eficientes como la función ReLU (Rectified Linear Unit). Esto se debe a sus problemas de saturación y desvanecimiento del gradiente, mayormente conocido por sus siglas en inglés (VGP). Estas nuevas funciones permitieron construir arquitecturas innovadoras las cuales han logrado avances notables en machine learning, computer vision y natural languaje processing. Sin embargo, la función sigmoide sigue teniendo usos importantes en arquitecturas tales como GRU, LSTM e incluso Transformers (base de ChatGPT entre otros). Por este motivo, cualquier modificación a la función sigmoide, que le permita una mayor resistencia al VGP y mejore su desempeño en redes neuronales profundas constituye un aporte al área. Se analizaron en esta tesis las principales funciones de activación en las redes neuronales profundas, para encontrar las propiedades que explican su éxito y limitaciones. Como resultado del estudio, se hicieron modificaciones a la función sigmoide, las cuales dieron lugar a siete nuevas funciones de activación que probaron ser resistentes al VGP y tener muy buenos desempeños como compuertas reguladoras del flujo de información en celdas LSTM. Una característica común de las nuevas funciones de activación es su dependencia a parámetros (dos o tres parámetros), que ofrecen una amplia flexibilidad para aproximar diferentes funciones tales como, función lineal, ReLU, Swish y hard-Sigmoide entre otras. Los parámetros asociados a estas nuevas funciones pueden fijarse o ser ajustables, y adaptarse automáticamente al conjunto de los datos presentados. Esta tesis se completa con una propuesta concreta con funciones adaptativas en AutoML para arquitecturas LSTM, que producen buenos resultados sin intervención del usuario.
publishDate 2024
dc.date.none.fl_str_mv 2024-12-19T19:43:16Z
2024-12
dc.type.none.fl_str_mv info:eu-repo/semantics/doctoralThesis
info:eu-repo/semantics/acceptedVersion
http://purl.org/coar/resource_type/c_db06
info:ar-repo/semantics/tesisDoctoral
format doctoralThesis
status_str acceptedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/20.500.12272/11989
url http://hdl.handle.net/20.500.12272/11989
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
Attribution-ShareAlike 4.0 International
http://creativecommons.org/licenses/by-sa/4.0/
Matías Roodschild
CreativeCommons
eu_rights_str_mv openAccess
rights_invalid_str_mv Attribution-ShareAlike 4.0 International
http://creativecommons.org/licenses/by-sa/4.0/
Matías Roodschild
CreativeCommons
dc.format.none.fl_str_mv pdf
application/pdf
dc.source.none.fl_str_mv reponame:Repositorio Institucional Abierto (UTN)
instname:Universidad Tecnológica Nacional
reponame_str Repositorio Institucional Abierto (UTN)
collection Repositorio Institucional Abierto (UTN)
instname_str Universidad Tecnológica Nacional
repository.name.fl_str_mv Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacional
repository.mail.fl_str_mv gestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.ar
_version_ 1877230904132239360
score 13.265058

Publicaciones similares