Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?

Autores
Nusch, Carlos Javier; Cagnina, Leticia Cecilia; Lira, Ariel Jorge; Villarreal, Gonzalo Luján; Antonelli, Rubén Leandro; Errecalde, Marcelo Luis; De Giusti, Marisa Raquel; Tettamanti, Santiago
Año de publicación
2025
Idioma
español castellano
Tipo de recurso
documento de conferencia
Estado
versión publicada
Descripción
Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.
Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos.
Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata.
Dirección PREBI-SEDICI
Materia
Informática
Humanidades
Repositorios Institucionales
tareas de curadoría de datos
detección automática de idiomas
mBERT
SBERT
XLM-RoBERTa
enfoque zero-shot
ajuste fino de modelos
Repositórios Institucionais
tarefas de curadoria de dados
detecção automática de idiomas
Institutional Repositories
Data Curation Tasks
Automatic Language Detection
zero-shot approach
models fine-tuning
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc-sa/4.0/
Repositorio
SEDICI (UNLP)
Institución
Universidad Nacional de La Plata
OAI Identificador
oai:sedici.unlp.edu.ar:10915/185804

id SEDICI_c3b0e929c122cfc6094f6607f7383c24
oai_identifier_str oai:sedici.unlp.edu.ar:10915/185804
network_acronym_str SEDICI
repository_id_str 1329
network_name_str SEDICI (UNLP)
spelling Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?Detecção automática de idiomas em textos curtos de repositórios institucionais: vale a pena realizar um ajuste fino em um modelo de linguagem?Automatic language detection in short texts from institutional repositories: is it worth fine-tuning a language model?Nusch, Carlos JavierCagnina, Leticia CeciliaLira, Ariel JorgeVillarreal, Gonzalo LujánAntonelli, Rubén LeandroErrecalde, Marcelo LuisDe Giusti, Marisa RaquelTettamanti, SantiagoInformáticaHumanidadesRepositorios Institucionalestareas de curadoría de datosdetección automática de idiomasmBERTSBERTXLM-RoBERTaenfoque zero-shotajuste fino de modelosRepositórios Institucionaistarefas de curadoria de dadosdetecção automática de idiomasInstitutional RepositoriesData Curation TasksAutomatic Language Detectionzero-shot approachmodels fine-tuningPresentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos.Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata.Dirección PREBI-SEDICI2025-10-10info:eu-repo/semantics/conferenceObjectinfo:eu-repo/semantics/publishedVersionObjeto de conferenciahttp://purl.org/coar/resource_type/c_5794info:ar-repo/semantics/documentoDeConferenciaapplication/pdfhttp://sedici.unlp.edu.ar/handle/10915/185804spainfo:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-sa/4.0/Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2026-06-23T11:13:36Zoai:sedici.unlp.edu.ar:10915/185804Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292026-06-23 11:13:37.128SEDICI (UNLP) - Universidad Nacional de La Platafalse
dc.title.none.fl_str_mv Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
Detecção automática de idiomas em textos curtos de repositórios institucionais: vale a pena realizar um ajuste fino em um modelo de linguagem?
Automatic language detection in short texts from institutional repositories: is it worth fine-tuning a language model?
title Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
spellingShingle Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
Nusch, Carlos Javier
Informática
Humanidades
Repositorios Institucionales
tareas de curadoría de datos
detección automática de idiomas
mBERT
SBERT
XLM-RoBERTa
enfoque zero-shot
ajuste fino de modelos
Repositórios Institucionais
tarefas de curadoria de dados
detecção automática de idiomas
Institutional Repositories
Data Curation Tasks
Automatic Language Detection
zero-shot approach
models fine-tuning
title_short Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
title_full Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
title_fullStr Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
title_full_unstemmed Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
title_sort Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
dc.creator.none.fl_str_mv Nusch, Carlos Javier
Cagnina, Leticia Cecilia
Lira, Ariel Jorge
Villarreal, Gonzalo Luján
Antonelli, Rubén Leandro
Errecalde, Marcelo Luis
De Giusti, Marisa Raquel
Tettamanti, Santiago
author Nusch, Carlos Javier
author_facet Nusch, Carlos Javier
Cagnina, Leticia Cecilia
Lira, Ariel Jorge
Villarreal, Gonzalo Luján
Antonelli, Rubén Leandro
Errecalde, Marcelo Luis
De Giusti, Marisa Raquel
Tettamanti, Santiago
author_role author
author2 Cagnina, Leticia Cecilia
Lira, Ariel Jorge
Villarreal, Gonzalo Luján
Antonelli, Rubén Leandro
Errecalde, Marcelo Luis
De Giusti, Marisa Raquel
Tettamanti, Santiago
author2_role author
author
author
author
author
author
author
dc.subject.none.fl_str_mv Informática
Humanidades
Repositorios Institucionales
tareas de curadoría de datos
detección automática de idiomas
mBERT
SBERT
XLM-RoBERTa
enfoque zero-shot
ajuste fino de modelos
Repositórios Institucionais
tarefas de curadoria de dados
detecção automática de idiomas
Institutional Repositories
Data Curation Tasks
Automatic Language Detection
zero-shot approach
models fine-tuning
topic Informática
Humanidades
Repositorios Institucionales
tareas de curadoría de datos
detección automática de idiomas
mBERT
SBERT
XLM-RoBERTa
enfoque zero-shot
ajuste fino de modelos
Repositórios Institucionais
tarefas de curadoria de dados
detecção automática de idiomas
Institutional Repositories
Data Curation Tasks
Automatic Language Detection
zero-shot approach
models fine-tuning
dc.description.none.fl_txt_mv Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.
Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos.
Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata.
Dirección PREBI-SEDICI
description Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.
publishDate 2025
dc.date.none.fl_str_mv 2025-10-10
dc.type.none.fl_str_mv info:eu-repo/semantics/conferenceObject
info:eu-repo/semantics/publishedVersion
Objeto de conferencia
http://purl.org/coar/resource_type/c_5794
info:ar-repo/semantics/documentoDeConferencia
format conferenceObject
status_str publishedVersion
dc.identifier.none.fl_str_mv http://sedici.unlp.edu.ar/handle/10915/185804
url http://sedici.unlp.edu.ar/handle/10915/185804
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:SEDICI (UNLP)
instname:Universidad Nacional de La Plata
instacron:UNLP
reponame_str SEDICI (UNLP)
collection SEDICI (UNLP)
instname_str Universidad Nacional de La Plata
instacron_str UNLP
institution UNLP
repository.name.fl_str_mv SEDICI (UNLP) - Universidad Nacional de La Plata
repository.mail.fl_str_mv alira@sedici.unlp.edu.ar
_version_ 1868982554431848448
score 13.334379