Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?
- Autores
- Nusch, Carlos Javier; Cagnina, Leticia Cecilia; Lira, Ariel Jorge; Villarreal, Gonzalo Luján; Antonelli, Rubén Leandro; Errecalde, Marcelo Luis; De Giusti, Marisa Raquel; Tettamanti, Santiago
- Año de publicación
- 2025
- Idioma
- español castellano
- Tipo de recurso
- documento de conferencia
- Estado
- versión publicada
- Descripción
- Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.
Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos.
Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata.
Dirección PREBI-SEDICI - Materia
-
Informática
Humanidades
Repositorios Institucionales
tareas de curadoría de datos
detección automática de idiomas
mBERT
SBERT
XLM-RoBERTa
enfoque zero-shot
ajuste fino de modelos
Repositórios Institucionais
tarefas de curadoria de dados
detecção automática de idiomas
Institutional Repositories
Data Curation Tasks
Automatic Language Detection
zero-shot approach
models fine-tuning - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- http://creativecommons.org/licenses/by-nc-sa/4.0/
- Repositorio
.jpg)
- Institución
- Universidad Nacional de La Plata
- OAI Identificador
- oai:sedici.unlp.edu.ar:10915/185804
Ver los metadatos del registro completo
| id |
SEDICI_c3b0e929c122cfc6094f6607f7383c24 |
|---|---|
| oai_identifier_str |
oai:sedici.unlp.edu.ar:10915/185804 |
| network_acronym_str |
SEDICI |
| repository_id_str |
1329 |
| network_name_str |
SEDICI (UNLP) |
| spelling |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje?Detecção automática de idiomas em textos curtos de repositórios institucionais: vale a pena realizar um ajuste fino em um modelo de linguagem?Automatic language detection in short texts from institutional repositories: is it worth fine-tuning a language model?Nusch, Carlos JavierCagnina, Leticia CeciliaLira, Ariel JorgeVillarreal, Gonzalo LujánAntonelli, Rubén LeandroErrecalde, Marcelo LuisDe Giusti, Marisa RaquelTettamanti, SantiagoInformáticaHumanidadesRepositorios Institucionalestareas de curadoría de datosdetección automática de idiomasmBERTSBERTXLM-RoBERTaenfoque zero-shotajuste fino de modelosRepositórios Institucionaistarefas de curadoria de dadosdetecção automática de idiomasInstitutional RepositoriesData Curation TasksAutomatic Language Detectionzero-shot approachmodels fine-tuningPresentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos.Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos.Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata.Dirección PREBI-SEDICI2025-10-10info:eu-repo/semantics/conferenceObjectinfo:eu-repo/semantics/publishedVersionObjeto de conferenciahttp://purl.org/coar/resource_type/c_5794info:ar-repo/semantics/documentoDeConferenciaapplication/pdfhttp://sedici.unlp.edu.ar/handle/10915/185804spainfo:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-sa/4.0/Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2026-06-23T11:13:36Zoai:sedici.unlp.edu.ar:10915/185804Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292026-06-23 11:13:37.128SEDICI (UNLP) - Universidad Nacional de La Platafalse |
| dc.title.none.fl_str_mv |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? Detecção automática de idiomas em textos curtos de repositórios institucionais: vale a pena realizar um ajuste fino em um modelo de linguagem? Automatic language detection in short texts from institutional repositories: is it worth fine-tuning a language model? |
| title |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| spellingShingle |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? Nusch, Carlos Javier Informática Humanidades Repositorios Institucionales tareas de curadoría de datos detección automática de idiomas mBERT SBERT XLM-RoBERTa enfoque zero-shot ajuste fino de modelos Repositórios Institucionais tarefas de curadoria de dados detecção automática de idiomas Institutional Repositories Data Curation Tasks Automatic Language Detection zero-shot approach models fine-tuning |
| title_short |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| title_full |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| title_fullStr |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| title_full_unstemmed |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| title_sort |
Detección automática de idiomas en textos cortos de repositorios institucionales: ¿vale la pena realizar un ajuste fino sobre un modelo de lenguaje? |
| dc.creator.none.fl_str_mv |
Nusch, Carlos Javier Cagnina, Leticia Cecilia Lira, Ariel Jorge Villarreal, Gonzalo Luján Antonelli, Rubén Leandro Errecalde, Marcelo Luis De Giusti, Marisa Raquel Tettamanti, Santiago |
| author |
Nusch, Carlos Javier |
| author_facet |
Nusch, Carlos Javier Cagnina, Leticia Cecilia Lira, Ariel Jorge Villarreal, Gonzalo Luján Antonelli, Rubén Leandro Errecalde, Marcelo Luis De Giusti, Marisa Raquel Tettamanti, Santiago |
| author_role |
author |
| author2 |
Cagnina, Leticia Cecilia Lira, Ariel Jorge Villarreal, Gonzalo Luján Antonelli, Rubén Leandro Errecalde, Marcelo Luis De Giusti, Marisa Raquel Tettamanti, Santiago |
| author2_role |
author author author author author author author |
| dc.subject.none.fl_str_mv |
Informática Humanidades Repositorios Institucionales tareas de curadoría de datos detección automática de idiomas mBERT SBERT XLM-RoBERTa enfoque zero-shot ajuste fino de modelos Repositórios Institucionais tarefas de curadoria de dados detecção automática de idiomas Institutional Repositories Data Curation Tasks Automatic Language Detection zero-shot approach models fine-tuning |
| topic |
Informática Humanidades Repositorios Institucionales tareas de curadoría de datos detección automática de idiomas mBERT SBERT XLM-RoBERTa enfoque zero-shot ajuste fino de modelos Repositórios Institucionais tarefas de curadoria de dados detecção automática de idiomas Institutional Repositories Data Curation Tasks Automatic Language Detection zero-shot approach models fine-tuning |
| dc.description.none.fl_txt_mv |
Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos. Apresentação do problema: Este artigo busca dar continuidade e otimizar as tarefas de detecção automática de idioma realizadas anteriormente no repositório institucional SEDICI. O objetivo é facilitar a catalogação de materiais diante do enorme volume de recursos atualmente armazenados. Materiais e metodologia: A partir de um dataset exportado do repositório, com cerca de 126.081 itens, foi planejada uma tarefa de detecção automática de idiomas utilizando diferentes bibliotecas existentes com a abordagem zero-shot (LangDetect, Polyglot e Langid). Antes disso, foram realizadas várias tarefas de limpeza e pré-processamento de texto com o intuito de melhorar o desempenho das bibliotecas em relação a trabalhos anteriores. Em seguida, os resultados obtidos foram comparados com os dados de idiomas registrados pela equipe de catalogação do repositório, verificando-se a precisão de ambos os grupos. Para tentar melhorar ainda mais a detecção, foi realizado um ajuste fino e analisado o desempenho da biblioteca FastText e de vários modelos (mBERT, SBERT e XLM-RoBERTa). Resultados: De modo geral, todas as bibliotecas de detecção de idioma apresentaram alto nível de precisão, em torno de 98%. No caso dos modelos de linguagem, também foram obtidos excelentes resultados, com valores de cerca de 100% de F1-score. As diferentes tarefas realizadas também permitiram identificar e tipificar erros recorrentes cometidos por catalogadores humanos, além de realizar uma correção em lote de metadados incorretos. Problem statement: This paper aims to continue and optimize the automatic language detection tasks previously carried out in the SEDICI institutional repository. The goal is to facilitate the cataloging of materials given the vast amount of resources currently stored. Materials and methodology: Based on a dataset exported from the repository containing approximately 126,081 items, an automatic language detection task was designed using several existing libraries under the zero-shot approach (LangDetect, Polyglot, and Langid). Prior to this, various text cleaning and preprocessing tasks were performed to improve the performance of the libraries compared to earlier experiments. Then, the results obtained were compared with the language metadata assigned by the repository’s cataloging staff, and the accuracy of both groups was verified. To further enhance detection performance, a fine-tuning process was applied, and the performance of the FastText library and several models (mBERT, SBERT, and XLM-RoBERTa) was analyzed. Results: Overall, all language detection libraries demonstrated a high level of accuracy, around 98%. For the language models, results were also very strong, with F1-scores close to 100%. Additionally, the different tasks carried out allowed for the identification and classification of recurring errors made by human catalogers, as well as the batch correction of incorrect metadata. Dirección PREBI-SEDICI |
| description |
Presentación del problema: Este artículo busca continuar y optimizar las tareas de detección automática de idioma llevadas a cabo previamente en el repositorio institucional SEDICI. Se procura facilitar la catalogación de materiales ante el enorme volumen de recursos almacenados actualmente. Materiales y metodología: A partir de un dataset exportado del repositorio de unos 126.081 ítems se planificó una tarea de detección automática de idiomas utilizando diferentes bibliotecas existentes con el enfoque zero-shot (LangDetect, Polyglot y Langid). Previamente se llevaron a cabo varias tareas de limpieza de texto y preprocesamiento que buscaron mejorar el desempeño de las bibliotecas respecto de tareas anteriores. Luego se compararon los resultados obtenidos con los datos de los idiomas registrados por el personal de catalogación del repositorio y se corroboró la exactitud de uno y otro grupo. Para tratar de mejorar aún más la detección de idiomas se realizó un ajuste fino y analizó el desempeño de la biblioteca Fasttext y varios modelos (mBERT, SBERT y XLM-RoBERTa). Resultados: En general, todas las bibliotecas de detección de idiomas mostraron un alto nivel de precisión en la detección de idiomas, alrededor de un 98%. En el caso de los modelos de lenguaje también se obtuvieron muy buenos resultados, con valores de alrededor de 100% de f1 score. Las diferentes tareas llevadas a cabo también permitieron identificar y tipificar algunos errores recurrentes en los que suelen incurrir los catalogadores humanos así como realizar una corrección en lote de los metadatos erróneos. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-10-10 |
| dc.type.none.fl_str_mv |
info:eu-repo/semantics/conferenceObject info:eu-repo/semantics/publishedVersion Objeto de conferencia http://purl.org/coar/resource_type/c_5794 info:ar-repo/semantics/documentoDeConferencia |
| format |
conferenceObject |
| status_str |
publishedVersion |
| dc.identifier.none.fl_str_mv |
http://sedici.unlp.edu.ar/handle/10915/185804 |
| url |
http://sedici.unlp.edu.ar/handle/10915/185804 |
| dc.language.none.fl_str_mv |
spa |
| language |
spa |
| dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) |
| eu_rights_str_mv |
openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.source.none.fl_str_mv |
reponame:SEDICI (UNLP) instname:Universidad Nacional de La Plata instacron:UNLP |
| reponame_str |
SEDICI (UNLP) |
| collection |
SEDICI (UNLP) |
| instname_str |
Universidad Nacional de La Plata |
| instacron_str |
UNLP |
| institution |
UNLP |
| repository.name.fl_str_mv |
SEDICI (UNLP) - Universidad Nacional de La Plata |
| repository.mail.fl_str_mv |
alira@sedici.unlp.edu.ar |
| _version_ |
1868982554431848448 |
| score |
13.334379 |