“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"

Autores
Nuñez Peña, Alonzo
Año de publicación
2026
Idioma
español castellano
Tipo de recurso
documento de trabajo
Estado
versión aceptada
Descripción
La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.
The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselves
Fil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina.
Peer Reviewed
Materia
LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.
Nivel de accesibilidad
acceso abierto
Condiciones de uso
Facultad Regional Buenos Aires
Repositorio
Repositorio Institucional Abierto (UTN)
Institución
Universidad Tecnológica Nacional
OAI Identificador
oai:ria.utn.edu.ar:20.500.12272/15433

id RIAUTN_9525b29ccf9c1e3ba495df57ca265551
oai_identifier_str oai:ria.utn.edu.ar:20.500.12272/15433
network_acronym_str RIAUTN
repository_id_str a
network_name_str Repositorio Institucional Abierto (UTN)
spelling “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"Nuñez Peña, AlonzoLLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselvesFil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina.Peer ReviewedEscuela de Posgrado2026-08-25T18:52:17Z2026-08-20info:eu-repo/semantics/workingPaperinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_8042info:ar-repo/semantics/documentoDeTrabajoplainapplication/pdfhttps://hdl.handle.net/20.500.12272/15433spainfo:eu-repo/semantics/openAccessFacultad Regional Buenos AiresCC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadasreponame:Repositorio Institucional Abierto (UTN)instname:Universidad Tecnológica Nacional2026-10-29T11:27:26Zoai:ria.utn.edu.ar:20.500.12272/15433instacron:UTNInstitucionalhttp://ria.utn.edu.ar/Universidad públicaNo correspondehttp://ria.utn.edu.ar/oaigestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:a2026-10-29 11:27:26.539Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacionalfalse
dc.title.none.fl_str_mv “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
title “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
spellingShingle “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
Nuñez Peña, Alonzo
LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.
title_short “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
title_full “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
title_fullStr “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
title_full_unstemmed “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
title_sort “Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
dc.creator.none.fl_str_mv Nuñez Peña, Alonzo
author Nuñez Peña, Alonzo
author_facet Nuñez Peña, Alonzo
author_role author
dc.subject.none.fl_str_mv LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.
topic LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.
dc.description.none.fl_txt_mv La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.
The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselves
Fil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina.
Peer Reviewed
description La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.
publishDate 2026
dc.date.none.fl_str_mv 2026-08-25T18:52:17Z
2026-08-20
dc.type.none.fl_str_mv info:eu-repo/semantics/workingPaper
info:eu-repo/semantics/acceptedVersion
http://purl.org/coar/resource_type/c_8042
info:ar-repo/semantics/documentoDeTrabajo
format workingPaper
status_str acceptedVersion
dc.identifier.none.fl_str_mv https://hdl.handle.net/20.500.12272/15433
url https://hdl.handle.net/20.500.12272/15433
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
Facultad Regional Buenos Aires
CC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadas
eu_rights_str_mv openAccess
rights_invalid_str_mv Facultad Regional Buenos Aires
CC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadas
dc.format.none.fl_str_mv plain
application/pdf
dc.publisher.none.fl_str_mv Escuela de Posgrado
publisher.none.fl_str_mv Escuela de Posgrado
dc.source.none.fl_str_mv reponame:Repositorio Institucional Abierto (UTN)
instname:Universidad Tecnológica Nacional
reponame_str Repositorio Institucional Abierto (UTN)
collection Repositorio Institucional Abierto (UTN)
instname_str Universidad Tecnológica Nacional
repository.name.fl_str_mv Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacional
repository.mail.fl_str_mv gestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.ar
_version_ 1880396324061315072
score 13.334379