“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"
- Autores
- Nuñez Peña, Alonzo
- Año de publicación
- 2026
- Idioma
- español castellano
- Tipo de recurso
- documento de trabajo
- Estado
- versión aceptada
- Descripción
- La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.
The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselves
Fil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina.
Peer Reviewed - Materia
- LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.
- Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- Facultad Regional Buenos Aires
- Repositorio
.jpg)
- Institución
- Universidad Tecnológica Nacional
- OAI Identificador
- oai:ria.utn.edu.ar:20.500.12272/15433
Ver los metadatos del registro completo
| id |
RIAUTN_9525b29ccf9c1e3ba495df57ca265551 |
|---|---|
| oai_identifier_str |
oai:ria.utn.edu.ar:20.500.12272/15433 |
| network_acronym_str |
RIAUTN |
| repository_id_str |
a |
| network_name_str |
Repositorio Institucional Abierto (UTN) |
| spelling |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura"Nuñez Peña, AlonzoLLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps.La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez.The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselvesFil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina.Peer ReviewedEscuela de Posgrado2026-08-25T18:52:17Z2026-08-20info:eu-repo/semantics/workingPaperinfo:eu-repo/semantics/acceptedVersionhttp://purl.org/coar/resource_type/c_8042info:ar-repo/semantics/documentoDeTrabajoplainapplication/pdfhttps://hdl.handle.net/20.500.12272/15433spainfo:eu-repo/semantics/openAccessFacultad Regional Buenos AiresCC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadasreponame:Repositorio Institucional Abierto (UTN)instname:Universidad Tecnológica Nacional2026-10-29T11:27:26Zoai:ria.utn.edu.ar:20.500.12272/15433instacron:UTNInstitucionalhttp://ria.utn.edu.ar/Universidad públicaNo correspondehttp://ria.utn.edu.ar/oaigestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:a2026-10-29 11:27:26.539Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacionalfalse |
| dc.title.none.fl_str_mv |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| title |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| spellingShingle |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" Nuñez Peña, Alonzo LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps. |
| title_short |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| title_full |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| title_fullStr |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| title_full_unstemmed |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| title_sort |
“Modelos de madurez para LLMOPS en entornos productivos: una revisión multivocal de la literatura" |
| dc.creator.none.fl_str_mv |
Nuñez Peña, Alonzo |
| author |
Nuñez Peña, Alonzo |
| author_facet |
Nuñez Peña, Alonzo |
| author_role |
author |
| dc.subject.none.fl_str_mv |
LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps. |
| topic |
LLMOps, modelos de madurez, revisión multivocal de la literatura, IA generativa en producción, AgentOps. |
| dc.description.none.fl_txt_mv |
La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez. The deployment of large language models in production systems faces a maturity paradox: organizational adoption doubled from 33% in 2023 to 71% in 2025, yet 95% of documented enterprise initiatives fail to deliver measurable returns. To guide the transition toward production-grade deployment, numerous LLMOps maturity frameworks have emerged from academia and industry, heterogeneous in terminology, structure, scope, and empirical validation. This work systematizes them through a Multivocal Literature Review conducted following Garousi's guidelines and the PRISMA 2020 standard over the 2022-March 2026 period; the final corpus comprises 34 sources, 12 academic and 22 from grey literature. Drawing on a purpose-built coding matrix over production domains and operational topics, the findings show strong convergence on continuous evaluation and monitoring (97% of the corpus) and marked divergence in multi-model orchestration (71% nominal versus 9% substantive coverage). The analysis further identifies that agentic operations develop outside the Capability Maturity Model tradition, that 62% of the corpus lacks empirical validation, and that, within the reviewed corpus, academic literature prioritizes technical dimensions while industry emphasizes organizational ones. The study contributes a comparative catalogue of existing frameworks and four thematic gaps that frame a future research agenda —multi-model orchestration, operational safety, actionable evaluation tooling, and AgentOps-LLMOps integration— plus a fifth, cross-cutting gap: the lack of empirical validation of the maturity models themselves Fil: Nuñez Peña Alonzo, Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Escuela de Posgrado, Argentina. Peer Reviewed |
| description |
La incorporación de modelos de lenguaje de gran escala en sistemas productivos atraviesa una paradoja de madurez: la adopción organizacional se duplicó del 33% en 2023 al 71% en 2025, pero el 95% de las iniciativas empresariales documentadas no alcanza retornos medibles. Para guiar la transición hacia el despliegue productivo han proliferado frameworks de madurez LLMOps académicos y de industria, heterogéneos en terminología, estructura, alcance y validación empírica. Este trabajo los sistematiza mediante una Revisión Multivocal de la Literatura, conducida según las directrices de Garousi y el estándar PRISMA 2020 sobre el período 2022-marzo 2026; el corpus final integra 34 fuentes, 12 académicas y 22 de literatura gris. A partir de una matriz de codificación propia sobre dominios y tópicos operacionales de producción, los resultados muestran una convergencia alta en evaluación y monitoreo continuo (97% del corpus) y divergencias marcadas en la orquestación multi-modelo (71% de cobertura nominal frente a 9% sustantivo). Se identifica además que las operaciones agénticas se desarrollan fuera de la tradición del Capability Maturity Model, que el 62% del corpus carece de validación empírica y que, en el corpus analizado, la academia prioriza dimensiones técnicas mientras la industria privilegia las organizacionales. Como aporte, el trabajo entrega un catálogo comparativo de los frameworks y la identificación de cuatro brechas temáticas que orientan la investigación futura —orquestación multi-modelo, safety operacional, herramientas de evaluación accionables e integración entre AgentOps y LLMOps— y una quinta brecha transversal: la ausencia de validación empírica de los propios modelos de madurez. |
| publishDate |
2026 |
| dc.date.none.fl_str_mv |
2026-08-25T18:52:17Z 2026-08-20 |
| dc.type.none.fl_str_mv |
info:eu-repo/semantics/workingPaper info:eu-repo/semantics/acceptedVersion http://purl.org/coar/resource_type/c_8042 info:ar-repo/semantics/documentoDeTrabajo |
| format |
workingPaper |
| status_str |
acceptedVersion |
| dc.identifier.none.fl_str_mv |
https://hdl.handle.net/20.500.12272/15433 |
| url |
https://hdl.handle.net/20.500.12272/15433 |
| dc.language.none.fl_str_mv |
spa |
| language |
spa |
| dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess Facultad Regional Buenos Aires CC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadas |
| eu_rights_str_mv |
openAccess |
| rights_invalid_str_mv |
Facultad Regional Buenos Aires CC BY-NC-ND (Autoría – No Comercial - No derivadas) Se autoriza únicamente la reproducción y distribución del material siempre que se reconozca la autoría del autor o autora. No permite el uso comercial ni permite la creación de obras derivadas |
| dc.format.none.fl_str_mv |
plain application/pdf |
| dc.publisher.none.fl_str_mv |
Escuela de Posgrado |
| publisher.none.fl_str_mv |
Escuela de Posgrado |
| dc.source.none.fl_str_mv |
reponame:Repositorio Institucional Abierto (UTN) instname:Universidad Tecnológica Nacional |
| reponame_str |
Repositorio Institucional Abierto (UTN) |
| collection |
Repositorio Institucional Abierto (UTN) |
| instname_str |
Universidad Tecnológica Nacional |
| repository.name.fl_str_mv |
Repositorio Institucional Abierto (UTN) - Universidad Tecnológica Nacional |
| repository.mail.fl_str_mv |
gestionria@rec.utn.edu.ar; fsuarez@rec.utn.edu.ar |
| _version_ |
1880396324061315072 |
| score |
13.334379 |