Identifying key success factors in stopping flaky tests in automated REST service testing

Autores
Mascheroni, Maximiliano Agustín; Irrazábal, Emanuel
Año de publicación
2018
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional del Nordeste. Facultad de Ciencias Exactas y Naturales y Agrimensura; Argentina.
Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional de la Plata. Facultad de Informática; Argentina.
Fil: Irrazábal, Emanuel. Universidad Nacional de la Plata. Facultad de Informática; Argentina.
A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.
Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.
Fuente
Journal of Computer Science and Technology, 2018, vol. 18, no. 2, p. 143-152.
Materia
Flaky tests
Continuous integration
Continuous deployment
Continuous delivery
Web service testing
Pruebas no determinísticas
Integración continua
Despliegue continuo
Entrega continua
Pruebas de servicios web
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc-nd/2.5/ar/
Repositorio
Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)
Institución
Universidad Nacional del Nordeste
OAI Identificador
oai:repositorio.unne.edu.ar:123456789/61752

id RIUNNE_0a2601791c864f692c47d660e2142df1
oai_identifier_str oai:repositorio.unne.edu.ar:123456789/61752
network_acronym_str RIUNNE
repository_id_str 4871
network_name_str Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)
spelling Identifying key success factors in stopping flaky tests in automated REST service testingIdentificación de factores clave de éxito para evitar las pruebas automatizadas no determinísticas en servicios RESTMascheroni, Maximiliano AgustínIrrazábal, EmanuelFlaky testsContinuous integrationContinuous deploymentContinuous deliveryWeb service testingPruebas no determinísticasIntegración continuaDespliegue continuoEntrega continuaPruebas de servicios webFil: Mascheroni, Maximiliano Agustín. Universidad Nacional del Nordeste. Facultad de Ciencias Exactas y Naturales y Agrimensura; Argentina.Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional de la Plata. Facultad de Informática; Argentina.Fil: Irrazábal, Emanuel. Universidad Nacional de la Plata. Facultad de Informática; Argentina.A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.Universidad Nacional de La Plata. Facultad de Informática2018info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfp. 143-152application/pdfMascheroni, Maximiliano Agustín y Irrazábal, Emanuel, 2018. Identifying key success factors in stopping flaky tests in automated REST service testing. Journal of Computer Science and Technology. Universidad Nacional de La Plata. Facultad de Informática, 2018, vol. 18, no. 2, p. 143-152. E-ISSN 1666-6038. DOI 10.24215/16666038.18.e16.1666-6046https://repositorio.unne.edu.ar/handle/123456789/61752Journal of Computer Science and Technology, 2018, vol. 18, no. 2, p. 143-152.reponame:Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)instname:Universidad Nacional del Nordesteeng10.24215/16666038.18.e16info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-nd/2.5/ar/Atribución-NoComercial-SinDerivadas 2.5 Argentina2026-11-05T12:30:38Zoai:repositorio.unne.edu.ar:123456789/61752instacron:UNNEInstitucionalhttp://repositorio.unne.edu.ar/Universidad públicaNo correspondehttp://repositorio.unne.edu.ar/oaiososa@bib.unne.edu.ar;sergio.alegria@unne.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:48712026-11-05 12:30:38.653Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE) - Universidad Nacional del Nordestefalse
dc.title.none.fl_str_mv Identifying key success factors in stopping flaky tests in automated REST service testing
Identificación de factores clave de éxito para evitar las pruebas automatizadas no determinísticas en servicios REST
title Identifying key success factors in stopping flaky tests in automated REST service testing
spellingShingle Identifying key success factors in stopping flaky tests in automated REST service testing
Mascheroni, Maximiliano Agustín
Flaky tests
Continuous integration
Continuous deployment
Continuous delivery
Web service testing
Pruebas no determinísticas
Integración continua
Despliegue continuo
Entrega continua
Pruebas de servicios web
title_short Identifying key success factors in stopping flaky tests in automated REST service testing
title_full Identifying key success factors in stopping flaky tests in automated REST service testing
title_fullStr Identifying key success factors in stopping flaky tests in automated REST service testing
title_full_unstemmed Identifying key success factors in stopping flaky tests in automated REST service testing
title_sort Identifying key success factors in stopping flaky tests in automated REST service testing
dc.creator.none.fl_str_mv Mascheroni, Maximiliano Agustín
Irrazábal, Emanuel
author Mascheroni, Maximiliano Agustín
author_facet Mascheroni, Maximiliano Agustín
Irrazábal, Emanuel
author_role author
author2 Irrazábal, Emanuel
author2_role author
dc.subject.none.fl_str_mv Flaky tests
Continuous integration
Continuous deployment
Continuous delivery
Web service testing
Pruebas no determinísticas
Integración continua
Despliegue continuo
Entrega continua
Pruebas de servicios web
topic Flaky tests
Continuous integration
Continuous deployment
Continuous delivery
Web service testing
Pruebas no determinísticas
Integración continua
Despliegue continuo
Entrega continua
Pruebas de servicios web
dc.description.none.fl_txt_mv Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional del Nordeste. Facultad de Ciencias Exactas y Naturales y Agrimensura; Argentina.
Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional de la Plata. Facultad de Informática; Argentina.
Fil: Irrazábal, Emanuel. Universidad Nacional de la Plata. Facultad de Informática; Argentina.
A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.
Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.
description Fil: Mascheroni, Maximiliano Agustín. Universidad Nacional del Nordeste. Facultad de Ciencias Exactas y Naturales y Agrimensura; Argentina.
publishDate 2018
dc.date.none.fl_str_mv 2018
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv Mascheroni, Maximiliano Agustín y Irrazábal, Emanuel, 2018. Identifying key success factors in stopping flaky tests in automated REST service testing. Journal of Computer Science and Technology. Universidad Nacional de La Plata. Facultad de Informática, 2018, vol. 18, no. 2, p. 143-152. E-ISSN 1666-6038. DOI 10.24215/16666038.18.e16.
1666-6046
https://repositorio.unne.edu.ar/handle/123456789/61752
identifier_str_mv Mascheroni, Maximiliano Agustín y Irrazábal, Emanuel, 2018. Identifying key success factors in stopping flaky tests in automated REST service testing. Journal of Computer Science and Technology. Universidad Nacional de La Plata. Facultad de Informática, 2018, vol. 18, no. 2, p. 143-152. E-ISSN 1666-6038. DOI 10.24215/16666038.18.e16.
1666-6046
url https://repositorio.unne.edu.ar/handle/123456789/61752
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 10.24215/16666038.18.e16
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc-nd/2.5/ar/
Atribución-NoComercial-SinDerivadas 2.5 Argentina
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/2.5/ar/
Atribución-NoComercial-SinDerivadas 2.5 Argentina
dc.format.none.fl_str_mv application/pdf
p. 143-152
application/pdf
dc.publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
dc.source.none.fl_str_mv Journal of Computer Science and Technology, 2018, vol. 18, no. 2, p. 143-152.
reponame:Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)
instname:Universidad Nacional del Nordeste
reponame_str Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)
collection Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE)
instname_str Universidad Nacional del Nordeste
repository.name.fl_str_mv Repositorio Institucional de la Universidad Nacional del Nordeste (UNNE) - Universidad Nacional del Nordeste
repository.mail.fl_str_mv ososa@bib.unne.edu.ar;sergio.alegria@unne.edu.ar
_version_ 1881034086811697152
score 13.334379