1. Introducción

Aunque en la literatura se discute acerca de la automatización de las pruebas, su definición todavía se concentra en la creación de un mecanismo para automatizar casos de prueba, lo que significa que se utiliza un software especial para ejecutarlos a través de secuencias de comandos preparados, en lugar de un probador. En términos generales, se asume que con la automatización las actividades de pruebas manuales tienden a ser sustituidas por actividades automatizadas [¹], lo que significa que no se requiere la participación humana para generar una prueba [²]. A diferencia de las pruebas manuales, en las que en todo el proceso se requiere que un probador que interactúe con cada caso de prueba para analizarlo y reportar los resultados. Por el contrario, la prueba automatizada consiste en utilizar un software especial para controlar la ejecución de las pruebas y la comparación de los resultados reales con los resultados esperados [³]. Hoffman [⁴] declara que las pruebas de software se consideran automatizadas cuando un mecanismo libre prueba el funcionamiento de los casos de prueba. En [⁵], también describen la automatización como la tarea de crear una representación mecánicamente interpretable de un caso de prueba manual. Para Sommerville [⁶] son casos de prueba que se ejecutan automáticamente para acelerar el proceso de prueba, y una de las razones por las que son importantes es que garantizan la fiabilidad del software, especialmente con las actualizaciones.

Por otro lado, diversos autores e investigadores recalcan la importancia de las pruebas del software. Una de las razones es que a través de ellas es posible detectar los defectos y reducir los riesgos asociados [⁷]. Además, el aseguramiento de la calidad es un factor crítico para el éxito del desarrollo de sistemas, es la clave para la satisfacción del cliente y tiene un impacto directo en el costo y el desarrollo del producto [⁸].

Cuando las pruebas se aplicas adecuadamente pueden garantizar que el software y los procesos en el ciclo de vida se ajustan a las necesidades específicas [⁹]. Pero tradicionalmente se conciben como una entidad separada que funciona independientemente del área de desarrollo, aunque las personas que las llevan a cabo son responsables de la definición del proceso y del seguimiento de los detalles de su ejecución [⁹]. Debido a su importancia y necesidad, debe ser un procedimiento involucrado en todas las fases del ciclo de vida [^10-12]. Por su parte, el proceso de automatización es crucial y aunque las pruebas parezcan rezagadas con respecto al ritmo de escritura del código y el número de líneas que cada programador desarrolla por día, la impresión es que permanece relativamente fijo [¹³], mientras los reprocesos se incrementan debido a la complejidad de los sistemas actuales.

El término pruebas manuales, al igual que automatizadas, significa algo más que la ejecución de casos de prueba, y la idea de que este proceso podría hacerse sin la intervención humana es una cuestión de amplio debate en la comunidad [³³]. Si bien es cierto que los sistemas complejos requieren más de la automatización, mucho software trivial y con interfaces sencillas se puede probar sin estas herramientas, porque el costo es un ítem que se debe tener en cuenta. Por eso es que en todo proyecto de desarrollo se debe tener la posibilidad de elegir entre unas u otras para garantizar la fiabilidad del producto. La automatización acelera el proceso de prueba y una de las razones por las que es importante es que asegura de mejor forma la fiabilidad del software, especialmente cuando se realizan actualizaciones [⁶]. Otra manera de lograrlo es utilizando pruebas redundantes, lo que disminuye los costos de mantenimiento y asegura la integridad del conjunto de pruebas [¹⁴].

Se ha demostrado que una vez que se escriben los casos de prueba es necesario actualizarlos cada vez que se realizan cambios en el software. Si este proceso no se ejecuta con cuidado, la integridad de las suites de prueba puede ser cuestionable. La investigación en este campo es activa y los resultados se difunden en trabajos de todo tipo, en los que se comparan técnicas, herramientas y prácticas de prueba. Para Antonia Bertolino [¹⁵] la prueba se ha convertido en una actividad esencial en la Ingeniería de Software, y propone una hoja de ruta que puede ser establecida a través de un conjunto de cuatro objetivos finales y alcanzables. Uno de ellos es la cantidad de pruebas que se debe o puede hacer, donde el factor humano es un recurso fundamental, por lo que la capacidad, el compromiso y la motivación de los probadores pueden hacer una gran diferencia entre el éxito o el fracaso del proceso. Las personas ejecutan pruebas manuales sin necesidad de utilizar ninguna herramienta automatizada o cualquier secuencia de comandos. El probador asume el papel de un usuario final y prueba el software para identificar cualquier comportamiento inesperado del programa.

En este trabajo se presentan los resultados de una investigación cuyo objetivo fue establecer el dinamismo con que se divulga acerca de la automatización de las pruebas. En primer lugar, la idea fue reforzar los conocimientos y la experiencia existentes mediante la identificación de los temas y conceptos investigados hasta el momento; en segundo lugar y con base en esos temas y conceptos, establecer una visión general de la experiencia existente sobre la automatización. Para lograrlo se identificaron y revisaron los reportes de experiencias y las publicaciones relacionadas, como producto de la primera fase del desarrollo del proyecto de investigación: Evaluación al estado del arte de la automatización de las pruebas del software, cuyo objetivo fue establecer el nivel, el alcance y la efectividad de las propuestas para automatizar las pruebas del software.

2. Trabajos relacionados

Dustin, Rashka y Paul [¹⁶] afirman que la popularidad de la automatización de las pruebas también se debe a la aplicación de desarrollo rápido de aplicaciones (RAD) y a su popularidad. Para cumplir la mayor cantidad de actividades relacionadas con las pruebas se deben utilizar herramientas automatizadas, porque a menudo las manuales son laboriosas y propensas a errores, y simplemente no pueden competir con la calidad de la prueba automatizada, especialmente cuando hay que tener en cuenta el cronograma del proyecto. Estos autores no tienen en cuenta el costo de la automatización, debido a que su trabajo se centra en productos generalmente pequeños, pero otro punto de vista sería analizarla para productos complejos y críticos, donde la calidad y fiabilidad es el objetivo central.

El tema del trabajo de Antonia Bertolino [¹⁵] es la automatización de las pruebas del software, vista como un enfoque de validación extendido en la industria pero que sigue siendo en gran medida ad hoc, costoso y con una eficacia impredecible. De hecho, es un término amplio que abarca una variedad de actividades a lo largo del ciclo de vida y más allá y que tiene diferentes objetivos. Por lo tanto, cualquier investigación relacionada con la automatización de las pruebas se enfrenta a una serie de desafíos. La autora propone un plan de trabajo coherente para afrontar los más relevantes, y su punto de partida lo constituyen algunos logros importantes del pasado sustentados en los cuatro objetivos que identifica, pero que siguen siendo sueños inalcanzables.

De acuerdo con Petr Bavin [¹⁷], para automatizar las pruebas existen herramientas eficientes y efectivas, pero debido a que su valor es alto tienen que ayudar a realizar actividades de prueba más rápidas y eficaces que las manuales. Entre sus beneficios se encuentra que la información sobre los errores encontrados se puede reutilizar y que la búsqueda puede comenzar mucho antes en el ciclo de vida. Esto es importante porque en el desarrollo de productos software hay que tener en cuenta el tiempo y los aspectos de presupuesto, y el uso de estas herramientas ayuda a acelerar el proceso. El autor no hace una comparación a la efectividad de esas herramientas y se limita a describir la valoración subjetiva que algunos autores publican.

Whyte y Mulder [¹⁸] proponen que las pruebas de software son uno de los principales métodos utilizados en la validación y verificación de la producción y desarrollo de software en la industria. La mayoría las ve como un método clave para la consecución de la calidad y la fiabilidad del software y la satisfacción del cliente. Sin embargo, es un proceso costoso que representa alrededor del 50% del valor de desarrollo de sistemas. Debido a que en los últimos años esta disciplina ha estado bajo presión para cumplir con el tiempo, el costo y las limitaciones del producto, es fundamental identificar y aplicar herramientas que reduzcan el impacto negativo de la prueba y que incrementen su eficacia. Las principales conclusiones de este estudio es que no hay un enfoque individual que produzca resultados satisfactorios, pero una combinación de dos o más tipos de pruebas automatizadas podría incrementar la eficacia y mitigar los efectos de sus limitaciones.

Para Dudekula Rafi y sus compañeros [¹⁹] existe una brecha documentada entre los puntos de vista académicos y profesionales acerca de las pruebas del software. En su trabajo tratan de cerrarla mediante una investigación a ambos puntos de vista con respecto a los beneficios y las limitaciones de la automatización. Estudian la visión académica mediante una revisión sistemática de la literatura y la profesional la evalúan con una encuesta. En la academia la evidencia publicada es poco profunda y que los beneficios se sustentan a partir de fuentes como experimentos y estudios de casos, mientras que las limitaciones lo hacen a partir de reportes de experiencias. Los beneficios de la automatización para los profesionales están relacionados con la reusabilidad, la repetitividad, la cobertura y el esfuerzo ahorrado. Las limitaciones son la alta inversión inicial en su configuración, la selección de las herramientas y la capacitación del personal.

Majikes, Pandita y Xie [²⁰] opinan que los dispositivos médicos controlados por software evolucionan desde monolíticos a sistemas médicos modulares cyber-físicos, y que en ellos el software es un componente crítico, se añade mayor complejidad y se incrementa la probabilidad de fallos en los mismos.

En este caso, las pruebas automatizadas se han utilizado como un medio para asegurar la calidad del software, lo que es conveniente para este tipo de sistemas. En su trabajo, presentan una revisión a las técnicas de pruebas automatizadas existentes que exponen fallos en estos dispositivos.

En particular, categorizan las fallas y luego aplican el método de revisión sistemática de la literatura para comparar los estudios existentes contra su categorización. Los autores sugieren mejoras que pueden ayudar a futuros estudios de investigación acerca la automatización de las pruebas para dispositivos médicos complejos.

Para comprender mejor los retos que enfrentan los usuarios y los desarrolladores de pruebas automatizadas, Wiklund, Sundmark, Eldh y Lundqvist [²¹] realizaron una investigación empírica sobre un panel de discusión que soporta un framework de automatización de pruebas, y que tiene cientos de usuarios. Encontraron que gran parte de los problemas y solicitudes de ayuda se relacionan con ambientes TI centralizados y con el comportamiento erróneo en el uso del framework y sus componentes.

En cuanto a las solicitudes de ayuda, la mayoría se refiere al diseño de scripts de prueba y no a las áreas que parecen ser más problemáticas. A partir de estos resultados observaron una clara necesidad de simplificar el uso, la instalación y la configuración de la prueba automatizada. Encontraron que los problemas detectados sugieren que los probadores necesitan desarrollar habilidades diferentes, lo que históricamente se ha asumido como cubierto.

Por último, proponen nuevas investigaciones acerca de los beneficios de la automatización y de su implementación y uso eficiente en entornos TI.

El propósito del estudio de caso presentado por Dayu Guan [²²] es entender el punto de vista de las organizaciones que utilizan pruebas automatizadas, y cómo lo relacionan en la literatura. Este autor describe y analiza los factores clave para tener en cuenta al configurar una prueba automatizada, además de los riesgos que implica. Encontró que la cognición de estas pruebas no se limita solamente a conocer su definición y los beneficios que pueden ser introducidos en la organización, sino que también tienen que centrarse en el ámbito de su aplicación y las condiciones previas. Determinó que es necesario gestionar consideraciones clave, tales como la resistencia de las personas, el proceso de trabajo y entrenamiento y algunas otras.

3. Metodología

Una revisión de la literatura se realiza con el fin de establecer una comprensión del estado de la investigación sobre un área específica. El objetivo es identificar los temas que se han abordado y sistematizar los resultados relacionados. Existen diversas propuestas de clasificación para estas revisiones, pero el tipo que se aplicó en esta investigación es una revisión integradora [²³]. De acuerdo con esta propuesta, el proceso consiste en identificar las publicaciones de relevancia, evaluarlas y seleccionarlas para su revisión y sistematización, de tal manera que se puedan identificar y estructurar los conceptos centrales comunes. Por lo tanto, una revisión integradora desarrolla una visión general de la investigación existente, que inicialmente no está relacionada y que servirá de base para futuras investigaciones. Desde este punto de vista se realizan tres actividades: 1) identificar la literatura potencialmente relevante, 2) evaluar la pertinencia y calidad de la literatura seleccionada para el análisis y la síntesis, y 3) analizar y sintetizar la literatura seleccionada.

De esta forma se presenta una visión general del estado actual de la investigación en la automatización de las pruebas, en la que se muestran los temas y conceptos que se han abordado hasta el momento y un resumen de esa experiencia. Aunque en principio es conocimiento útil, es necesario verificarlo y ampliarlo con estudios empíricos. También se identificaron temas y conceptos que poco se han investigado hasta ahora, pero que deben ser incluidos en futuras investigaciones. Esta consideración se basa en parte en lo que describen algunos de los trabajos y en las conversaciones con profesionales en el área. El análisis de la literatura seleccionada se realizó mediante comparación constante, donde los conceptos y temas centrales emergen a través de análisis repetidos de la literatura revisada. Parte de la literatura incluida en la revisión no se pudo clasificar como estudios empíricos rigurosos, sin embargo, dado que la automatización de las pruebas es una práctica en ascenso, también se incluyeron los artículos no-empíricos en los que se valoró la importancia de lo que reportan acerca de la situación actual del tema.

4. Resultados

Como la automatización de las pruebas del software gana popularidad, el cuerpo de la literatura sobre el tema ha ido creciendo de forma constante en los últimos años. Los resultados de esta investigación se estructuran de acuerdo con los tópicos identificados más destacados y relevantes. Esto no quiere decir que la lista de temas que se presenta aquí sea el conjunto final de lo más importante en automatización de las pruebas del software, simplemente refleja los tópicos más investigados y discutidos en la muestra de la literatura revisada. Se encontró que algunos autores le proporcionan a los ingenieros de pruebas una base teórica y práctica para una implementación exitosa de la automatización [^24-27]; otros, con amplia experiencia profesional en la industria, los ayudan en la decisión de automatizar las pruebas, a navegar a través de una gran cantidad de herramientas para seleccionar las que mejor se ajusten y les dan consejos sobre la construcción de procesos de pruebas sólidos y documentados [²⁶]; también ofrecen orientación sobre planificación, diseño, desarrollo, ejecución y evaluación de las pruebas [^24,27].

Existen algunas razones para la automatización y las organizaciones que la aplican piensan en cuestiones tales como mejorar tiempos de entrega y mantener pruebas repetibles [¹⁹], ahorrar recursos [²⁸], o gestionarlas en menos tiempo [²⁹]. Si se implemente bien, la automatización puede ser un medio eficaz para reducir el esfuerzo en el desarrollo, porque se pueden eliminar o minimizar tareas repetitivas y reducir el riesgo de introducir errores humanos [³⁰]. Las pruebas automatizadas pueden ser consideradas como una piedra angular en el proceso de desarrollo de software, donde su uso está aumentando rápidamente debido a la introducción de métodos como el desarrollo basado en pruebas [³¹] y la integración continua [³²].

Las pruebas automatizadas son dependientes de una herramienta, ya sea para el flujo de prueba del entorno de configuración, la ejecución de la prueba o el análisis de resultados para su desmontaje, por esto es necesario extraer el máximo beneficios de ellas [^33,34]. En consecuencia, la complejidad y el tamaño total de la prueba comúnmente son del orden de, o mayores que, la complejidad y el tamaño del producto bajo prueba [³⁵]. Si esta complejidad no se administra adecuadamente puede generar contratiempos costosos para la automatización e inclusive llevar a su abandono [³⁶]. El propósito de realizar medición a la automatización es permitir que el probador desarrolle sus habilidades para llevar a cabo esta tarea o ejecutarla de manera más eficiente que si se hiciera manual, y si esto falla entonces la automatización no tiene valor [¹⁹].

Los problemas que se solucionan con software son cada vez más complejos, por lo que la automatización juega un papel importante cuando se presentan cambios o mejoras y para entregar un producto con alta calidad y a tiempo [³⁷]. En esa entrega hay tres aspectos clave: la velocidad, la calidad y la incertidumbre, que prácticamente son el mantra de la Era de la Información [³⁸]. Esto implica que la velocidad de las nuevas funcionalidades decidirá el grado de satisfacción de los clientes, así como de mantenerlos y de atraer nuevos [²⁵]. Además, en términos de desarrollo de software tradicionalmente la prueba se considera como el último paso antes de ir a producción, y a menudo el tiempo que se deja para hacerla no es suficiente, especialmente si se ejecuta manualmente [³⁹]. Como resultado, la liberación del producto puede verse afectada [⁴⁰]. El aumento de la complejidad de los sistemas de hoy significa que hay un número potencialmente indefinido de combinaciones de datos de entrada que dan lugar a salidas diferentes, y a menudo muchas de esas combinaciones no son cubiertas por las pruebas manuales [⁴¹].

Los beneficios de la automatización están soportados por las evidencias de los trabajos analizados, pero en comparación con los experimentos y los estudios de casos, aparecen solamente unos pocos informes de experiencias reportadas [^25,36,42]. Los beneficios más documentados son:

Por su parte, Fewster y Graham [²⁵] afirman que uno de los beneficios más importantes de la automatización es que se puede ejecutar y repetir muchos casos de prueba, facilita el uso de herramientas de cobertura e incrementa significativamente el refinamiento iterativo de los casos a aplicar. Además, ayuda a crear mejores casos de prueba, con una calidad definida y con menos esfuerzo [³⁶]. Otros autores vinculan los beneficios en diversos sentidos, como que al utilizar herramientas especiales se puede reducir el esfuerzo y los costos relacionados con la prueba [⁵¹], u opinan que la prueba exhaustiva es imposible por lo que alcanzar una alta cobertura sigue siendo una expectativa, y con la automatización se logra avanzar en su consecución [¹⁹]. La automatización puede reducir el costo del fracaso, al permitir una mayor cobertura para que los errores sean descubiertos antes que tengan la oportunidad de causar un daño real en el producto [³⁸].

A diferencia de los beneficios, las limitaciones de la automatización se basan principalmente en informes de experiencias y en unos cuantos estudios empíricos [^30,57]. Algunas limitaciones reportadas son:

Automatizar las pruebas puede generar muchos beneficios, pero puede que no sea fácil de implementar porque hay que considerar la realización de cambios en los procesos de la estructura de la organización [⁶⁰]. La iniciativa puede parecer solamente un cambio de lo manual a lo automático, sin embargo, idealmente debe ser considerada en términos de todos los factores posibles que pueden verse afectados por los cambios, tales como las personas, la tecnología y los procesos [¹³].

Desde la perspectiva de las personas, hay que centrarse en cómo hacer que los usuarios acepten los cambios en lugar de forzarlos a implementarlos, porque la adopción de una nueva tecnología no es una tarea fácil y es un proceso de la cognición del usuario que requiere consume mucho tiempo [¹³]. En este sentido, los investigadores han estudiado por largo tiempo cómo y por qué las personas adoptan nuevas tecnologías, y se han conformado varias corrientes [⁹]. Algunas se centran en la aceptación individual mediante la intención de uso o el uso en sí como una variable dependiente [⁶¹]. Desde esta perspectiva, hay que pensar en las limitaciones hacia el uso de la automatización, y la mayoría de organizaciones tienen su propio sistema interno que se ha vuelto cada vez más complejo después de años de acumulación [¹³].

Otra cuestión que se analiza en los trabajos es si la automatización puede sustituir la prueba manual. Uno de los puntos de vista propone que eso no es posible, porque las pruebas manuales detectan más nuevos defectos que las automatizadas [³⁶]. Otro opina que entre el 60% y el 80% de los errores encontrados durante un esfuerzo de prueba automatizada ya se han logrado manualmente, y que a menos que desde el principio se creen y ejecuten nuevos casos de prueba en la herramienta, la mayoría de los errores se encuentran manualmente [⁶²]. Estos dos puntos de vista probablemente impliquen que la automatización puede ser utilizada como una especie de herramienta suplementaria, pero no un reemplazo completo de la prueba manual.

Mientras que estos autores visualizan a la automatización como una herramienta complementaria, otros se preocupan en cómo encajarla en un proceso en curso. Esto exige que el proceso aplicado debe ser lo suficientemente maduro, porque si es deficiente la automatización no ayudará [⁴⁰]. La automatización necesita tiempo para madurar, lo mismo que para crear la infraestructura necesaria, por lo tanto, la madurez de la automatización (y otros conexos) requiere tiempo [¹⁹]. Otros autores afirman que para la automatización se necesitan personas con habilidades adecuadas, porque implementarla no significa que los probadores van a sobrar, y si no tienen las habilidades requeridas se les debe proporcionar formación [¹⁵]. Fecko y Lott [⁴²] proponen algunos retos para la automatización de las pruebas. Uno de ellos indica que hay que enseñarles a los probadores cómo escribir y ejecutar pruebas automatizadas como parte regular de sus responsabilidades.

Dascal y Dror [⁶³] afirman que los avances tecnológicos, como el software, han sido una parte integral del desarrollo humano a lo largo de la historia, y que los grandes avances de las últimas décadas han hecho que muchos penetren rápidamente en la vida cotidiana. Por lo que las pruebas automatizadas se han aplicado en algunos durante años, sin embargo, todavía son un concepto nuevo para la mayoría de las organizaciones [⁷]. Como una nueva tecnología, la comprensión de la automatización es importante porque es un paso indispensable para su adopción, y algunas estimaciones indican que, desde la década de 1980, alrededor del 50% de las nuevas inversiones en las organizaciones ha sido en IT [⁶¹].

Aun así, para que esas tecnologías mejoren la productividad, primero deben ser comprendidas, aceptadas y utilizadas, un proceso lento en el caso de la automatización [⁶¹]. Aparte de los puntos relativos al rendimiento y la calidad del trabajo, también se hace hincapié en que para la aceptación de la automatización es necesario disfrutarla [⁶⁴], porque los empleados con poco interés pueden conducir a una menor productividad y pueden entorpecer su adopción [⁶⁵].

Para Antonia Bertolino [¹⁵] la automatización es una forma de mantener la calidad del análisis y las pruebas, en línea con la cada vez mayor cantidad y complejidad del software. De acuerdo con esta autora, la investigación actual en Ingeniería de Software enfatiza en la automatización de la producción de software, con una generación de herramientas de desarrollo más complejas que producen mayor cantidad de código con menos esfuerzo. Pero la otra cara de la moneda es el peligro de que los métodos para evaluar la calidad de esa cantidad de software, los métodos de prueba en particular, no puedan mantener ese ritmo de construcción, por lo que Berner, Weber y Keller [³⁶] afirman que la investigación actual debe tener por objeto mejorar lo más posible el grado de la automatización, ya sea mediante el desarrollo de técnicas avanzadas para generar pruebas, o mediante la búsqueda de procedimientos de soporte innovadores para automatizar el proceso.

El sueño con la automatización es que pueda desarrollar por sí misma un entorno de prueba integrado, y que como una pieza de software se complete, se despliegue y se encargue automáticamente de reparar y generar o recuperar el código defectuoso, produciendo casos de prueba adecuados, ejecutarlos y finalmente emitir un informe de resultados [⁶⁶]. Esta idea, aunque quimérica, ha atraído a algunos investigadores [^67,68] con el objetivo precisamente de ejecutar pruebas automáticas al mismo tiempo que el desarrollador programa. Otros trabajan en la noción de la agitación del software [⁶⁹], una técnica de pruebas unitarias automáticas apoyada en la herramienta comercial Agitator, que combina diferentes análisis, tales como la ejecución simbólica y la resolución de restricciones, y que genera entradas aleatorias de datos con el apoyo del sistema Daikon [⁷⁰].

Por su parte, Dustin y Garrett [²⁷] presentan un debate constructivo sobre qué casos de prueba deben ser automatizados y sobre directrices para evaluar el rendimiento de la inversión, un tema que también tratan Mosley y Posey [²⁶]. Además, argumentan en contra de la idea de un ciclo de vida de las pruebas del software y afirman que el resultado de la automatización depende de la calidad de los procesos ya existentes en la organización.

Dustin, Rashka y Paul [²⁴] introducen una metodología estructurada orientada a asegurar la implementación exitosa de las pruebas automatizadas, y promueven que debe ser una preparación deliberada y bien razonada, incluyendo estudios en profundidad de los requisitos de prueba y estableciendo expectativas realistas y una planificación estructurada.

5. Análisis de resultados

De acuerdo con muchos de los autores analizados en esta investigación, la automatización de las pruebas es una de las herramientas más eficaces para reducir los costos y el tiempo de un plan de pruebas. Desde cuando aparecieron las primeras herramientas a mediados de 1980, el proceso se implementó en diferentes tipos de pruebas y en poco tiempo se convirtió en centro de atención, tanto por sus ventajas como por los problemas que puede causar, desde el aumento de los costos de producción hasta la disminución de la fiabilidad e incluso el fracaso de los proyectos.

Sin embargo, su popularidad se ha incrementado constantemente debido esas ventajas involucradas: reduce la participación de los probadores, lo que significa una disminución en los errores humanos; disminuye el tiempo de las pruebas y por lo tanto el costo del producto final; y la comprobación automática es unas 25 veces más rápida que la manual, por lo que los errores se descubren más rápido y se atienden igualmente.

Por otra parte, la mayoría de personas se imagina al proceso de prueba como una secuencia de acciones, y de hecho se puede describir como una secuencia de interacciones intercaladas con evaluaciones. El asunto es que las interacciones se pueden predecir, pero la mayoría son mal especificadas, complejas y ambiguas. Sin embargo, los enfoques para conceptualizar una secuencia general de acciones de prueba pueden ser útiles si el objetivo principal es reducir la prueba a un conjunto de acciones rutinarias. Pero incluso en esta situación el resultado puede ser superficial y limitado.

Por otra parte, la prueba manual tiene la propiedad de adaptarse, lo que significa que puede cambiar fácilmente de acuerdo con las circunstancias de cada contexto. Por lo tanto, las personas no requieren una estricta secuencia de acciones para revelar muchos defectos y para distinguir anomalías inofensivas, lo que constituye en una gran ventaja comparada con la automatización. Es decir, la automatización es la mejor opción para un reducido espectro de pruebas. Otros afirman que un error común es creer que probar significa repetir las mismas acciones una y otra vez. Aunque la realidad es que, si en la primera ejecución del caso de prueba no se determina ningún error, los existentes solamente podrán revelarse mediante otras ejecuciones, pero en otro contexto del plan de pruebas. En este sentido, las pruebas manuales tienen una amplia variedad de casos de prueba y proporcionan una buena tasa de éxito en la detección de errores nuevos y viejos. Por lo tanto, los casos de prueba ejecutados tendrán buenos resultados solamente si son variados.

En contra de muchas opiniones generalizadas, no todas las acciones de prueba se pueden automatizar. Algunas tareas son muy fáciles para los seres humanos, pero al mismo tiempo también lo son para los computadores. Por eso es que la parte más difícil de la automatización es la interpretación de los resultados de la prueba y, además, porque el desarrollo de software es innovador, lo que significa que tiene un alto grado de incertidumbre que agrava el problema de la automatización. Asimismo, un proyecto software se desarrolla utilizando un proceso incremental que involucra diferentes tipos de componentes, incluso en las últimas fases del siclo de vida, lo que tampoco colabora con la automatización.

Por lo tanto, las pruebas automatizadas se pueden transformar fácilmente en un proceso lento, costoso e ineficaz, y esto contradice las opiniones de que una prueba automatizada es más rápida porque no necesita intervención humana. Esta expresión es incorrecta, no solamente porque el proceso puede ser más lento, sino que siempre requiere intervención humana. Porque el proceso de analizar los resultados y corregir los errores lo deben llevar a cabo personas. De la misma forma que es imposible imaginar una prueba sin contratiempos, igualmente es imposible imaginar la automatización sin intervención humana.

Una corriente analizada afirma que la automatización reduce los errores humanos y por eso es la decisión perfecta para implementar una larga lista de acciones seculares que son difíciles para las personas. Esto es que alienta a la mayoría de directores de IT cuando cuantifican los costos y los beneficios de las pruebas automatizadas al compararlas con las manuales, después de implementar la nueva estrategia. Por desgracia, estos procesos son muy diferentes y cada tipo de prueba tiene diferentes conceptos y dinámicas que se estructuran para determinar diferentes tipos de errores.

Por lo tanto, no tiene sentido una comparación directa en términos de costos por número de errores encontrados. Otra expectativa que despierta la automatización es el ahorro significativo de costos laborales. La realidad es que el valor de las pruebas automatizadas tiene varios componentes: desarrollo, operación, mantenimiento, cambios en los productos y de otras tareas necesarias y originadas por la automatización. Al compararlos con el valor total de las acciones de la prueba manual, no se reduce significativamente, porque no disminuye el trabajo de los probadores hasta el punto de que no se requieran.

El costo del trabajo de los probadores depende de muchos factores, incluyendo el de las herramientas utilizadas, su destreza, la calidad del conjunto de casos de prueba y muchos otros diferentes. Obviamente, escribir una sola prueba implica menos esfuerzo que de la de un sistema grande que incluye la elección de las herramientas, la coordinación de la automatización y otras acciones. Esto puede tomar meses de trabajo duro. Los costos de la automatización también incluyen los de las nuevas tareas especiales que requiere, por lo tanto, estas pruebas son una acción costosa que incluye cargos por la documentación de los casos de prueba, el proceso, el control y análisis de resultados, las modificaciones al código, la organización del proceso de desarrollo, y todos los que necesitan la participación de personas.

Para los autores que piensan de esta forma, la automatización no es una buena herramienta para reducir costos laborales. Varios investigadores opinan que una cuestión que no se toma muy en serio es la probabilidad de dañar el proyecto de pruebas con la automatización. Por desgracia, el diseño y la implementación de una automatización equivocada pueden causar un alto número de problemas. Por eso se requiere una comprensión plena de sus posibilidades de rendimiento antes de tomar la decisión de implementarla. Cuando no se hace esto, la automatización podría transformarse en una gran cantidad de código de prueba que los probadores no entienden completamente, porque no hay estrategias claras.

En consecuencia y como resultado del análisis a los resultados de esta investigación, se puede decir que en la literatura se encuentran opiniones y resultados diversos acerca de la automatización de las pruebas. En términos generales se pueden resumir en que:

6. Conclusiones

Debido a que las tácticas de la Ingeniería de Software se mueven hacia estándares más abiertos y se centran en la reducción del tiempo de desarrollo y en la creación de capacidades reutilizables, la necesidad de pruebas eficaces y exhaustivas se vuelve hoy más importante que nunca. Los artefactos de prueba ya no pueden ser usados solamente durante el desarrollo inicial y luego desechados. Construir software incremental de forma coordinada y con capacidades de prueba altamente reutilizables les permitirá a los desarrolladores reutilizar repetidamente casos de prueba y las herramientas. Las pruebas de software automatizadas utilizan herramientas para ejecutar el software, medir las respuestas y evaluar su exactitud sin intervención humana significativa.

Aunque se ha progresado bastante y la ciencia y la academia difunden resultados continuamente, de acuerdo con Serna, Martínez y Tamayo [⁷¹], y los resultados de esta investigación, la automatización de las pruebas se encuentra todavía en una etapa de experimentación. Esta investigación revela que presenta ventajas a la vez que limitaciones, y los autores difunden resultados especialmente de experiencias no comprobadas. Vale la pena notar que uno de los principales motivos para automatizar es ahorrar tiempo, porque la prueba se continúa ejecutando como una fase al final del ciclo de vida, cuando ya no se tiene tiempo suficiente para una prueba exhaustiva. Por otro lado, parece que para los clientes es apropiado exigir requisitos en forma de pruebas de aceptación automatizadas. Pero esto necesariamente no refleja la viabilidad de la automatización, solamente es una cuestión de cómo darle prioridad y satisfacer al cliente.

Si bien la automatización de las pruebas tiene un gran potencial para mejorar la eficiencia y la calidad de los productos software, no menos importante es el mantenimiento de este tipo de pruebas y los costos asociados. Esto hace que sea importante considerar cuidadosamente y por adelantado el potencial del beneficio versus el costo. En correspondencia con que una prueba no descubra errores puede ser engañosa, automatizar todo el plan de pruebas puede crear una falsa sensación de control del proceso. Porque parece ser que automatizar aumenta el nivel de confianza entre los desarrolladores, los probadores y el cliente. La base de experiencias limitada en la automatización encontrada en esta investigación demuestra que se han alcanzado algunos logros importantes. Sin embargo, todavía hay gran necesidad de investigar en esta práctica. En este artículo se han señalado algunos temas y conceptos sobre los que viene trabajando, pero los resultados no son muy alentadores para llegar a una automatización total en corto tiempo.

La demanda por el incremento de la funcionalidad del software, de un desarrollo rápido y de la disminución de los costos de producción, sin comprometer la calidad, no deja otra opción trabajar arduamente por automatizar totalmente las pruebas del software. Para algunos autores esta estrategia puede ser sorprendentemente eficaz y altamente beneficiosa para cualquier organización, pero, aunque el costo de configuración inicial puede ser alto, el rápido retorno de la inversión proyectado lo supera, y produce beneficios clave para incrementar la productividad, la disponibilidad, la fiabilidad y el rendimiento de cualquier empresa.

Las pruebas automatizadas son particularmente eficaces cuando la naturaleza del trabajo es repetitivo y rutinario, tales como las pruebas unitarias y las de regresión. Otros trabajos informan que usar las pruebas automatizadas les permitió probar grandes volúmenes de código, lo que habría sido imposible de otra manera. En todo caso, y dado que no hay uniformidad acerca de las ventajas de la automatización, se espera que en el futuro cumpla con lo prometido desde hace décadas.