nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La palabra metaanálisis, según Fau y Nabzo (2020), la empezó a emplear el psicólogo Glass en 1976 para referirse al análisis estadístico de resultados obtenidos en múltiples ensayos clínicos relacionados con un tema común, de modo que se pudieran validar de manera conjunta. De esa manera, en años posteriores, se utilizó tanto en psicología como en ciencias sociales, hasta que consiguió mayor popularidad a partir de 1980. Entre las razones para su uso se encuentra su función como herramienta de síntesis, ya que permite estimar relaciones cuantitativas entre variables, aumentar la precisión de estimaciones, proponer generalizaciones, evaluar la calidad de la metodología empleada, identificar áreas de oportunidad y aumentar la validez de los estudios individuales.
Sin embargo, se ha cuestionado su uso acrítico, ya que a veces se soslaya el rigor metodológico al ignorar limitaciones en la recopilación y evaluación de datos de las investigaciones originales. Esto es importante, como señalan Cañón-Montañez y Rodríguez-Acelas (2021), así como Page et al. (2021), ya que las revisiones sistemáticas (RS) y el metaanálisis, al fomentar metodologías de investigación rigurosas, generan nuevos conocimientos al consolidar hallazgos en los estudios analizados. En línea con esto, Manterola et al. (2023) explican que las RS proponen una búsqueda exhaustiva y completa de la evidencia disponible sobre un campo de estudio específico, lo que implica seguir un protocolo estandarizado para optimizar la búsqueda de literatura.
Con base en lo anterior, el presente estudio busca profundizar en aspectos formales del proceso de medición, que incluyen tanto las propiedades del instrumento como el procedimiento de gestión de datos. El objetivo de este análisis es evaluar la contribución de 30 artículos científicos utilizados en la elaboración del documento publicado. Según lo establecido por Villalobos-Antúnez et al. (2024), este procedimiento se sitúa en el paradigma positivista, ampliamente aceptado y aplicado. Específicamente, no se abordan las controversias inherentes a la cosmovisión que lo sustenta, sino las fortalezas de su metodología, que considera la validez interna como base del rigor científico. En tal sentido, se busca correlacionar variables para detectar relaciones generales entre los fenómenos observados, utilizando el método hipotético-deductivo y recurriendo a técnicas de recolección de información como cuestionarios y escalas codificadas para medir actitudes.
En concordancia con lo anterior, los instrumentos utilizados deben presentar características adecuadas de confiabilidad y validez que respalden la información recopilada (Fernández González et al., 2024). La consistencia en el proceso de medición se refiere a la confiabilidad, la cual aumenta conforme disminuye la variación en los valores de mediciones repetidas del instrumento, lo que permite evaluar el grado en que mide lo que se diseñó para medir. Uno de los estadísticos más utilizados para determinar dicha variable es el coeficiente de correlación alfa de Cronbach.
En cambio, la validez se refiere al grado en que el instrumento mide la variable objeto de medición, lo cual incluye tanto la validez de contenido, que informa sobre el grado en que los valores obtenidos son representativos del tema a medir, como la validez aparente, que se centra en el grado en que el instrumento evalúa la variable seleccionada (Del Real-García, 2023).
En concreto, el presente estudio se enfoca en el análisis de la evidencia seleccionada en torno a la siguiente pregunta de investigación: ¿qué resultados aporta el metaanálisis sobre la gestión de la información y la estructura de los artículos utilizados en una revisión sistemática sobre el tema de la cultura digital en el currículo de la escuela telesecundaria? Para proporcionar un marco de referencia al tratamiento estadístico se analizó el proceso de recopilación y sistematización de la documentación.
Además, la pregunta formulada fue sometida a prueba mediante la siguiente hipótesis general: existe una correlación entre el promedio de las calificaciones obtenidas por los artículos en revisión y el promedio de las calificaciones obtenidas por el artículo publicado.
Para apoyar el proceso de análisis estadístico se utilizaron matrices integradoras con el respaldo del programa Excel y se realizaron pruebas mediante el software IBM SPSS. Asimismo, se empleó como estadístico de referencia la prueba alfa de Cronbach, así como exámenes para determinar la normalidad de los datos y se prestó atención a estadísticos fundamentales como la prueba Rho de Spearman.
Metodología
Un paso fundamental para aprovechar la fortaleza del metaanálisis es la revisión del sistema de recopilación de información documental. Por eso, en la primera fase, se examinaron las estrategias de búsqueda y recolección de datos del documento objeto del presente estudio, cuyos registros se adhieren a una lista de verificación de 27 ítems que incluye 42 elementos para su verificación, específicamente los vinculados con las revisiones sistemáticas (RS) según la metodología Prisma 2020 (López-Rodríguez et al., 2023).
Para Ramos-Galarza y García-Cruz (2024), los antecedentes de las RS se encuentran en las revisiones narrativas que se basaban en fuentes documentales sobre un tema determinado. Estas revisiones carecían de un método riguroso para la recopilación y localización de la información. Sin embargo, con el avance de la cultura digital y el crecimiento exponencial de la información, se asume que las revisiones narrativas actuales deben incluir un proceso sistemático que describa el método seguido para la búsqueda de información y la localización de documentos.
A partir de estos criterios, el presente artículo de estudio posee características que lo definen como una RS, ya que sus hallazgos están relacionados con referencias bibliográficas disponibles en la web y se han sistematizado siguiendo un método riguroso. Según González y Balaguer (2021), un antecedente de la metodología empleada en el artículo de referencia se encuentra en la Declaración Prisma, que contribuye a la claridad del proceso de recopilación, sistematización e interpretación de datos, así como a la transparencia en la publicación de artículos científicos. Esta declaración incluye una extensión de 32 ítems, especialmente útiles para RS que emplean metaanálisis en red, pues incorpora conceptos y terminologías novedosas en el tratamiento de la evidencia científica.
Las revisiones posteriores de esta metodología consolidaron en 2020 una lista de verificación de 27 ítems relacionados con cada una de las secciones y temas de las publicaciones científicas, que concretan la revisión mediante la verificación de 42 elementos, usualmente respaldados por un diagrama de flujo documental e informes precisos.
En cuanto a la segunda fase, el análisis de datos, nos enfocamos en aspectos estadísticos propios del metaanálisis. Como establece Araujo-Inastrilla (2024), las pruebas estadísticas se utilizan para determinar la probabilidad de que los resultados obtenidos a partir de una muestra sean aplicables a la población de origen, por lo que recomiendan no complicar innecesariamente dicho proceso. Usualmente, en los análisis estadísticos, se definen los contrastes de normalidad entre los datos, cuyo propósito es mostrar en qué medida la distribución de los datos difiere tomando como referencia una distribución normal con media y desviación típica iguales. En este sentido, Riva et al. (2024) aseguran que mediante la medición es posible abordar tanto aspectos teóricos como prácticos, lo que permite establecer inferencias relacionadas con el potencial de los instrumentos, técnicas o metodologías.
Siguiendo este principio, el instrumento elaborado por Colin y referido por García-Castellanos (2016) permite, a través de un cuestionario de 13 criterios, la evaluación de artículos científicos utilizando la escala Likert. Para ello, el investigador asigna a cada uno de los cuestionamientos una calificación con un puntaje mínimo de 1 punto y un máximo de 4, con lo cual se obtiene una suma por artículo de 52. En el caso de esta revisión, el valor mínimo para ser aceptado en la fase final fue de 39 puntos, equivalente al 75 % del potencial por evaluar. La metodología precisa que las condiciones de inclusión y exclusión sean valoradas por dos investigadores para fortalecer la revisión. La calificación de cada artículo proporciona datos que, integrados en una matriz, pueden analizarse cuantitativamente mediante estadísticos descriptivos e inferenciales con el apoyo de gráficos, lo que permite efectuar la selección conforme a los requisitos establecidos e informar los motivos de descarte o aceptación.
En este metaanálisis se comprobó que, previo a la aplicación del cuestionario Colin, se generaron adecuaciones para contextualizar el instrumento a la temática de investigación conforme al modelo de 13 preguntas (en todos los casos referidos al estilo recomendado por el autor). Asimismo, se sustituyó la elección previa por cuartiles, de modo que se realizó una criba preliminar conforme a la calidad de publicación de las revistas de origen. Luego, cada uno de los 30 artículos se evaluó de manera independiente empleando la escala Likert. Igualmente, con el propósito de corroborar el riesgo de sesgo en la selección de artículos, se realizó un análisis factorial que permitió agrupar los datos en 8 dimensiones para su análisis, aunque cabe indicar que esta agrupación no forma parte de la propuesta original del cuestionario Colin.
Aunado a esto, se consideró apropiado aprovechar el potencial de la Escala para Evaluar Artículos Científicos en Ciencias Sociales y Humanas (EACSH), la cual, según López-López et al. (2019), puede servir como una guía en la redacción o para evaluar artículos científicos, especialmente en el contexto latinoamericano. Esta escala se caracteriza por estar orientada a estudios cuantitativos de tipo descriptivo y exploratorio en las ciencias sociales y humanas. El instrumento consta de 8 dimensiones y 21 descriptores que se evalúan mediante la escala Likert, donde el puntaje mínimo por ítem es 1 y el máximo es 5, con un potencial de 95 puntos. La escala de valoración establece 5 niveles, desde muy bajo hasta muy alto, conforme a rangos de 19 elementos. La confiabilidad de la EACSH se estableció en 0.937, de acuerdo con el coeficiente de correlación alfa de Cronbach. Al respecto, cabe señalar que recientemente Prieto (2021) utilizó esta escala para efectuar una revisión sistemática en educación.
Ahora bien, para profundizar en el análisis, se tomaron en consideración los aportes de Arias Gonzáles (2021), quien menciona que para la codificación del estudio se requiere desarrollar un protocolo que atienda a variables moderadoras. Por ende, se seleccionaron como referencias variables metodológicas relacionadas con la instrumentación en la recolección de datos y la publicación del artículo (tabla 1). Asimismo, se tuvieron en cuenta las recomendaciones del autor, quien define la operacionalización de variables como un proceso ordenado y específico de naturaleza cuantitativa, que va de lo general a lo particular, con el fin de evaluar variables mediante el análisis de dimensiones e indicadores.
Tabla 1 Operacionalización de variables
| Variables | V1. Artículos en revisión | V2. Artículo publicado |
|---|---|---|
| Definición conceptual | Publicaciones coherentes, claras, precisas, breves y ordenadas; sometidas a escrutinio conforme al potencial científico de elementos constitutivos. | Documento editorial con potencial científico; integra aportes para contestar una pregunta indagatoria conforme a criterios metodológicos, de publicación y estilo, consensuados por la comunidad académica. |
| Definición operacional | Aplicación de la EACSH a 30 artículos en revisión. | Aplicación de la EACSH a 1 artículo publicado en revista Eduweb en 2023. |
| Dimensiones | A. Portada y resumen | A. Portada y resumen |
| B. Introducción | B. Introducción | |
| C. Metodología | C. Metodología | |
| D. Resultados | D. Resultados | |
| E. Discusión | E. Discusión | |
| F. Referencias | F. Referencias | |
| G. Apéndices | G. Apéndices | |
| H. Estilo y formato | H. Estilo y formato | |
| Indicadores | 13 | 21 |
| Escala | Ordinal. Likert. Niveles: 1 = Muy bajo; 2 = Bajo; 3 = Medio; 4 = Medio alto y 5 = Muy alto. |
Ordinal. Likert. Niveles: 1 = Muy bajo; 2 = Bajo; 3 = Medio; 4 = Medio alto y 5 = Muy alto. |
Fuente: Elaboración propia con base en Arias González (2021)
La pregunta de investigación formulada fue la siguiente: ¿qué resultados aporta el metaanálisis sobre la gestión de la información y la estructura de los artículos utilizados en una revisión sistemática sobre el tema de la cultura digital en el currículum de la escuela telesecundaria?
La hipótesis general fue esta: existe una correlación entre el promedio de las calificaciones obtenidas por los artículos en revisión y el promedio de calificaciones obtenidas por el artículo publicado.
Ramírez y Polack (2020) destacan la importancia de reconocer que la metodología de investigación cuantitativa clasifica las pruebas estadísticas en paramétricas y no paramétricas, las cuales se distinguen por su fortaleza inherente. Las pruebas paramétricas, consideradas más robustas, requieren cumplir condiciones como seguir una distribución normal y homocedasticidad, que se refiere a la constancia del valor de la varianza del error entre variables, con un valor de p ≥ 0.05.
En cambio, las pruebas no paramétricas se utilizan en muestras pequeñas o cuando no se cumplen las condiciones para una distribución normal, y no requieren homocedasticidad. En cuanto a los sesgos, Conejero (2021) advierte que el sesgo de publicación, es decir, la decisión de publicar o no los datos recopilados en los estudios científicos, es un riesgo para la confiabilidad de cualquier metaanálisis. Esto se debe a la tendencia a publicar selectivamente descubrimientos significativos, lo que puede conducir a la exclusión de trabajos con hallazgos estadísticamente no significativos.
Resultados
Fase 1. Estrategias de búsqueda y recolección de datos
En la génesis de este metaanálisis, se describe el ensayo de la técnica de criba documental sucesiva de corte cualitativo como complemento al gráfico de flujo Prisma 2020. En la tabla 2 se resumen los momentos de trabajo, las acciones seguidas y los resultados obtenidos en esta fase.
Tabla 2 Resumen del empleo de la técnica criba documental sucesiva de corte cualitativo
| Etapa | Descripción | Resultados |
|---|---|---|
| Identificación | Búsqueda conforme a palabras clave y criterios de inclusión-exclusión. | Revisión general de 914 documentos, encontrados en 8 plataformas digitales. |
| Criba gruesa | Lectura de reconocimiento, criterios de inclusión exclusión, acopio digital. | 47 artículos seleccionados. Descartados 867. |
| Criba media | Lectura con énfasis en palabras clave, resumen y conclusiones. | Seleccionados 34. Suprimidos 13. |
| Agregados | Inclusión de artículos no considerados justificando probable impacto y aporte. | Se incluyeron 4 artículos y se justificaron los motivos de inclusión. |
| Criba fina | Análisis de métricas de revistas. Selección conforme a CIRC. | 30 artículos elegidos; CIRC C o superior. Descartados 8 con CIRC D o inferior. |
| Tamizaje | Aplicación de instrumento para valorar la calidad de artículos bibliográficos. | 28 artículos considerados idóneos. 2 con puntaje inferior al deseado. |
| Selección final | Integración de datos y criterios estadísticos. Prueba Colin con escala de Likert. Prueba de correlación. | Media por artículo 89 % = 3.56. Likert 28 > 75 %; 2 < 75 %. Alfa de Cronbach: 0.68 |
Fuente: Elaboración propia
En cuanto a la técnica empleada, se ha verificado la existencia de registros documentales que detallan la ruta de inclusión para cada uno de los artículos, así como una descripción precisa del proceso a seguir. Sin embargo, aunque se ha compartido esta información entre colegas, aún no se ha formalizado el proceso de pilotaje.
Asimismo, se ha confirmado que las plataformas digitales seleccionadas cumplen con criterios científicos para alojar documentos de investigación, de las cuales se destacan las descargas de Scopus, Redalyc, Internet Archive Scholar y Scielo. Con esta información, se llevaron a cabo comparaciones de métricas de estas fuentes, como se resume en la tabla 3.
Tabla 3 Clasificación de revistas y artículos seleccionados
| Título de la revista | CIRC 2020 | Artículos |
|---|---|---|
| Comunicar. | CS A+ | 4 |
| Digital Educación Review. | CS B | 1 |
| Educación XX1. | CS A+ | 4 |
| Education Policy Analysis Archives. | CS B | 1 |
| IE Revista de Investigación Educativa de la REDIECH. | CS C | 2 |
| Journal of New Approaches in Educational Research. | CS A | 4 |
| REDIE. Revista Electrónica de Investigación Educativa. | CS B | 1 |
| RELATEC. | CS B | 1 |
| RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa. | CS B | 1 |
| Renote. | CS D | 1 |
| Revista Eureka sobre Enseñanza y Divulgación de las Ciencias. | CS B | 4 |
| Revista Iberoamericana de Educación Superior. | CS C | 1 |
| Revista Iberoamericana de Estudios en Educación. | CS B | 1 |
| Revista Innova Educación. | CS C | 1 |
| Revista Mexicana de Investigación Educativa. | CS B | 1 |
| Revista Interuniversitaria de Formación del Profesorado. | CS B | 1 |
| Teias. | CS C | 1 |
Fuente: Elaboración propia
Como respaldo al escrutinio, se efectuó una búsqueda exhaustiva en el artículo publicado para comparar los hallazgos con los registros documentales que dieron origen a la redacción del manuscrito, lo cual permitió verificar de manera integral el proceso. Al respecto, se precisa que el artículo publicado corresponde a una revisión sistemática documental cuyo protocolo fue revisado y compartido entre colegas, pero no se alojó en ningún repositorio institucional o plataforma electrónica de acceso libre y calidad verificada disponible para ello.
En relación con esto, se realizó un recuento del proceso seguido en la sistematización del estudio, con énfasis en los criterios de inclusión y exclusión. También se verificó la búsqueda de datos en plataformas digitales con respecto a métricas y estadísticas de las publicaciones. Posteriormente, se comparó el cumplimiento de los ítems conforme a la lista de verificación Prisma 2020. De un total de 27 ítems, se informa que se cumplió completamente con 16, se cumplió parcialmente con dos y no se proporcionó información para nueve, como se observa en la tabla 4.
Tabla 4 Lista de verificación para presentación de RS y metaanálisis
| Ítems: Secciones y temas | Lista | Aspectos para verificar | Páginas |
|---|---|---|---|
| Título | 1 | Identificar el estudio como revisión sistemática. | 1 |
| Resumen | 2 | Indicar objetivo, métodos, resultados y conclusiones. | 1 |
| Fundamentos | 3 | Describir tema y justificar empleo de la revisión. | 2 |
| Objetivos | 4 | Explicar objetivos o preguntas que guían el estudio. | 1,3 |
| Criterios admisión | 5 | Justificar requisitos de inclusión y exclusión. | 4,5 |
| Fuentes informativas | 6 | Descripción completa de fuentes empleadas. | 2-5,13-15 |
| Estrategia de búsqueda | 7 | Exponer con detalles la estrategia de indagación. | 3-5 |
| Selección de estudios | 8 | Especificar cumplimiento a criterios de admisión. | 1,4,5 |
| Recopilación de datos | 9 | Informar sobre métodos y herramientas empleadas. | 3-6 |
| Bases de datos | 10a | Mostrar variables de búsqueda, ajustes y resultados. | 4,5 |
| 10b | Clarificar variables complementarias en la búsqueda. | 6-12 | |
| Evaluación de sesgo | 11 | Evaluar riesgo de sesgo y el papel de los revisores. | |
| Medidas de efecto | 12 | Especificar para cada resultado medidas de efecto. | |
| Métodos de síntesis | 13a | Explicar manejo y combinación de resultados. | 5,6 |
| 13b | Reseñar método para presentar datos sintetizados. | 4,5 | |
| 13c | Describir método para visualizar los resultados. | 5,6 | |
| 13d | Justificar método al presentar síntesis de resultados. | 4-6 | |
| 13e | Explicar método usado para explicar heterogeneidad. | 3,4 | |
| 13f | Describir análisis para evaluar solidez de síntesis. | 4 | |
| Sesgo de notificación | 14 | Describir cómo se evaluó sesgo a falta de resultados. | |
| Valoración de certeza | 15 | Reseñar método(s) para evaluar confiabilidad. | 4 |
| Selección de estudios | 16a | Trazar el proceso de búsqueda y selección de obras. | 4,5,6,11 |
| 16b | Explicar causas de exclusión de fuentes potenciales. | 5 | |
| Características estudios | 17 | Declarar estudios incluidos y sus características. | 4,5 |
| Riesgo sesgo en análisis | 18 | Validar riesgo de sesgo para cada estudio incluido. | |
| Estudios individuales | 19 | Exponer resultados estadísticos detallados y gráficos. | 5 |
| Resultados de síntesis | 20a | Mostrar riesgo de sesgo entre estudios copartícipes. | |
| 20b | Exhibir resultados del total síntesis estadísticas. | 5 | |
| 20c | Presentar el producto de causas de heterogeneidad. | ||
| 20d | Exponer análisis de solidez en síntesis de resultados. | ||
| Sesgos de denuncia | 21 | Referir evaluaciones de sesgo a falta de resultados. | |
| Certeza de evidencia | 22 | Manifestar evaluaciones de fiabilidad de resultados. | 12 |
| Discusión | 23a | Interpretar resultados conforme a ópticas dispares. | 6-12 |
| 23b | Razonar limitaciones de la evidencia presentada. | 12,13 | |
| 23c | Evidenciar limitaciones en los procesos de revisión. | ||
| 23d | Analizar efecto de resultados en diversos ámbitos. | 12,13 | |
| Registro y protocolo | 24a | Datos de registro de revisión o aclarar no registro. | |
| 24b | Ruta acceso al protocolo o aclarar que no se preparó. | ||
| 24c | Explicar ajustes en registro y/o protocolo. | ||
| Apoyo | 25 | Describa fuentes de apoyo y su influjo en la revisión. | |
| Conflicto de intereses | 26 | Referir si hubiere conflictos de interés por revisores. | |
| Respaldo documental | 27 | Listar recursos y dónde se encuentran disponibles. |
Fuente: Elaboración propia con base en la lista de verificación Prisma (2020)
Se confirmó que el artículo aborda el tratamiento de 27 de los 42 aspectos de la lista de verificación, todos ellos relacionados con la sistematización de una revisión sistemática (RS). Los aspectos no señalados por el artículo publicado están vinculados con la identificación y validación de factores de sesgo, el análisis de la solidez de los hallazgos y la integración de documentación complementaria, aspectos relevantes para considerar en un metaanálisis. Además, se verificó que el respaldo documental está integrado, aunque no se encuentra alojado en ningún repositorio digital de acceso público, ni se menciona la posibilidad de acceso libre para otros investigadores.
Durante el examen de la bitácora de trabajo, se revisaron matrices en formato Excel que sistematizaban la gestión de datos, desde la investigación de descriptores generales y tesauros hasta las primeras pruebas con operadores booleanos, el acceso y los resultados obtenidos en cada una de las plataformas, el cumplimiento de los criterios de inclusión y exclusión, así como la justificación de cambios menores realizados durante la investigación, como la incorporación de 4 artículos considerados con potencial de aporte, pero no seleccionados inicialmente, y algunos ajustes de estilo en los cuadros de captura de información.
En relación con el respaldo bibliográfico de la investigación, se examinó el sistema utilizado para integrar a carpetas digitales las fuentes documentales, la gestión de citas y referencias con la ayuda del programa Zotero, el proceso de integración de categorías a partir de matrices para el análisis de palabras clave en Excel y su gestión en línea con el programa Lingua kit. También se verificó el proceso de incorporación de la información derivada de la aplicación del cuestionario Colin en una matriz.
Además, se revisaron los borradores y las correcciones sugeridas tanto por coautores como por colegas, incluyendo pruebas mediante programas de antiplagio como Plagiarism Checker X y Turnitin, así como la correspondencia digital con los editores, el cumplimiento de las normas de publicación y la atención a las sugerencias para la corrección de estilo.
Fase 2. Pruebas estadísticas
Orozco y Lamberto (2022) sostienen que -desde las perspectivas científicas, legales y éticas- es imperativo recopilar evidencia que asegure la validez de las inferencias en la búsqueda de nuevos conocimientos, de ahí que se haya avanzado en el análisis de los puntajes obtenidos.
Revisión de la estructura interna de los artículos como fuente documental
Los resultados de la primera evaluación de las fuentes documentales se resumen en la tabla 5.
Tabla 5 Matriz conforme aplicación del cuestionario Colin (etapa de tamizaje)
| Artículo | Preguntas. Calificación obtenida. | Puntaje | Promedio | Calificación | Categoría | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | |||||
| 1 | 4 | 4 | 4 | 1 | 2 | 1 | 4 | 2 | 0 | 2 | 3 | 3 | 0 | 30 | 2.3 | 57 | Excluir |
| 2 | 4 | 4 | 4 | 4 | 3 | 0 | 4 | 4 | 4 | 4 | 4 | 3 | 4 | 46 | 3.5 | 88 | Incluir |
| 3 | 4 | 3 | 4 | 4 | 3 | 0 | 4 | 4 | 4 | 4 | 3 | 3 | 4 | 44 | 3.4 | 85 | Incluir |
| 4 | 3 | 3 | 1 | 1 | 3 | 0 | 4 | 4 | 2 | 4 | 4 | 3 | 4 | 36 | 2.8 | 69 | Excluir |
| 5 | 3 | 4 | 4 | 4 | 4 | 2 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 49 | 3.8 | 95 | Incluir |
| 6 | 4 | 4 | 4 | 4 | 3 | 2 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 49 | 3.8 | 94 | Incluir |
| 7 | 4 | 4 | 4 | 4 | 4 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 49 | 3.8 | 94 | Incluir |
| 8 | 4 | 4 | 4 | 4 | 4 | 2 | 4 | 4 | 4 | 4 | 3 | 4 | 4 | 49 | 3.8 | 94 | Incluir |
| 9 | 4 | 4 | 4 | 4 | 3 | 2 | 4 | 4 | 4 | 4 | 4 | 4 | 3 | 48 | 3.7 | 92 | Incluir |
| 10 | 4 | 4 | 4 | 4 | 3 | 3 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 49 | 3.8 | 94 | Incluir |
| 11 | 4 | 4 | 4 | 4 | 4 | 3 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 51 | 3.9 | 98 | Incluir |
| 12 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 52 | 4.0 | 100 | Incluir |
| 13 | 4 | 4 | 4 | 4 | 3 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 51 | 3.9 | 98 | Incluir |
| 14 | 4 | 4 | 4 | 4 | 3 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 51 | 3.9 | 98 | Incluir |
| 15 | 4 | 4 | 4 | 4 | 4 | 4 | 0 | 4 | 4 | 4 | 4 | 4 | 4 | 48 | 3.7 | 92 | Incluir |
| 16 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 52 | 4.0 | 100 | Incluir |
| 17 | 3 | 4 | 4 | 4 | 3 | 0 | 4 | 3 | 4 | 4 | 2 | 2 | 3 | 40 | 3.1 | 77 | Incluir |
| 18 | 4 | 4 | 4 | 4 | 4 | 4 | 0 | 4 | 4 | 4 | 4 | 4 | 4 | 48 | 3.7 | 92 | Incluir |
| 19 | 4 | 4 | 4 | 4 | 4 | 0 | 0 | 4 | 4 | 4 | 4 | 3 | 4 | 43 | 3.3 | 83 | Incluir |
| 20 | 4 | 3 | 4 | 4 | 3 | 3 | 0 | 4 | 4 | 4 | 4 | 4 | 4 | 45 | 3.5 | 87 | Incluir |
| 21 | 4 | 4 | 4 | 0 | 3 | 0 | 4 | 4 | 2 | 4 | 4 | 3 | 4 | 40 | 3.1 | 77 | Incluir |
| 22 | 3 | 4 | 4 | 4 | 4 | 2 | 0 | 4 | 4 | 4 | 4 | 4 | 4 | 45 | 3.5 | 87 | Incluir |
| 23 | 3 | 4 | 4 | 4 | 4 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 48 | 3.7 | 93 | Incluir |
| 24 | 3 | 4 | 4 | 2 | 4 | 1 | 0 | 4 | 4 | 4 | 4 | 4 | 4 | 42 | 3.2 | 81 | Incluir |
| 25 | 3 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 51 | 3.9 | 98 | Incluir |
| 26 | 4 | 4 | 4 | 4 | 3 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 48 | 3.7 | 92 | Incluir |
| 27 | 3 | 4 | 4 | 4 | 4 | 2 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 49 | 3.8 | 95 | Incluir |
| 28 | 4 | 3 | 4 | 0 | 3 | 2 | 3 | 3 | 4 | 4 | 1 | 4 | 4 | 39 | 3.0 | 75 | Incluir |
| 29 | 3 | 4 | 4 | 4 | 3 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 47 | 3.6 | 91 | Incluir |
| 30 | 3 | 4 | 1 | 4 | 4 | 1 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 47 | 3.6 | 91 | Incluir |
Fuente: Elaboración propia
De las 30 fuentes documentales se seleccionaron 28. El puntaje mínimo de inclusión fue de 75 %, mientras que la calificación promedio fue de 88.8 %.
Asimismo, se procedió a determinar la fiabilidad del cuestionario utilizado para la selección de artículos, empleando la matriz de cifras precedente. La confiabilidad del instrumento se revela en la tabla 6 y se complementa en la tabla 7.
Tabla 6 Análisis para determinar la confiabilidad del cuestionario Colin
| Resumen de procesamiento de casos | ||||
|---|---|---|---|---|
| Casos | N | % | ||
| Válido | 13 | 100.0 | ||
| Excluido a | 0 | .0 | ||
| Total | 13 | 100.0 | ||
| a. La eliminación por lista se basa en todas las variables del procedimiento. | ||||
| Estadísticas de fiabilidad | ||||
| Alfa de Cronbach | N.º de elementos | |||
| .922 | 30 | |||
Fuente. Elaboración propia
Tabla 7 Clasificación por niveles de fiabilidad alfa de Cronbach
| Índice | Nivel de fiabilidad | Valor alfa de Cronbach |
|---|---|---|
| 1 | Excelente | .900 - 1 |
| 2 | Muy bueno | .700 - .899 |
| 3 | Bueno | .500 - .699 |
| 4 | Regular | .300 - .499 |
| 5 | Deficiente | .001 - .299 |
Fuente: Elaboración propia con base en Tuapanta Dacto et al. (2017)
Conclusión: La fiabilidad del cuestionario Colin 2007 presenta un grado de consistencia interna buena con valor α = .922 y margen de error de 5 % dentro del rango para investigaciones sociales.
Por otra parte, para evaluar la contribución de los artículos se relacionaron cada uno de los reactivos con las dimensiones propuestas para el instrumento y se identificaron aportes, como muestra en la figura 1.
Como se observa en la imagen, 6 de las dimensiones tienen valores por encima de la media, lo que equivale al 12.5 %; mientras que 2 de las dimensiones muestran un valor inferior. En general, se presenta un aporte equilibrado por dimensiones de los 30 artículos en revisión.
Asimismo, con el fin de identificar posibles sesgos en la selección de artículos fueron evaluados por segunda vez utilizando un instrumento diferente, cuyos resultados se muestran en la tabla 8.
Tabla 8 Segunda evaluación de artículos en revisión. EACSH
| Artículos | Calificación por indicadores. Escala Likert. | Puntajes | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 3 | 4 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | ||
| 1 | 3 | 4 | 4 | 3 | 3 | 3 | 4 | 4 | 4 | 3 | 5 | 4 | 3 | 3 | 3 | 5 | 0 | 4 | 5 | 67 |
| 2 | 3 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 81 |
| 3 | 3 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 4 | 79 |
| 4 | 3 | 3 | 3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 78 |
| 5 | 4 | 5 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 5 | 0 | 5 | 5 | 84 |
| 6 | 3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 87 |
| 7 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 88 |
| 8 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 88 |
| 9 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 5 | 5 | 89 |
| 10 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 4 | 88 |
| 11 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 5 | 0 | 5 | 4 | 86 |
| 12 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 0 | 4 | 3 | 84 |
| 13 | 4 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 4 | 5 | 4 | 5 | 5 | 5 | 4 | 0 | 5 | 4 | 82 |
| 14 | 3 | 4 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 84 |
| 15 | 3 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 3 | 82 |
| 16 | 3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 1 | 5 | 5 | 89 |
| 17 | 3 | 5 | 5 | 3 | 5 | 5 | 5 | 4 | 5 | 5 | 3 | 0 | 5 | 4 | 5 | 5 | 1 | 5 | 5 | 77 |
| 18 | 3 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 4 | 78 |
| 19 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 87 |
| 20 | 3 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 5 | 4 | 2 | 5 | 4 | 81 |
| 21 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 3 | 84 |
| 22 | 3 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 2 | 5 | 5 | 90 |
| 23 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 89 |
| 24 | 3 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 4 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 81 |
| 25 | 5 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 4 | 2 | 5 | 5 | 88 |
| 26 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 2 | 5 | 4 | 5 | 4 | 5 | 0 | 5 | 5 | 83 |
| 27 | 3 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 5 | 5 | 5 | 5 | 3 | 1 | 4 | 3 | 80 |
| 28 | 2 | 3 | 5 | 4 | 5 | 4 | 4 | 5 | 5 | 5 | 5 | 0 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 75 |
| 29 | 3 | 4 | 4 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 80 |
| 30 | 3 | 5 | 5 | 4 | 5 | 5 | 5 | 5 | 5 | 5 | 3 | 5 | 5 | 5 | 5 | 4 | 0 | 5 | 5 | 83 |
Fuente: Elaboración propia
El promedio obtenido por los 30 artículos en revisión fue de 83 puntos, de acuerdo con la EACSH, con una confiabilidad de 0.937, según el coeficiente alfa de Cronbach. Esta puntuación se encuentra en el rango de 77 a 95 (considerada alta), lo que concuerda con la evaluación obtenida en el mismo instrumento, que fue del 87.36 %.
Evaluación del artículo publicado
Se empleó la herramienta EACSH propuesta por López-López et al. (2019). En la tabla 8 se muestra la matriz de datos resumida y en la tabla 9 su complemento para evaluar.
Tabla 8 Evaluación del artículo publicado conforme a la herramienta EACSH
| Dimensión | Ítem | Indicadores | Valor |
|---|---|---|---|
| Resumen | 1 | Valoración del título. Presenta al menos 16 palabras. Términos con más de cuatro letras inician con mayúscula. Centrado. | 3.0 |
| 3 | Resumen en español e inglés, define objetivos, metodología, resultados y conclusiones. Cumple criterios editoriales. Hasta 250 términos. | 4.33 | |
| 4 | Presenta 4 a 8 palabras clave, extraídas de un Tesauro. Atiende directrices de la publicación editorial seleccionada. | 4.00 | |
| Introducción | 6 | Revisión crítica de los estudios empleados. Calidad de las citas. | 5.00 |
| 7 | Claridad, relevancia y redacción académica de objetivos. | 5.00 | |
| Metodología | 8 | Describe tipo y alcance de estudio, lógica de análisis y tiempo. | 5.00 |
| 9 | Descripción de participantes, muestra, criterios de inclusión y exclusión. | 5.00 | |
| 10 | Descripción instrumentos empleados o técnica de recolección de datos. Precisa autores, confiabilidad y validez de la metodología. | 4.67 | |
| 11 | Describe las técnicas para análisis de datos y presenta criterios éticos. | 5.00 | |
| Resultados | 12 | De lo general a lo particular, de forma sistemática, organizada y sintetizada presentando aspectos relevantes y originales. | 5.00 |
| 13 | Empleo asertivo de tablas y figuras. | 5.00 | |
| 14 | Análisis de datos conforme al tipo de estudio. | 5.00 | |
| Discusión | 15 | Cada propósito de estudio se concluye a detalle con estudios similares en apoyo o controversia. | 5.00 |
| 16 | Descripción de contribuciones destacadas al estudio, limitaciones de investigación y contribuciones prácticas del estudio. | 5.00 | |
| 17 | Se exponen de manera argumentada recomendaciones para estudios futuros considerando tendencias en el área de trabajo. | 4.00 | |
| Referencias | 18 | Apego de citación conforme al estilo APA última edición. | 4.00 |
| Apéndices | 19 | Se presentan al final del artículo o enlaces digitales de acceso; caso contrario, valorar por qué los apéndices no se han publicado. | 0.00 |
| Estilo y formato | 20 | El artículo atiende las normas Apa vigentes o las directrices de la revista donde se publicará. Redacción académica rigurosa. | 5.00 |
| 21 | Atiende normas de publicación para revistas científicas. En el texto no se encuentra información que permita identificar a los autores. | 5.00 |
Fuente: Elaboración propia a partir de la EACSH diseñada por López-López et al. (2019)
Tabla 9 Referentes de evaluación conforme a la EACSH
| Puntaje obtenido | 1 - 19 | 20 -38 | 39 - 57 | 58 - 76 | 77 - 95 |
|---|---|---|---|---|---|
| Nivel | Muy bajo | Bajo | Medio | Medio Alto | Alto |
Fuente: Elaboración propia a partir de López-López et al. (2019)
Conclusión: La puntuación general obtenida por el artículo publicado, objeto del metaanálisis y evaluada mediante el instrumento EACSH, con una confiabilidad de 0.937 según el coeficiente alfa de Cronbach, fue de 84 puntos. Esta puntuación se sitúa en el rango de 77 a 95, lo que corresponde a un nivel alto de evaluación, equiparable al 88.42 %.
Operacionalización de variables
Para abordar la hipótesis general de investigación, la cual establece que el promedio de las calificaciones obtenidas por los artículos en revisión está correlacionado con el promedio de calificaciones conseguidas por el artículo publicado, se sistematizó la información, como se muestra en la tabla 10.
Hipótesis de trabajo
Ho = No existe una correlación entre el promedio de las calificaciones obtenidas por los artículos en revisión y el promedio de las calificaciones obtenidas por el artículo publicado.
Hᵢ = Existe una correlación entre el promedio de las calificaciones obtenidas por los artículos en revisión y el promedio de las calificaciones obtenidas por el artículo publicado.
Regla de validación
Ho = La muestra presenta una distribución normal.
Hᵢ = La muestra presenta una distribución no normal.
Donde / Criterios / Reglas de decisión:
Nivel de confianza = 95 %
p < .05; se rechaza Ho y se acepta que la muestra presenta una distribución no normal.
p ≥ .05; se acepta Ho, aceptando que la muestra presenta una distribución normal.
A continuación, se aplicaron pruebas de normalidad empleando las calificaciones obtenidas con la aplicación de la EACSH a los 19 ítems del instrumento, como se observa en la tabla 11.
Tabla 11 Pruebas de normalidad.
| Kolmogorov-Smirnova a | Shapiro Wilk | |||||
|---|---|---|---|---|---|---|
| Estadístico | gl | Sig. | Estadístico | gl | Sig. | |
| V1 | .331 | 19 | .000 | .575 | 19 | .000 |
| V2 | .316 | 19 | .000 | .549 | 19 | .000 |
| a. Corrección de significación de Lilliefors | ||||||
Fuente: Elaboración propia
Conclusión: Tras aplicar la prueba Shapiro-Wilk, se observó que ambas variables presentan un tamaño de muestra inferior a 30, y el grado de significancia entre ellas fue de 0.000. De acuerdo con la regla convencional de p < 0.05, se rechaza la hipótesis nula (Ho) y se acepta que las muestras no siguen una distribución normal.
En consecuencia, se emplearon pruebas no paramétricas para el análisis de datos. En particular, se consideró apropiado utilizar la prueba Rho de Spearman. Los resultados se resumen en la tabla 12 y su complemento en la tabla 13.
Tabla 12 Prueba de correlaciones conforme a calificaciones obtenidas en 8 dimensiones
| Prueba Rho de Spearman | V1. Artículos en revisión | V2. Artículo publicado | |
|---|---|---|---|
| V1. Artículos en revisión | Coeficiente de correlación | 1.000 | .667** |
| Sig. (bilateral) | . | .002 | |
| N | 19 | 19 | |
| V2. Artículo Publicado | Coeficiente de correlación | .667** | 1.000 |
| Sig. (bilateral) | .002 | . | |
| N | 19 | 19 | |
| **. La correlación es significativa en el nivel 0,01 (bilateral). | |||
Fuente: Elaboración propia
Tabla 13 Valores conforme al coeficiente de correlación Rho de Spearman
| Valor Rho | Significado de correlación | Valor Rho | Significado de correlación | |
|---|---|---|---|---|
| 1 | Positiva grande y perfecta | -1 | Negativa grande y perfecta | |
| .90 a .99 | Positiva muy alta | -.90 a -.99 | Negativa muy alta | |
| .70 a .89 | Positiva alta | -.70 a -.89 | Negativa alta | |
| .40 a .69 | Positiva moderada | -.40 a -.69 | Negativa moderada | |
| .20 a .39 | Positiva baja | -.20 a -.39 | Negativa baja | |
| .01 a .19 | Positiva muy baja | -.01 a -.19 | Negativa muy baja | |
| 0 | Correlación nula | 0 | Correlación nula |
Fuente: Elaboración propia
Conclusión: El coeficiente de correlación de Spearman (Rho) obtenido fue de 0.667 bilateral, lo que indica una correlación positiva moderada entre la variable 1 (artículos en revisión) y la variable 2 (artículo publicado), con un nivel de significancia de 0.002.
Posteriormente, se investigó la posible existencia de correlación entre las puntuaciones reportadas en la tabla 5, correspondientes a la primera selección de artículos, y los puntajes obtenidos en la segunda evaluación, como se presenta en la tabla 8. Para ello, primero se realizaron pruebas de normalidad, como se puede evidenciar en la tabla 14.
Tabla 14 Pruebas de normalidad a puntajes de artículos revisados
| Kolmogorov-Smirnova a | Shapiro Wilk | |||||
|---|---|---|---|---|---|---|
| Estadístico | gl | Sig. | Estadístico | gl | Sig. | |
| 1ª Evaluación | .205 | 30 | .002 | .862 | 30 | .001 |
| 2ª Evaluación | .113 | 30 | .200* | .921 | 30 | .028 |
| a. Corrección de significación de Lilliefors | ||||||
Fuente: Elaboración propia
Conclusión: Según la prueba Shapiro-Wilk, ambas variables tienen un tamaño de muestra superior a 30. El mayor grado de significancia entre ellas corresponde a la segunda aplicación, que equivale a 0.028. De acuerdo con la regla convencional de p < 0.05, se rechaza la hipótesis nula (Ho) y se acepta que las muestras no siguen una distribución normal.
Dado el tipo de distribución no normal, se aplicó la prueba Rho de Spearman para analizar la correlación entre las variables. Los resultados se resumen en la tabla 15.
Tabla 15 Prueba de correlación entre puntajes obtenidos por artículos seleccionados
| Prueba Rho de Spearman | 1.ª evaluación | 2.ª evaluación | |
|---|---|---|---|
| 1.ª evaluación | Coeficiente de correlación | 1.000 | .549** |
| Sig. (bilateral) | . | .002 | |
| N | 30 | 30 | |
| 2.ª evaluación | Coeficiente de correlación | .549** | 1.000 |
| Sig. (bilateral) | .002 | . | |
| N | 30 | 30 | |
| **. La correlación es significativa en el nivel 0,01 (bilateral). | |||
Fuente: Elaboración propia
Conclusión: Con un coeficiente de correlación de Spearman (Rho) de 0.549 bilateral, se confirma una correlación positiva moderada entre los puntajes obtenidos en la primera evaluación y los reportados en la segunda. Esto sugiere que a medida que los valores reportados por el cuestionario Colin 2007 aumentan, también lo hacen los obtenidos por la EACSH, y viceversa.
Discusión
Los resultados del metaanálisis representan un punto de referencia crucial para documentar y mejorar el proceso de investigación. Estos hallazgos están estrechamente relacionados con las técnicas utilizadas en la gestión de datos y las decisiones tomadas por el investigador para minimizar sesgos. En tal sentido, se tuvieron en cuenta las sugerencias de Chambergo-Michilot et al. (2021) y Camilli Trujillo et al. (2020), quienes identifican áreas de oportunidad frente a los nuevos paradigmas de las revisiones sistemáticas (RS) y metaanálisis, y la importancia de su tratamiento en Latinoamérica y en el ámbito educativo.
Ahora bien, en la fase 1, que se enfocó en las estrategias de búsqueda y recolección de datos, se revisó la técnica propuesta por los autores, es decir, la criba documental de corte cualitativo, la cual busca fortalecer el proceso de sistematización de datos junto con el gráfico de búsqueda y selección documental Prisma 2020. Al respecto, se puede indicar que se identificó un área de oportunidad para justificarla teóricamente, llevar a cabo nuevos pilotajes, promover la revisión por expertos y ponerla a disposición de la comunidad académica. Como señalan Riva et al. (2024), un instrumento validado para un grupo particular puede presentar errores aleatorios debido a diversas razones, como la magnitud de las diferencias observadas, el tamaño de la muestra y la variabilidad tanto individual como interindividual. En consecuencia, el proceso de validación debe ser continuo y permanente.
Por otra parte, el análisis de las métricas y estadísticas de cada una de las revistas donde se publicaron los artículos que formaron parte del manuscrito permitió determinar que la calidad de los documentos seleccionados se halla en el rango buena-excelente. Asimismo, se incorporó una fuente con clasificación D y tres sin considerar el año de publicación en desapego al criterio de inclusión, pero justificando su incorporación durante el proceso y cumpliendo validaciones posteriores.
Sin embargo, dos revistas con clasificación B no se incluyeron en las referencias del manuscrito debido a que no cumplieron con la calificación requerida en la etapa de tamizaje, según la evaluación obtenida en el instrumento Colin. Esta situación puede implicar sesgos cognitivos, como señala Villarruel-Fuentes (2019), incluyendo criterios limitantes de los investigadores que podrían introducir sesgos implícitos en los instrumentos y la metodología, o bien que la calidad de los artículos no corresponda a la de las revistas donde se encuentran alojados. Estos cuestionamientos, por tanto, requieren investigaciones específicas en futuros trabajos.
En cuanto al análisis sobre las métricas de las revistas, esto permitió identificar una falta de homogeneidad en las plataformas especializadas para la clasificación de publicaciones. Esta situación repercute en la administración de tiempo y recursos, ya que es indispensable realizar una serie de equivalencias para comparar las fuentes, lo que a menudo resulta infructuoso. Esto plantea un reto académico que está siendo abordado con avances por parte del soporte digital CIRC, considerado idóneo para esta revisión sistemática (RS), aunque vale destacar que muchas publicaciones sin clasificación no están indexadas en esta plataforma.
Igualmente, se avanzó en el análisis explorando múltiples facetas de la revisión de origen, de acuerdo con la lista de verificación de 27 ítems de Prisma 2020, utilizando sus hallazgos para fortalecer la sistematización del proceso, pero no para evaluarlo. Este aspecto podría complementarse utilizando la herramienta EACSH, la cual tiene el potencial de estar más adecuada al contexto latinoamericano.
Especialmente, se comprobó que el artículo abordó 27 de los 42 aspectos conforme a la lista de verificación, todos relacionados con la sistematización de una RS. Los aspectos no abordados están vinculados a la identificación y validación de factores de sesgo, análisis de solidez de resultados e integración de documentación complementaria, elementos fundamentales en un metaanálisis. Además, se verificó que el respaldo documental no está alojado en ningún repositorio digital de acceso público ni se menciona la posibilidad de acceso libre para otros investigadores en el artículo publicado.
Una dimensión evaluada por la EACSH es la inclusión de apéndices como parte del artículo científico, los cuales no se incluyeron en la RS documental de referencia ni se encuentran disponibles para consulta digital por el público. Aunque el proceso se compartió entre colegas y se recibió retroalimentación, esta práctica no cumple completamente con el rigor metodológico propuesto por la metodología Prisma 2020 para RS y metaanálisis. Aun así, el presente informe aporta datos adicionales sobre la génesis, proceso y construcción de la RS documental en estudio para subsanar esta situación.
Es importante destacar que el registro de protocolos para la realización de RS es una práctica necesaria y valorada en el ámbito de la investigación clínica. No obstante, en las RS en ciencias sociales, este proceso representa un desafío para que cada una de las etapas de la RS estén disponibles en plataformas digitales de acceso libre y con fortaleza académica, como mencionan Pizarro et al. (2020).
En cuanto al tratamiento de la fase 2 (pruebas estadísticas), la operacionalización de variables se llevó a cabo siguiendo la propuesta de Arias González (2021) con los ajustes pertinentes. Para el empleo de instrumentos, se utilizó el cuestionario Colin con adaptaciones a la metodología que propone una selección final por cuartiles, de modo que se sustituyó por una criba fina basada en un análisis exhaustivo de las métricas de las publicaciones disponibles en la plataforma especializada CIRC.
Sobre el ajuste realizado en la selección de documentos, parece que no tuvo un impacto negativo significativo, dado que los resultados del análisis de los aportes por dimensiones del cuestionario se presentan en general equilibrados y homogéneos. Sin embargo, como subrayan Riva et al. (2024), elementos como la fiabilidad, la validez de contenido y de constructo, así como la validez concurrente son esenciales al evaluar la literatura científica contemporánea.
Por otra parte, el análisis de búsquedas en la web dedicadas al cuestionario Colin no arrojó resultados sobre su confiabilidad, a pesar de que es citado en diversas tesis de maestría y doctorado, como en el caso de Poblano (2019). Por lo tanto, para evaluar su confiabilidad, se llevaron a cabo evaluaciones en 30 artículos en revisión, lo que resultó en un coeficiente de correlación alfa de Cronbach de .922 para el cuestionario completo, valor que refleja una excelente fiabilidad, con un intervalo de confianza del 95 %.
Es importante destacar que, a pesar de las críticas, el coeficiente Alfa de Cronbach sigue siendo el estadístico más utilizado en la actualidad para medir el nivel de consistencia interna de un instrumento. De hecho, la discusión entre expertos sigue abierta para determinar el valor mínimo aceptable para este coeficiente, aunque se sostiene como valor mínimo aceptable a partir de .70 (Cascaes da Silva et al., 2015, 2023; Riva et al., 2014; Tuapanta Dacto et al., 2017).
Igualmente, se consideró pertinente realizar una segunda evaluación a la selección de documentos empleando la EACSH, y el promedio obtenido en la revisión fue de 83 puntos, lo cual se encuentra en el rango de 77 a 95 (alto), en correspondencia con la evaluación obtenida en el mismo instrumento de 87.36 %. Tomando esta referencia y conforme a la población estudiada, se concluye que la evaluación que reporta el cuestionario Colin en la primera aplicación es de 88.8 %, ligeramente inferior a su homólogo recientemente validado.
Por ende, se concluye que el cuestionario de Colin, con un valor de correlación alfa de Cronbach de .922 derivado del escrutinio de 30 artículos en revisión, se encuentra en un rango aceptable para efectos de investigación. Esto significa que los cuestionamientos constitutivos del instrumento son consistentes internamente para la matriz de referencia, aunque se reconoce la necesidad de validar su confiabilidad con estudios más amplios para afinar los estadísticos comprometidos, como lo recomiendan Riva et al. (2024).
En concordancia con lo expuesto por Arias Gonzáles (2021) y en apego al propósito de atender la operacionalización de variables, un análisis riguroso de los indicadores del cuestionario permitió organizarlo en 8 dimensiones, lo que constituye un aporte equilibrado por dimensión al manuscrito. Empero, se debe precisar que diferentes organizaciones de los indicadores podrían proporcionar información estadística diferente, lo que representa un desafío latente para investigaciones más amplias en este sentido a fin de fortalecer la confiabilidad del instrumento.
En definitiva, la aplicación de la herramienta EACSH facilitó comparar las calificaciones obtenidas entre ambas variables. Además, se identificó especialmente el reto de vincular las publicaciones científicas con apéndices digitales y la necesidad de contar con listas complementarias para la evaluación de indicadores conforme a la naturaleza de los documentos. Sobre este asunto, es importante tener en cuenta que las características inherentes de las publicaciones pueden ser divergentes en aspectos medulares. Por ejemplo, las estructuras de una tesis, de un ensayo o una RS comparten aspectos por evaluar, aunque difieren en otros. Por ello, es fundamental contar con instrumentos validados que permitan evaluar el aporte concreto de las fuentes documentales a un artículo publicado.
Una fortaleza importante de este metaanálisis es la procedencia de los artículos en revisión, pues provenían de fuentes confiables y de calidad verificada. Esto podría reflejarse en los valores de correlación obtenidos al contrastar los puntajes reportados tanto por el cuestionario Colin como por la escala en la primera y segunda valoración de las fuentes documentales, ya que se obtuvo un coeficiente Rho de Spearman de .549 bilateral, lo que ratifica una correlación positiva moderada.
No obstante, también se deben señalar algunas limitaciones, como la falta de instrumentos validados para evaluar revisiones sistemáticas en ciencias sociales. Aunque existen apoyos como las listas de verificación, estas no discriminan entre la diversidad de documentos que pueden evaluarse y cuyas características pueden ser heterogéneas.
Además, se recomienda que instrumentos como el cuestionario Colin se valoren periódicamente para calibrar sus elementos conforme avanza la cultura digital y las prácticas de investigación evolucionan. Como señalan Orozco y Lamberto (2022), es imprescindible recopilar evidencia que garantice la validez de las inferencias originadas en el análisis de puntajes para respetar los acuerdos científicos, legales y éticos inherentes al proceso de investigación.
Por último, téngase en cuenta que los datos de las pruebas estadísticas presentadas corresponden a muestras pequeñas, con un margen de confiabilidad dentro del rango aceptable para investigaciones sociales. Además, se han detectado sesgos mediante el análisis exhaustivo de la información disponible, y se han informado los desafíos encontrados en el proceso.
Conclusiones
La profundización en la revisión del proceso de búsqueda, selección y gestión de la información ha permitido identificar desafíos significativos para las revisiones sistemáticas en ciencias sociales. Uno de ellos es el necesario registro del protocolo de investigación en plataformas de acceso libre y calidad probada, lo cual contribuiría a la transparencia y replicabilidad de los estudios.
Asimismo, se puede afirmar que el uso de la lista de verificación Prisma ha facilitado la comparación de las etapas aplicadas, la contrastación de las fuentes de datos y la identificación de áreas de oportunidad, como la necesidad de informar sobre la consistencia de los instrumentos y técnicas empleadas, así como de identificar posibles sesgos de publicación. Además, se ha apreciado una falta de homogeneidad entre las plataformas especializadas en cuanto a la difusión de métricas editoriales, lo que representa otro reto para los investigadores.
Al considerar los datos recabados mediante el cuestionario Colin y la EACSH, se ha podido constatar la hipótesis del investigador, que planteaba la existencia de una correlación entre el promedio de las calificaciones obtenidas por los artículos en revisión y el promedio de las calificaciones obtenidas por el artículo publicado. Con un coeficiente Rho de Spearman de .667 bilateral y un nivel de significancia de .002, se ha encontrado una correlación positiva moderada entre estas variables.
En resumen, al emplear la metodología del metaanálisis, se avanza en la RS documental, considerando la importancia científica, ética y legal de informar sobre la consistencia interna de los datos recabados y la metodología empleada en la elaboración de artículos científicos. En tal sentido, es crucial reconocer que estos valores pueden variar en diferentes poblaciones, conforme a los objetivos planteados y el contexto donde se obtengan, lo que resalta la necesidad de una evaluación cuidadosa y contextualizada de los resultados.
Futuras líneas de investigación
Se identificaron en el presente estudio áreas de oportunidad marcadas por la coyuntura de generar publicaciones en ciencias sociales que aborden nuevos tipos de RS: las de alcance, paraguas y síntesis con enfoque en revisión de mapas. En consecuencia, se puede asegurar que constituye un desafío permanente para la comunidad académica el diseño de técnicas e instrumentos de libre acceso y calidad verificada que evalúen el aporte concreto de los documentos a la publicación de una RS. Asimismo, la difusión de los estudios en esta disciplina requiere trascender los recintos institucionales para apoyarse en plataformas de acceso abierto con fortaleza académica, de forma que se facilite el acceso público a los protocolos de investigación y los productos resultantes del proceso indagatorio.
