nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
Para la realización de investigaciones en educación es importante contar con instrumentos confiables, pero también validados; existen varios tipos de validez y entre los de mayor uso están: validez de constructo, de criterio y contenido. Esta última es la que se eligió para presentar en este artículo la propuesta de herramienta virtual. Cabe señalar que dicha herramienta ya fue utilizada para validar un cuestionario web como parte de una investigación del doctorado en Sistemas y Ambientes Educativos de la Facultad de Pedagogía de la Universidad Veracruzana; por ello, tomaremos como referencia ese procedimiento para ejemplificar el uso real de la herramienta.
Parte del interés de exponer este trabajo es exhibir las ventajas que representa el uso de una herramienta virtual diseñada específicamente para validar el contenido de instrumentos por parte de un comité de expertos. Esta tarea tiene varias implicaciones para quienes fungen como jueces, porque, además de requerir determinados conocimientos y experiencia, demandan tiempo y organización en sus actividades para poder desarrollarla con oportunidad.
Llevar a cabo el análisis de los ítems que componen un instrumento dependerá de los objetivos que pretenda el investigador que solicita el apoyo de los jueces, así como del método estadístico que se proponga utilizar; incluso, pueden surgir algunas recomendaciones o sugerencias para mejorar la redacción o el contenido de los ítems que conforman el instrumento, las cuales deben ser consideradas para lograr una mejor definición del aspecto a medir.
El referente metodológico para el proceso de validez se retomó principalmente de la propuesta de Escobar y Cuervo (2008), quienes elaboraron una plantilla de cuatro categorías: claridad, coherencia, relevancia y suficiencia; asimismo, definieron la validez de contenido por juicio de expertos como "una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados en éste, y que pueden dar información, evidencia, juicios y valoraciones" (p. 29). De esa forma, resulta trascendente la elección de los jueces, ya que es importante dilucidar si se trata de personas conocedoras de la temática por su formación académica o su experiencia laboral. Aunado a ello, cabe considerar sus ocupaciones y concertar los tiempos para la realización de la tarea de validación.
El juicio de expertos es una estrategia con amplias ventajas; Cabero y Llorente (2013) las resumen así:
… la teórica calidad de la respuesta que obtenemos de la persona, el nivel de profundización de la valoración que se nos ofrece, su facilidad de puesta en acción, la no exigencia de muchos requisitos técnicos y humanos para su ejecución, el poder utilizar en ella diferentes estrategias para recoger la información es de gran utilidad para determinar el conocimiento sobre contenidos y temáticas difíciles, complejas y novedosas o poco estudiadas, y la posibilidad de obtener información pormenorizada sobre el tema sometido a estudio (p. 14).
En virtud de las ventajas que representa este tipo de procedimiento, su uso es ampliamente difundido; en algunas investigaciones identificadas en la literatura sobre el tema se distingue una variedad de procedimientos para el análisis de los datos; por ejemplo, Robles y Rojas (2015) realizaron la validación de instrumentos para el ámbito de la lingüística aplicada con el propósito de obtener datos sobre la expresión oral de estudiantes; recurrieron al procedimiento de juicio de expertos para validar los ítems y descriptores, así como la equivalencia de las consignas.
Pedrosa, Suárez-Álvarez y García-Cueto (2013) describen diversos métodos para la estimación de la validez de contenido; a continuación resumimos sus características:
El método basado en el análisis factorial de Tucker, que considera las puntuaciones que los jueces asignan a la relevancia de los ítems.
El índice de validez de contenido de Lawshe, en el que hay una evaluación individual de los ítems y a través de la razón de validez de contenido (RVC) se identifica si son adecuados, o no.
El índice de congruencia ítem-objetivo de Rovinelli y Hambleton, en el cual el juez evalúa con +10 -1, dependiendo de si el ítem mide lo planteado en el objetivo, o no.
El índice de congruencia de Hambleton es una variante del método anterior; solo que en este existe un índice de congruencia entre el ítem y el constructo.
La V de Aiken es parecido al método de Hambleton y se centra también en la relevancia ítem-constructo, pero en él se toma en cuenta el número de expertos participantes.
El método de esclarecimiento y análisis de clusters por Sireci y Geisienger; aquí se da valor a la tasa de similitud del grupo de ítems con base en el escalamiento multidimensional y al analizar los clusters.
El método de capacidades mínimas de Levine, Maye, Ulm y Gordon, que se centra en el nivel de capacidad o habilidad mínima requerida para lograr exitosamente algún criterio.
El método de rango interpercentil ajustado a la simetría de Fitch, también conocido como IPRAS, por su acrónimo en inglés; en él se utiliza una escala Likert de nueve puntos que valora la adecuación y relevancia.
El coeficiente de validez de contenido de Hernández-Nieto, que valora el grado de acuerdo por ítem entre los jueces.
El índice de validez factorial de Rubio, el cual combina tres índices y vincula la validez de constructo con la de contenido.
El índice promedio de la desviación media de Claeys, Neve, Tulkens y Spinewine; este calcula el índice de validez de contenido y el índice promediado de la desviación media para valorar los acuerdos, independientemente de si son ítems valorados de manera positiva o negativa.
Debido a que algunos métodos están diseñados solo para medir el acuerdo entre dos jueces y otros requieren un número mayor de participantes, es recomendable prever cuántos jueces van a participar conforme a las características de la prueba y el análisis estadístico correspondiente.
Acerca de la participación como juez experto, Robles y Rojas (2015) hacen referencia a la relevancia de fungir como tal; indican que esa labor es fundamental para "eliminar aspectos irrelevantes, incorporar los que son imprescindibles y/o modificar aquellos que lo requieran" (s.p.). En el proceso de validez de contenido se ponen en juego una serie de opiniones argumentadas por parte de los expertos y, aunque no se encuentren acuerdos unánimes, se pueden identificar las debilidades y fortalezas del instrumento. Ello permitirá un análisis profundo por parte del investigador que dará lugar a la toma de decisiones respecto a qué modificar, integrar o eliminar.
El procedimiento puede variar según los objetivos del instrumento o el contexto de aplicación; por este motivo, también resulta necesario informar a los jueces sobre los antecedentes de construcción del instrumento, así como las características de la población y el lugar donde se llevará a cabo su aplicación. Muchas veces, los instrumentos son adaptaciones de otros, traducciones o se modifican aumentando o eliminando ítems; todo ello debe ser explicado a los jueces antes de la valoración del instrumento.
OPINIÓN SOBRE LA EXPERIENCIA DE PARTICIPAR COMO EXPERTO EN INVESTIGACIÓN
Con la finalidad de obtener elementos respecto a la experiencia de validar el contenido de instrumentos, recogimos las opiniones de académicos que han participado en esta tarea. Los datos se obtuvieron a través de un cuestionario aplicado en línea a distintos académicos; los participantes fueron ocho doctores pertenecientes a cuatro instituciones de educación superior: Universidad Veracruzana, Instituto Tecnológico de Sonora, Benemérita Universidad Autónoma de Puebla y Universidad Autónoma de México; su antigüedad laboral oscila entre dieciséis y treinta y un años. La experiencia laboral de los doctores se enfoca a investigación y docencia universitaria, y su formación se centra en áreas como investigación en psicología, educación superior y política pública, comunicación y tecnología educativa.
Los doctores participantes contestaron un cuestionario en línea conformado por doce preguntas, enfocadas a explorar: cuántas veces han participado como jueces expertos; las formas más usuales en las que reciben la solicitud para fungir como tales; el criterio por el que creen que son elegidos; la satisfacción que les deja realizar esta tarea, y si la consideran fácil o difícil, entretenida o tediosa.
También se les preguntó si han tenido que rechazar esta actividad, el tiempo que invierten en llevarla a cabo, la comunicación que establecen con el investigador que les solicita su apoyo y su opinión respecto a efectuar la validación de forma presencial o en línea. El cuestionario se les hizo llegar a través de la liga https://goo.gl/forms/J3z4vhUk6l1pUzL12, correspondiente a la función de Google Forms.
En lo concerniente a la experiencia de los académicos participantes en la validación de instrumentos, 62.5% plantearon haber realizado esta tarea más de 16 veces; 12.5%, entre 6 y 15 veces; y 25%, en menos de 5 oportunidades. Lo anterior indica que son personas con amplia experiencia y conocedoras de varios procedimientos para esta tarea. En cuanto a las formas más recurrentes de recibir la invitación a participar, todos coincidieron en haber sido invitados a través de algún medio virtual, principalmente por correo electrónico.
Al preguntarles cuál creían que era el criterio de elección para participar como jueces, 87.5% señalaron que era por sus conocimientos en investigación más que por grado académico, y ninguno consideró que se debiera a su experiencia laboral.
La mayoría de los académicos participantes definieron como satisfactoria la tarea de fungir como juez experto, pero también la catalogaron como difícil y con frecuencia entretenida (ver gráficas 1, 2 y 3).
Gráfica 1 Opinión de los jueces expertos acerca de la satisfacción que produce validar un instrumento
Gráfica 2 Opinión de los jueces expertos acerca de la dificultad que representa validar un instrumento
Aun considerando que la actividad no es fácil, los doctores comentaron que nunca rechazan participar como jueces, a menos que la temática no corresponda a su campo de conocimiento. No obstante, identificaron una serie de problemas al llevar a cabo el proceso de validación, entre los cuales se destacan los siguientes:
La cantidad de dimensiones o variables que se pretende medir. En ocasiones, son instrumentos muy diversos que incluyen múltiples dimensiones sin que haya una separación clara entre una u otra.
La falta de claridad en los criterios para realizar la evaluación; el instrumento se recibe sin que se especifique qué se espera del proceso, y se deja en el juez la responsabilidad de interpretar cuál es el objetivo.
Planteamiento confuso o problemas en la definición del objetivo del instrumento, las dimensiones que lo componen o las categorías a evaluar. Puede ocurrir por problemas en la redacción, pero también por confusiones en el contenido.
La falta de consideración del investigador respecto a los tiempos con los que cuenta el juez experto para la revisión del instrumento debido a su carga laboral. Las demandas laborales de los docentes investigadores son muchas; por ello, llegar con la solicitud de revisarlo en una semana o menos resulta poco probable que suceda.
La extensión de los instrumentos, en ocasiones, son varias cuartillas, y eso requiere que se tenga que ir deteniendo para revisarlo por partes.
Estos problemas también se reflejan en una mayor pérdida de tiempo, ya que se tiene que dialogar para aclarar las situaciones que se presenten, redefinir tiempos, volver a redactar algunos ítems, explicar verbalmente los objetivos o categorías, entre otros que también consumen tiempo de parte de los jueces.
Cuando se les preguntó qué ventajas encontraban al poder efectuar el proceso de revisión en línea, identificaron que esta modalidad resulta cómoda y dinámica; pueden distribuir mejor sus tiempos; la consideran más rápida, ya que se captura la información con facilidad; es más concreta y se reducen las ambigüedades. Además, no se pierde la posibilidad de entrar en contacto con el investigador y aprovechar la tecnología para comentar dudas acerca del trabajo o retroalimentarlo.
Al tener como referente las opiniones positivas acerca de la realización de los procesos de validación en línea por parte de jueces expertos, se obtuvo mayor certidumbre en cuanto a las posibilidades de uso de la herramienta virtual que se propone, ya que con su uso se pretenden resolver algunas de estas dificultades, no solo para el rol del juez, sino para el investigador, quien puede llenar la plantilla de la herramienta con la información de su instrumento, las instrucciones que considere necesarias y recuperar la información en una hoja de cálculo; con ello se ahorra tiempo y se evitan omisiones en el envío que se hace a los jueces.
LA HERRAMIENTA VIRTUAL, SUS CATEGORÍAS Y FORMAS DE USO
La investigación en el ámbito educativo representa varios retos cuando se pretende desarrollar de manera apropiada; por ello, apoyarse en una herramienta para facilitar alguno de los procesos que la acompañan resulta deseable, sobre todo en aspectos tan relevantes como la validación del instrumento con el cual se van a recabar los datos; de ello depende la obtención de resultados fidedignos o coherentes con los objetivos planteados.
La herramienta virtual diseñada se basó en las cuatro categorías que Escobar y Cuervo (2008) establecieron para dar validez de contenido a los ítems a través de una plantilla: coherencia, relevancia, claridad y suficiencia. En el caso de suficiencia, la valoración no puede ser por ítem, sino por el grupo de ítems que conforman una dimensión a evaluar, puesto que lo que se valora es si son suficientes para ello, o no. Para cada categoría se muestran cuatro indicadores numéricos que representan la opinión del juez sobre qué medida cumple cada ítem con la categoría indicada (ver tabla 1).
Tabla 1 Categorías de la herramienta virtual e indicadores
Fuente: adaptado de Escobar y Cuervo (2008 p. 37),.
Nota: para la elaboración de la herramienta virtual se consideraron cuatro categorías; el indicador uno de las categorías se asigna cuando el ítem no cumple con la categoría, y así en lo sucesivo hasta el indicador cuatro, lo que representa que el ítem cumple totalmente con lo que se espera de acuerdo con la definición de la categoría.
Solo en el caso de suficiencia se califica por dimensión y no por ítem.
La herramienta virtual se llama "Plantilla para evaluar la validez de contenido a través de juicio de expertos" y consta de dos pantallas principales, una plantilla para el registro de los datos del juez evaluador y otra para registrar la calificación y las observaciones a cada ítem y, con ello, participar en el proceso de validación de contenido. El formulario se realizó en la plataforma de programación para Web PHP, enlazado a una base de datos elaborada en MySQL. El sistema se aloja en un sitio gratuito con un dominio que requiere el uso de subredes. El nombre de la subred fue validez y el seleccionado como dominio fue total.net; quedó como protocolo de ingreso: http://validez.totalh.net.
La propuesta para la validación a través de la herramienta virtual descrita se puede aplicar con dos o más jueces, el número que determine el investigador. Para conseguir los datos esperados, recomendamos seguir cinco pasos:
Enviar la invitación a participar para cada juez, resaltar por qué lo eligió y sugerir un tiempo aproximado para la devolución de resultados.
Asegurarse de adjuntar el archivo electrónico con el instrumento a validar e insertar el link de la herramienta "Plantilla para evaluar la validez de contenido a través de juicio de expertos"; cuidar la claridad en la definición de las categorías a evaluar y las dimensiones que conforman su instrumento.
Revisar la base de datos en MySQL para identificar cuántos jueces faltan por responder; en caso de ser necesario, se puede enviar un recordatorio o invitar a algún otro experto.
Llevar a cabo el análisis estadístico de los datos y revisar los ítems con bajo puntaje.
Reelaborar, corregir, aumentar u omitir aquellos ítems que recibieron observaciones específicas por parte de alguno de los jueces, según sea el caso.
La citada plantilla considera dos pantallas para hacer más clara la explicación del proceso y se acompaña con el ejemplo de la validación de contenido de cuestionario web en la que participaron siete jueces expertos. En la primera pantalla se presenta: el nombre del instrumento a validar; la razón por la cual se le eligió como juez experto; el objetivo del instrumento; las instrucciones de llenado; y un formulario para recabar datos del juez experto. Sin embargo, esta pantalla puede contener otros datos: la población a la que se dirige; el tiempo para su validación; si el instrumento forma parte de alguna investigación en posgrado; si es la adaptación de algún otro instrumento; en fin, toda información que sirva como antecedente para el juez y que le clarifique lo que se espera de él o de su participación (ver figura 1).
Una vez que el juez llena el formulario con sus datos, puede dar clic en el botón de continuar y se abre una nueva pantalla (ver figura 2). Los jueces pueden apreciar una tabla.
La columna A sirve para identificar el número de ítem en orden ascendente y consecutivo, como se presenta en el instrumento. La B tiene escrito el ítem a valorar y la C contiene una escala del 1 al 4 para que el juez dé clic en el indicador que considere adecuado conforme a las categorías: coherencia, relevancia y claridad.
En la misma pantalla, pero del lado derecho, se despliegan las indicaciones a seguir por los jueces, así como la descripción de las dimensiones a evaluar; en este caso es un ejemplo, pero puede sustituirse de acuerdo con cada instrumento.
Para facilitar la evaluación de cada ítem, estos se despliegan en un tooltip al deslizar el puntero sobre la fila; de esta forma, aparece exactamente igual que en el instrumento real, lo cual resulta muy útil en los ítems de opción múltiple.
Finalmente, en virtud de que la categoría de suficiencia se evalúa por dimensión y no por ítem, este rubro se colocó al final de la segunda pantalla (figura 3), además de un espacio abierto para las observaciones (ver figura 4).
Figura 4 Sección de la pantalla para evaluar la suficiencia de los ítems por dimensión e incluir observaciones
Las dimensiones que se ponen de ejemplo son tres y se modifican a partir de las que conforman cada instrumento. La suficiencia se evalúa por dimensión porque se realiza para identificar si la cantidad de ítems basta para medir la dimensión a la que pertenecen. El apartado de observaciones queda abierto para incluir las sugerencias que los jueces crean pertinentes.
Una vez terminada la evaluación por parte de los jueces expertos, la información se guarda en una base de datos en el manejador MySQL, a partir del cual se puede exportar la información a una hoja de cálculo o algún otro programa para los análisis estadísticos correspondientes. Del mismo modo, será necesario leer aquellas recomendaciones que los jueces formulen en el apartado de observaciones.
En el caso del instrumento que se valoró utilizando la herramienta virtual, se recibieron las siguientes observaciones por parte de uno de los jueces:
Pregunta 16.5. La expresión "en mis estudios" constriñe el contexto de usabilidad de las TIC, por lo cual puede ampliarse a "mis actividades educativas o laborales".
Pregunta 16.7. El término "metodología" tiene un uso diverso según el contexto de empleo, pero casi siempre se entiende en el ámbito de la investigación. Por ello, sugiero se diga "participando de estrategias educativas que... " para que, además, puedan quedar involucrados como sujetos el profesor o el estudiante.
Pregunta 16.19. En lugar de "introducir", "incorporar" las TIC en los procesos educativos o actividades escolares (Juez 01).
Las participaciones de los jueces pueden ser dirigidas a la mejora de algún ítem, pero también hacia aspectos generales; por ejemplo:
Los reactivos redactados en negativo no son recomendables porque pueden implicar una doble negación. Sugiero traducirlos a una afirmación. Por ejemplo, el reactivo "no me parece conveniente introducir las TIC... " se puede redactar como "me parece inconveniente... " (Juez 04).
De esta manera, se cuenta con las opiniones de los jueces expertos y se advierten objetivamente las aportaciones en cada dimensión, ítem o categoría; así se revisan los elementos y se replantean para validar el contenido del instrumento, que concluye cuando los ítems sean coherentes, claros, relevantes y suficientes.
CONCLUSIÓN
La propuesta para utilizar esta herramienta virtual trata de facilitar el proceso para el investigador y para los jueces; se centra en mejorar aspectos como respetar el tiempo del investigador y de los jueces; concretar la cantidad de dimensiones o variables que se pretende medir; clarificar los criterios para el proceso de validación; especificar qué se espera del proceso; plantear claramente el objetivo del instrumento; explicar a qué se refiere cada una de las dimensiones que lo componen; y facilitar el registro de la información.
El proceso para hacer posible la validación de contenido de los instrumentos de investigación a través de juicio de expertos resulta más eficiente cuando especifica lo que se espera de ellos, pero también cuando se respetan sus tiempos en consideración a las cargas laborales que desempeñan. Con el uso de la herramienta virtual, se tiene la ventaja de la asincronía, y se evitan problemas relacionados con la distancia y los tiempos. Esta situación incluye al investigador, ya que la información recabada se guarda en una base de datos MySQL, lo que facilita que se puedan exportar los datos a hojas de cálculo o a programas para el análisis estadístico y se ahorra el paso de transcribir la información de cada juez participante.
Según el método de análisis de la información que se elija, resulta conveniente identificar aquellos ítems o dimensiones que hayan presentado mayores discrepancias entre los jueces o recibido una baja calificación, o acuerdos negativos respecto a alguna de las categorías evaluadas. De ese modo, se puede trabajar en la mejora de los ítems que la requieran hasta constatar que el instrumento es válido en contenido y puede pasar a la siguiente etapa de piloteo del instrumento.
