nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La presentación de proyectos de investigación es una práctica habitual en los posgrados y suele ser un requisito para: ingresar al posgrado, evaluar para obtenerlo o un seguimiento de los avances durante el proceso. Esta última opción es frecuente en varios posgrados, y diferentes países1. Estas evaluaciones definen el futuro del estudiante y son de altas consecuencias para su futuro académico. Esta consecuencia académica implica que su evaluación sea lo más objetiva posible y el empleo de rúbricas se sugiere como una opción, aunque su empleo aún es limitado2.
En los posgrados se realizan seminarios de investigación o de avance de proyecto, en los que el sustentante presenta diversas etapas del proceso para obtener el grado. No obstante, la importancia de estas evaluaciones para la vida académica del estudiante, se han privilegiado los contenidos, sin considerar la comunicación oral de los mismos, lo que ha limitado la evaluación objetiva de estos procesos3.En este documento se describen los hallazgos más importantes de la aplicación y evaluación de una rúbrica adaptada de la que se empleó para evaluar la presentación oral de los estudiantes en un curso de altas consecuencias4. Nuestro objetivo fue evaluar la presentación oral de los proyectos de investigación de los alumnos en el posgrado.
Método y población
Estudio metodológico de tipo observacional, para analizar la validez de los resultados obtenidos de la rúbrica para evaluar presentaciones de proyectos de investigación, aplicada en la maestría en Educación en Ciencias de la Salud del posgrado de Ciencias Médicas, Odontológicas y de la Salud de la UNAM (MECS). El instrumento evaluó las presentaciones e incluyó las habilidades comunicativas verbales, no verbales, el tipo de apoyos visuales y organización empleada por el alumno. Se aplicó en 2 ocasiones: noviembre a diciembre de 2016, en el seminario de investigación (SI) de la MECS y durante el coloquio de investigación (CI) del programa el 12 de enero de 2017. Al inicio de cada seminario se les indicó a los participantes que se aplicaría una rúbrica para evaluar la presentación oral de su proyecto. Se comunicó en qué consistía el instrumento y que se les haría llegar en un formato en Google Forms para que lo contestaran al final del seminario. Se indicó que su aplicación era parte de un proceso de evaluación formativa, sin repercusiones en su evaluación final, que el reporte era individual (un formato para cada estudiante evaluado) y la información de las evaluaciones era anónima. Del total de las evaluaciones se haría un reporte para cada estudiante, que se les entregaría individualmente. El SI es una asignatura obligatoria, semestral, y representa el 22% del total de créditos del plan de estudios. Asisten profesores y estudiantes del posgrado (maestría y doctorado); 2 horas a la semana para atender la presentación del trabajo de investigación de 2 estudiantes. La calificación del SI considera la presentación y entrega de avances en el proyecto y la participación en la ronda de preguntas. El CI se realiza al final del semestre.
Consideraciones éticas
Tanto el SI como el CI son actividades obligatorias que forman parte del plan de estudios de la Maestría y Doctorado, y la rúbrica se empleó para la evaluación de las presentaciones de los proyectos de los estudiantes. Antes de la aplicación de la rúbrica se les explicó a los estudiantes el objetivo del estudio y que el resultado no tendría repercusión alguna en su evaluación final; los datos obtenidos se emplearían únicamente con fines de investigación y se preservaría en todo momento el anonimato de la información obtenida.
Descripción de la rúbrica
La rúbrica empleada es una modificación de Peeters, Sahloff & Stone (anexo 1)4. Se tradujo, retrotradujo (backtranslation) y adaptó, lo cual comprendió 16 rasgos agrupados en 4 categorías descritas en la tabla 1. Cada rasgo se dividió en 4 niveles de desempeño que iban de menos a más en cuanto a la eficiencia de la presentación. Se eliminaron algunos ítems que no se aplicaban a la evaluación de la presentación oral del proyecto y más hacia el objetivo original de la rúbrica.
Tabla 1 Categorías y rasgos de la rúbrica para evaluar presentaciones
| Categorías | # | Rasgos |
|---|---|---|
| Habilidades no verbales | 1 | Contacto visual |
| 2 | Control de la audiencia | |
| 3 | Empleo de notas | |
| 4 | Expresión facial | |
| 5 | Comportamiento | |
| 6 | Gestos, manierismos, muletillas y lenguaje | |
| 7 | Postura corporal | |
| Habilidades verbales | 8 | Entusiasmo y tono de voz |
| 9 | Velocidad del habla | |
| 10 | Volumen | |
| Apoyos visuales | 11 | Efectividad de la presentación |
| 12 | Redacción en láminas | |
| Contenido/ organización | 13 | Presentación balanceada del material e integración de referencias |
| 14 | Organización | |
| 15 | Secciones | |
| 16 | Habilidad para responder |
Análisis estadístico
Se elaboró una base de datos con los resultados de las aplicaciones que incluyó: la aplicación (SI o CI), fecha, nombre y sexo del evaluador, nombre y sexo del alumno evaluado, nivel (maestría o doctorado) y semestre. Se realizó análisis descriptivo para caracterizar la población participante. Se aplicó el análisis factorial de componentes principales a los 16 rasgos de la rúbrica5.A partir del mismo se obtuvieron varianza total explicada y matriz de componente rotado (con método de rotación Varimax y normalización Kaiser). Se realizó análisis de fiabilidad con alfa de Cronbach para los componentes derivados del análisis factorial5. Con los resultados de fiabilidad obtenidos se analizaron los componentes derivados del análisis factorial y se definieron las temáticas asociadas con ellos.
Se realizó un estudio observacional para obtener validez del uso de instrumentos de medición, con el modelo de Crédito Parcial de Rasch para predicciones probabilísticas de las respuestas esperadas a los ítems de una escala, así como proponer una función logística de la diferencia relativa entre el nivel de dificultad del ítem y el nivel de habilidad de la persona para responderlo. En este modelo, no es obligatoria la normalidad de los datos6,7. El análisis se realizó con IBM SPSS Statistics 23.0, Microsoft Excel 2013 y WINSTEPS, versión 3.63.0.
Resultados
La rúbrica se aplicó a 40% de los estudiantes del posgrado durante el SI y a 90% de ésta en el CI. En la primera aplicación en el SI, se evaluaron 8 alumnos, con 23 evaluadores (20 alumnos y 3 docentes); se obtuvieron 140 formularios aplicados con Google Forms; en la segunda, participaron 18 miembros del comité tutoral, que evaluaron a 18 alumnos, se obtuvieron 45 formularios completos en papel. Siete alumnos fueron evaluados tanto en seminario como en coloquio; 3 evaluadores participaron en ambas aplicaciones.
Los resultados del análisis factorial mostraron que hasta e 49% de la varianza total es explicada por 3 componentes. La matriz rotada arrojó 15 ítems cargados en 3 componentes y solo se eliminó uno. El primer componente refiere a los relacionados con eldiseño de la presentación; el segundo alcontrol interno del estudiante, y el tercero a lashabilidades de interacción con la audiencia. Los valores del primer componente oscilan en el rango .683 a .776, los del segundo de .506 a .695, y los del tercero de .485 a .673. Si bien los valores aceptados deben ser superiores a .5, en este caso se consideró incluir el ítem volumen (valor .485) por su cercanía con el valor aceptable y porque lo que evalúa es congruente con el ámbito de interacción con la audiencia. El único ítem excluido fue el empleo de notas.
El componentediseño de la presentaciónse centró en el contenido y diseño de la presentación. El componentecontrol interno del estudianteconsideró la forma en la que éste se desenvuelve al realizar la presentación, como el lenguaje que emplea, el tono de voz y la velocidad al hablar, su lenguaje corporal y su capacidad para responder a los cuestionamientos u observaciones. Finalmente,la interacción con la audienciase refirió a habilidades que permiten al estudiante captar la atención de los participantes y mantenerla.
El alfa de Cronbach para los 16 ítems fue de .823, con 83% de casos válidos, de los 185 procesados.
La tabla 2muestra el índice de discriminación de Rasch de los 3 componentes -a)Diseño de la presentación, b)Control interno del estudiante, y c)Interacción con la audiencia-, los cuales resultaron del análisis factorial, realizado para asegurar unidimensionalidad.
Tabla 2 Índice de discriminación de los componentes por ítem
| Diseño de la presentación | ID | Control interno del estudiante | ID | Interacción con la audiencia | ID |
|---|---|---|---|---|---|
| Efectividad de la presentación | 1.08 | Comportamiento | 1.01 | Contacto visual | 0.99 |
| Redacción en láminas | 0.85 | Gestos, manierismos, muletillas y lenguaje | 1 | Control de la audiencia | 1.09 |
| Presentación balanceada del ma terial e integración de referencias | 1.06 | Postura corporal | 1.17 | Expresión facial | 1.06 |
| Organización | 1.29 | Velocidad del habla | 1.01 | Entusiasmo y tono de voz | 0.79 |
| Secciones | 0.66 | Habilidad para responder | 0.86 | Volumen | 1.08 |
ID: índice de discriminación.
Fuente: Elaboración propia a partir de cálculos derivados del análisis de Crédito Parcial de Rasch.
Todos los ítems presentaron un alto índice de discriminación, mayor que .65, que indicó que la habilidad estimada para cada evaluación no dependió del número y tipo de ítems, ni la dificultad de los mismos sino del número y tipo de evaluaciones.
En el instrumento se observaron parámetros adecuados tanto para las evaluaciones como para los ítems, es decir los residuales cuadráticos medios (mnsq) fueron de 0.99, deben situarse en el intervalo entre 0.6 y 1.4, donde 1 sería el valor ideal6. En los estadísticos residuales cuadráticos medios estandarizados (zstd) el valor fue 0; un valor de 0 indica que el modelo predice de forma adecuada los datos observados, considerándose que aquellos que se encuentran en el intervalo -2 y +2 indican que hay un ajuste aceptable (componentes diseño de la presentación, control interno, interacción con audiencia).
El ajuste específico de los parámetros para cada ítem, tanto en elinfitcomooutfitdel mnsq, se encontraron dentro de un ajuste adecuado. Todos los valores de los zstd estaban en el rango apropiado, excepto para el componentediseño de la presentación, en el índiceoutfitdel ítem 4 (organización), que estaba por debajo del valor de -2. Los valores de la correlación punto biserial, reflejan que cada ítem contribuyó de manera adecuada a la medición de cada componente.
Discusión
Los resultados muestran las fortalezas y debilidades de la rúbrica aplicada a estudiantes del programa MECS para evaluar presentaciones del SI8,9.
El análisis factorial mostró una agrupación de 15 ítems en 3 componentes, que aluden a las habilidades de los estudiantes en cada presentación, y son:diseño de la presentación, control interno e interacción con la audiencia. Es destacable que solo un ítem haya quedado fuera, lo que puede indicar la fortaleza que presenta la adaptación del instrumento al contexto del posgrado.
El alfa de Cronbach para todo el instrumento es cercana a uno y la calculada por componente arroja fiabilidad importante en el diseño de la presentación y en el control interno del estudiante, no así en la interacción con la audiencia, donde el valor .567 está muy por debajo del .823 obtenido por todo el instrumento.
Se encontró un adecuado ajuste general de los datos al modelo, que indicó que es posible encontrar un patrón de respuesta predecible en la rúbrica (para los 3 componentes) y por tanto modelable con el Modelo de Crédito Parcial.
Si los datos presentan un buen ajuste al modelo de Rasch propuesto, considerando que se tuvieron 185 evaluaciones, entonces es posible afirmar que las estimaciones de los parámetros de los ítems y las estimaciones de los parámetros de habilidad de las personas son independientes entre sí. Coincidimos con Malini y Andrade10en que resulta necesario probar la calidad de los resultados que arroja el instrumento, por ello nuestro objetivo. Entendemos por validez si la rúbrica mide lo que pretende medir, y por fiabilidad, si provee consistencia al calificarla.
Poco se ha atendido la validez de las rúbricas, ya que la mayor parte de lo reportado se centra en la fiabilidad10,11. Hay pocas pruebas piloto en cuanto a la fiabilidad de las rúbricas antes de implementarlas, y pocos son los que reportan los resultados. Los estudios deben reportar cómo es que establecieron la validez de la rúbrica, la fiabilidad de los puntajes, así como el logro de fiabilidad de los puntajes asignados por los evaluadores, entre otros10.Este estudio atiende esos aspectos y pretende aportar información útil y replicable para esos efectos.
De acuerdo con el apartado de desarrollo de este documento, de los 3 componentes de la rúbrica, tanto en el decontrol interno del estudiantecomo en el deinteracción con la audiencia, un criterio de cada uno tuvo valores muy bajos, lo que nos indica que es posible evaluarlos con sólo 3 categorías. Esto resulta significativo de acuerdo con el estudio desarrollado por García-Ros2, en donde a partir de los resultados que obtuvieron de la aplicación de su rúbrica concluyen que son necesarios más estudios que tengan como objetivo reducir el número de los criterios que se incorporan en ella.
Es importante considerar que una rúbrica bien elaborada aminorará las inconsistencias que pudieran darse en el proceso de puntuación al minimizar los errores causados por el perfil y la realimentación del evaluador; así como por la claridad en las descripciones de los criterios12.
Todo esto señala que la rúbrica es útil para evaluar las presentaciones de los estudiantes del posgrado en cuestión, es un instrumento confiable y con evidencia de validez para hacerlo.
De acuerdo con García-Ros2, la percepción de los estudiantes sobre el uso de una rúbrica fortalece su validez. El presentarla y discutir con ellos su utilidad para el aprendizaje reduce la ansiedad que ocasionan las presentaciones, ya que, de acuerdo con el autor, las presentaciones orales son una de las actividades en las que los estudiantes muestran mayor ansiedad12,13.
