nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
El reto de la integración del sistema universitario español en el Espacio Europeo de Enseñanza Superior (EEES) supuso un cambio de paradigma en la estructura de las enseñanzas y en los consecuentes diseños de los planes de estudios. La construcción del EEES se consolida en 1999 con la “Declaración de Bolonia” en la que los ministros europeos de educación piden a los estados miembros de la Unión Europea impulsar el desarrollo curricular en la formación e investigación. Posteriormente en el “Comunicado de Praga” de 2001 se introducen líneas adicionales entre las que destaca la del aprendizaje a lo largo de la vida como elemento esencial para alcanzar una mayor competitividad europea, para mejorar la cohesión social, la igualdad de oportunidades y la calidad de vida.
El aprendizaje a lo largo de la vida es el eje vertebrador del diseño de un currículo basado en metodologías que promuevan en el estudiante el desarrollo de ciertas competencias para su vida personal y carrera profesional. Por lo que se refiere al ámbito profesional cabe decir que existen dos conceptos clave para que los estudiantes evolucionen en el aprendizaje de las competencias profesionalizadoras que son la empleabilidad y la movilidad. Ambos conceptos son los que recogen especialmente la materia de Prácticas Curriculares en los planes de estudios, tanto en el nivel de Grado como en el de Máster, para vincular el mundo académico con la realidad profesional.
Por lo tanto, en la materia del Prácticum se conectan los ámbitos académicos con los profesionales teniendo presente que ambos contienen tanto contenidos teóricos como prácticos, si bien se producen en contextos diferentes (Zabalza, 2011). Tal y como indican Freixa Niella, Vilà Baños y Rubio Hurtado (2015) la universidad y los centros de prácticas juegan un papel esencial en la transferencia de conocimientos. Desde esta perspectiva, los contextos de aprendizaje son clave en cuanto a la reflexión que el estudiante desarrolla en cada uno de estos y es evidente que en la práctica laboral
el aprendizaje se vuelve más efectivo al tener la referencia profesional, al estar ligado o vinculado a la resolución de dificultades o problemas reales. No sólo se incrementa su percepción de utilidad y motivación en el propio proceso de aprendizaje, sino que también se ve incrementada su aplicabilidad. La inmediatez de la experiencia aumenta la probabilidad de que el aprendizaje sea significativo y genera retos emocionales (Tejada y Ruiz, 2013, p. 97).
Todo ello nos lleva a pensar que una pedagogía por competencias requiere una mirada global y holística de los objetivos y contenidos a desarrollar, teniendo en cuenta que el total no es la suma de las partes sino que cada una de las partes adquieren sentido desde la globalidad.
No obstante, resulta complejo evaluar las competencias descritas en los planes docentes de las asignaturas de Prácticum porque en estos se recogen casi la totalidad de las competencias básicas y transversales de la titulación, ya que esta materia se considera un espacio convergente de los diferentes “saberes” integrados (saber, saber ser, saber hacer y saber estar). Es por eso por lo que la presente investigación tiene por objetivo diseñar un procedimiento de análisis del nivel de despliegue de dichas competencias en cuatro planes de estudios de máster. El procedimiento seguido se basa, en primer lugar, en la recogida de incidentes críticos experienciados por el alumnado en sus prácticas, que posteriormente son evaluados por el profesorado en base a una rúbrica.
La técnica de incidentes críticos en el contexto educativo
Flanagan (1954) describió por primera vez la técnica de incidentes críticos (IC) como “un conjunto de procedimientos para recopilar observaciones directas del comportamiento humano de tal manera que se facilite su utilidad potencial para resolver problemas prácticos y desarrollar principios psicológicos amplios” (p. 327). De esta manera, Flanagan pretendía conocer qué comportamientos facilitaban o dificultaban el desempeño de una actividad de manera efectiva.
Partiendo de los estudios de Flanagan diversos autores definieron y utilizaron esta técnica para recopilar y analizar información sobre experiencias de los sujetos. Bitner, Booms, y Tetreault (1990) definieron el incidente crítico como “una actividad humana observable que es lo suficientemente completa como para permitir que se hagan inferencias y predicciones sobre la persona que realiza el acto” (p. 73). Por ello, el incidente crítico no únicamente se entiende como acciones concretas que conducen a un resultado, sino que cuentan además con un significado real que permite hacer inferencias en el comportamiento de las personas. Más adelante Chell (1998) describe la técnica del incidente crítico como un “procedimiento de entrevista cualitativa que facilita la investigación de sucesos significativos (eventos, incidentes, procesos o problemas) identificados por el encuestado, la forma en que se gestionan y los resultados en términos de efectos percibidos” (p. 56). Para este autor el objetivo de la técnica es conocer el incidente desde la perspectiva de la persona que lo ha experimentado considerando las variables cognitivas y afectivas de ésta.
Otros autores como Griffin y Scherr (2010) amplían el concepto de incidente crítico como una herramienta que proporciona un nivel más profundo de reflexión, entendiendo éste como una situación que atrajo la atención y del que se extrae un análisis detallado sobre el significado del evento. Por tanto, desde su aparición los Incidentes Críticos (IC) han pasado de ser considerados índices de utilidad explicativa comportamental a tomar una dimensión más profunda, englobando elementos cognitivos y afectivos (Griffin y Scherr, 2010). En el presente artículo partiremos de esta concepción a la hora de diseñar el instrumento para la recogida de los incidentes críticos.
La técnica se ha ido adaptando a multitud de disciplinas, demostrando su efectividad en áreas tan dispares como la salud (Borvil, Kishchuk, y Potvin, 2017; Strachan, Kryworuchko, Nouvet, Downar, y You, 2018; Tontini, Bento, Milbratz, Volles, y Ferrari, 2017).
En concreto, en el ámbito de la educación esta técnica se ha usado para medir la adquisición de las competencias de los estudiantes, ya que los incidentes críticos proporcionan una base sobre la cual valorar el desempeño de las personas mediante indicadores de comportamiento, afectivos y cognitivos, así como para conocer la percepción de los estudiantes durante su aprendizaje (Gathright, Thrush, Guise, Krain, y Clardy, 2016; Kubberød y Pettersen, 2018; Rawles, 2016; Tella, Smith, Partanen, y Turunen, 2016).
La utilización de los IC en diversas áreas se debe a su gran flexibilidad, ya que la técnica puede ser modificada y adaptada según los requerimientos propios del estudio (Noreña Peña y Cibanal Juan, 2008). Gremler (2004), a partir de los resultados de diferentes investigaciones, recoge los puntos fuertes y puntos débiles del método de los incidentes críticos. En concreto, sus ventajas se centran en su naturaleza inductiva, que recoge un conjunto detallado de eventos desde la perspectiva del encuestado, y que además es un método culturalmente neutro. En contraposición, los puntos débiles se centran en la falta de fiabilidad y validez, debida a la subjetividad y ambigüedad en las reglas de codificación, su dependencia del recuerdo del entrevistado, y la baja tasa de respuestas y la poca disposición del encuestado en explicar una historia completa y detallada.
Con objeto de minimizar una de las limitaciones indicadas de los incidentes críticos, en concreto, la de subjetividad y ambigüedad en las reglas de codificación, en la presente investigación se diseña una rúbrica para el profesorado que les permita analizar el grado de despliegue de las competencias transversales a partir de evidencias basadas en incidentes críticos descritos por los alumnos en el contexto de prácticas.
Método
Diseño y procedimiento
El estudio multifuente que presentamos se realizó en tres fases. En la primera fase se analizaron los niveles de desarrollo de las competencias transversales profesionalizadoras a partir de las memorias de prácticas (fuente secundaria). Las competencias descritas en los planes de estudio, y coincidentes en todos los másteres, fueron:
CB6. Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación,
CB7. Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio,
CB8. Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios,
CB9. Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades,
CB10. Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo,
CG1. Trabajar en equipo de acuerdo con los valores sociales de cooperación y atención a la diversidad.
Se seleccionaron intencionalmente dos memorias de Prácticum de cada uno de los másteres objeto de intervención. La selección de estas la efectuó el responsable del Prácticum entre las que habían obtenido las calificaciones más altas y más bajas durante el curso académico 2016-2017. Las memorias fueron distribuidas, sin indicar su calificación, a cuatro equipos de jueces expertos configurados por dos personas que debían identificar contenidos que permitieran evaluar el nivel de desarrollo de las competencias que el alumno mostraba en base a su propio análisis.
En la segunda fase, se siguió el procedimiento descrito por Flanagan (1954) para el desarrollo de incidentes críticos: (1) establecer los objetivos generales con una descripción funcional de la actividad a llevar a cabo, (2) planificar/especificar instrucciones para los evaluadores sobre el procedimiento y la evaluación, (3) recolectar datos mediante entrevistas individuales/grupales, cuestionarios, formularios de registro, etc., (4) analizar los datos mediante el resumen y descripción de éstos de manera eficiente, y por último (5) interpretar el informe teniendo en cuenta las limitaciones en los procedimientos adoptados.
En este sentido, a partir de los resultados obtenidos en la primera fase, se realizó una prueba piloto administrando un cuestionario que traducía las competencias descritas en los planes docentes a preguntas-guía para evocar incidentes críticos en el alumnado. Para ello se les pedía que describieran lo que hizo, dijo, pensó y sintió en sus experiencias profesionales previas al máster, así como durante el periodo del Prácticum. La narrativa de dichas experiencias tenía por objeto analizar el grado de consecución de las competencias profesionales transversales que el alumno consideraba que había puesto en juego. Posteriormente, el profesorado participante en la investigación, a partir de una rúbrica, asignó un nivel de despliegue de la competencia a cada uno de los incidentes críticos señalados por los estudiantes. Finalmente, en la fase 3, a partir de los resultados obtenidos por el profesorado se procedió a reajustar las preguntas-guía y a administrarlas a una muestra más amplia (curso 2018-2019) (fuente primaria).
Contexto y participantes
La investigación se ha desarrollado en cuatro másteres oficiales de la Universidad de Barcelona. Hemos considerado adecuado escoger másteres del ámbito de las ciencias humanas y sociales ya que, en general, según la AQU (2017), presentan dificultades en su inserción laboral. En concreto, los másteres objeto de estudio son los siguientes:
Erasmus Mundus on Work, Organizational and Personnel Psychology (WOP-P): graduados o licenciados en Psicología. Dado el carácter internacional del máster, la procedencia del alumnado es principalmente de países europeos.
Máster en Gestión y Desarrollo de Personas y Equipos en las Organizaciones (GDO): Graduados y licenciados en Psicología o Relaciones Laborales. Un porcentaje aproximado del 20% proviene de países latinoamericanos.
Máster en Formación de Profesores de Español como Lengua Extranjera (ELE): Licenciados o graduados en Filología, Lingüística, Traducción o Pedagogía. Un porcentaje importante del alumnado proviene de terceros países.
Máster de Educación Interdisciplinaria de las Artes (EIA): Graduados o Diplomados en Maestro de Educación Primaria o Infantil, Bellas Artes, Pedagogía, Filología, Historia del Arte, Psicopedagogía, estudios superiores de Música, estudios de interpretación o similares.
Las características demográficas que comparten los 403 estudiantes de los másteres en el periodo 2012-2018 se centran en la edad (entre 21 y 25 años) y el género, mayoritariamente mujeres (entre 68,6% y 89,62%, de promedio). Las principales diferencias se hallan el porcentaje de alumnos extranjeros, mayoritarios en el WOP-P (59.93% de media) y minoritarios en el máster ELE (8,6% de media).
Un total de once estudiantes respondieron el cuestionario piloto (entre dos y tres por máster). En cuanto al cuestionario definitivo se recogieron datos de 34 estudiantes que fueron evaluados de forma independiente por 8 docentes de los diferentes ámbitos de conocimiento de los másteres participantes.
Instrumento
Las competencias descritas en los planes docentes se tradujeron en un formato de preguntas-guía para el alumnado, que les permitieran evidenciar los incidentes críticos que habían experimentado en sus prácticas. Este instrumento fue evaluado en una primera fase piloto y modificado posteriormente en base a los comentarios del profesorado (Tabla 1).
Tabla 1 Competencias descritas en los planes docentes y su correspondencia con el guion de entrevista de incidentes críticos
| Competencias planes docentes | Piloto | Versión final |
|---|---|---|
| CB6. Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación. | ¿Puedes explicar una situación en la que tus conocimientos te han permitido desarrollar tu actividad laboral/formativa de un modo original? ¿Cuándo se produjo? ¿Qué sucedió? | ¿Puedes explicar una situación en la que tus conocimientos te han permitido desarrollar tu actividad laboral/formativa de un modo original? ¿Cuándo se produjo la situación? ¿Qué sucedió? Explica qué conocimientos previos has podido aplicar a una situación concreta para resolver problemas en nuevos contextos. ¿Qué conocimientos facilitaron la resolución positiva? |
| CB7. Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio. | ¿Puedes explicar alguna situación en el que tus conocimientos adquiridos en un área determinada te han permitido solucionar problemas en otra área que desconocías o era nueva para ti? ¿Qué conocimientos facilitaron la resolución positiva? | |
| CB8. Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios. | ¿Puedes explicar una situación en la que emitiste un juicio ética y socialmente responsable, a pesar de qué disponías de poca información? ¿Cuándo se produjo? ¿Qué sucedió? | ¿Puedes explicar una situación en la que emitiste un juicio responsable y ético? ¿Cuándo se produjo la situación? ¿Qué sucedió? |
| CB9. Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades. | ¿Puedes explicar una situación en la que has tenido que comunicar y fundamentar, ante una audiencia especializada (o no), algún aspecto de tu actividad laboral/formativa? ¿Cuándo se produjo? ¿Qué sucedió? ¿Cuál fue el resultado? | |
| CB10. Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo. | ¿Qué tres aspectos consideras claves para desarrollar tu carrera profesional de forma exitosa? | ¿Qué 3 aspectos consideras claves para seguir desarrollando tu carrera profesional de forma autónoma? |
| CG1. Trabajar en equipo de acuerdo con los valores sociales de cooperación y atención a la diversidad. | ¿Puedes explicar una situación en la que trabajar en equipo fue un éxito y otra en la que no? ¿Qué elementos deberían haber cambiado para que fuera un éxito? | |
Para determinar el grado de despliegue de las competencias evidenciado a partir de los incidentes críticos se elaboró una rúbrica para el profesorado. Las cinco competencias se han analizado a partir de un número variable de indicadores (entre 3 y 4). Para la redacción de los indicadores se ha utilizado principalmente la descripción propuesta por Alsina et al. (2013). En el caso de la competencia comunicativa se ha tenido en cuenta la descripción de factores específicos propuesta por Dunbar, Brooks, y Kubicka-Miller (2006). Además, para las competencias Responsabilidad Ética y Autonomía se ha incorporado un factor específico propuesto por el grupo de investigación (Tabla 2).
Tabla 2 Competencias, indicadores, niveles de desarrollo y fuentes de la rúbrica
| Competencia | Indicadores | Nivel de desarrollo | Fuente |
|---|---|---|---|
| CB6. Originalidad | CB6.1. Visión de la realidad que le envuelve y evaluación de aspectos positivos y negativos del contexto planteado CB6.2. Integración de los conocimientos de diferentes disciplinas para generar ideas CB6.3. Iniciativa y propuesta de acciones innovadoras ante retos planteados | 4 niveles | Alsina et al. (2013) |
| CB7.Transferencia | CB7.1. Propuesta previa o diseño de un proceso o procedimiento adecuado para conseguir los objetivos propuestos aplicables a situaciones reales CB7.2. Aplicación de los conocimientos teóricos a situaciones que se presentan en escenarios reales o simulados | 4 niveles | Alsina et al. (2013) |
| CB8. Responsabilidad ética | CB8.1. Gestión adecuada de situaciones que desde un punto de vista ético resulten significativos CB8.2. Implicaciones prácticas de la ética profesional en su actividad | 3 niveles | Alsina et al. (2013) GID-CAV |
| CB9. Comunicación | CB9.1. Comunicación con objetivo específico CB9.2. Utilización de material de soporte adecuado CB9.3. Utilización adecuada del lenguaje CB9.4Argumentación de la presentación | 4 niveles | Dunbar, Brooks, y Kubicka-Miller (2006) Alsina et al. (2013) |
| CB10. Autonomía | CB10.1. Aprendizaje autónomo como requisito para el desarrollo profesional | 3 niveles | GID-CAV |
| CG1. Trabajo en equipo | CG1.1. Compartir con el equipo el conocimiento y la información CG1.2. Implicación en los objetivos del grupo y retroalimentación constructiva CG1.3. Valoración de la colaboración del trabajo en equipo | 4 niveles | Alsina et al. (2013) |
Resultados
A continuación, se presentan los resultados de las tres fases del proyecto investigador, correspondientes al análisis de las memorias de prácticas, estudio piloto y administración final.
Fase I. Análisis de las memorias de prácticas
Cada equipo de jueces expertos analizó dos memorias de prácticas de un mismo máster. Para ello, debían evaluar el grado de consecución de las competencias profesionales transversales que las memorias reflejaban (bajo - medio - alto). Los dos jueces de cada equipo realizaban el análisis por separado para posteriormente corroborar el grado de ajuste. Los resultados muestran las dificultades de los expertos para hallar evidencias en las memorias en relación con las competencias evaluadas. En aquellos casos en que se pudieron establecer, la dispersión de las valoraciones de los jueces resultaba tan amplia que no permitía hallar una valoración consensuada.
Las conclusiones alcanzadas por los diferentes equipos de jueces se presentaron en una sesión conjunta de trabajo. En ella, dadas las dificultades manifestadas por todos los equipos participantes, se llegó al acuerdo de evaluar el grado de desarrollo de las competencias a partir de incidentes críticos explícitos que se solicitarían al alumnado.
Fase II: Estudio piloto.
A partir de las respuestas dadas por los estudiantes al guion de incidentes críticos, los resultados indican que tres de las competencias (CB7, CB8, y CB10) les generaban confusión a la hora de reflexionar sobre el grado en qué su actividad de prácticas permitía evidenciar el despliegue de las mismas.
Para paliar estas dificultades el equipo investigador acordó unificar las competencias CB6 y CB7 en una sola pregunta, pidiendo aclaración acerca de qué conocimientos y cómo se han desarrollado (CB6), así como en qué contexto (CB7). La competencia CB8 se reformuló en ¿Puedes explicar una situación en la que emitiste un juicio responsable y ético?, y la CB10 en ¿Qué tres aspectos consideras claves para seguir desarrollando tu carrera de forma autónoma? (Tabla 1).
Fase III: Administración final
La versión final de las preguntas-guía de incidentes críticos (Tabla 1) fue administrada a los estudiantes de los diferentes másteres, evaluando los jueces expertos sus evidencias a partir de la rúbrica desarrollada a tal efecto (Tabla 2).
En primer lugar, se analizó la tendencia de respuesta de cada uno de los jueces de forma global. Los resultados indican que en la mayoría de los casos todos los jueces pudieron evaluar las evidencias descritas por los estudiantes. La principal excepción se encuentra en los indicadores de la competencia CB9 - Comunicación. En este caso, el 50% de los jueces no pudieron evaluar al menos al 50% de los estudiantes. Dos jueces evaluaron un promedio de entre 34 y 31.6 casos, respectivamente. En cambio, uno de los jueces evaluó a un promedio de 16.53 casos, con un elevado número de evidencias no evaluadas (entre 21 y 25) en los indicadores CB10.1, CG1.1 y CG1.2.
En segundo lugar, se analizó el nivel de acuerdo interjueces a partir del coeficiente de variación, para explorar la homogeneidad o heterogeneidad de las respuestas de los evaluadores, y asumiendo como punto de corte 49,9% de variabilidad. Los indicadores dónde se observa más homogeneidad entre los jueces son CB8.1, referida a la gestión adecuada de situaciones desde un punto de vista ético; CB10, referida a la importancia del aprendizaje autónomo para el desarrollo profesional; y CG1.1 (compartir conocimientos e información), CG1.2 (implicación en los objetivos grupales y retroalimentación constructiva), y CG1.3 (importancia atribuida al trabajo en equipo).
Tabla 3 Número de casos con coeficientes de variación superiores a 49.9%, rango de variabilidad y puntuación media obtenida en cada indicador de las competencias
| Competencia | Indicador | Número de casos con CV>49.9% | Rango de variabilidad >49.9% | Media global |
|---|---|---|---|---|
| Responsabilidad ética | CB8.1. Gestión adecuada de situaciones que desde un punto de vista ético resulten significativas, complejas o conflictivas | 0 | - | 2.04 |
| Autonomía | CB10. Aprendizaje autónomo como requisito para el desarrollo profesional | 0 | - | 2.22 |
| Trabajo en equipo | CG1.1. Compartir con el equipo el conocimiento y la información | 0 | - | 2.83 |
| CG1.2. Compartir con el equipo el conocimiento y la información | 0 | - | 2.71 | |
| CG1.3. Valoración de la colaboración del trabajo en equipo | 0 | - | 2.96 | |
| Responsabilidad ética | CB8.2. Implicaciones prácticas de la ética profesional en su actividad | 3 | 50% - 55.5% | 2.08 |
| Originalidad | CB6.3. Iniciativa y propuesta de acciones innovadoras ante retos planteados | 9 | 51.8% - 59.8% | 2.54 |
| Transferencia | CB7.2. Aplicación de los conocimientos teóricos a situaciones que se presenten en escenarios reales o simulados | 9 | 55.1% - 78.8% | 2.83 |
| Originalidad | CB6.2. Integración de los conocimientos de diferentes disciplinas para generar ideas | 11 | 51.8% - 56.6% | 2.50 |
| Transferencia | CB7.1. Propuesta previa o diseño de un proceso o procedimiento adecuado para conseguir los objetivos propuestos aplicables a situaciones reales | 11 | 49.9% -81.6% | 2.28 |
| Originalidad | CB6.1. Visión de la realidad que le envuelve y evaluación de aspectos positivos y negativos del contexto planteado | 12 | 49.9% - 66.6% | 2.50 |
| Comunicación | CB9.1. Comunicación con objetivo específico | 15 | 50% - 72.4% | 1.82 |
| CB9.3. Utilización adecuada del lenguaje | 21 | 51.2% - 70.7% | 1.32 | |
| CB9.4. Argumentación de la presentación | 23 | 50% - 86.6% | 1.40 | |
| CB9.2. Utilización de material de soporte adecuado | 29 | 51.2% -74.7% | 1.14 |
Nota: CV=Coeficiente de variación
En cambio, coincidiendo con bajas tasas de respuesta emitidas por los jueces, los indicadores que muestran más heterogeneidad son todos los referidos a la variable Comunicación. Por orden de heterogeneidad, los indicadores son CB9.2 (material de soporte), CB9.4 (argumentación), CB9.3 (uso adecuado del lenguaje), y CB9.1 (objetivo específico). En estos casos, se obtuvieron 29, 23, 21 y 15 evaluaciones por con una variabilidad superior al 49,9% respectivamente. En un nivel intermedio de homogeneidad se encuentran los indicadores de las competencias de Originalidad y Transferencia (¡Error! No se encuentra el origen de la referencia.).
Si analizamos la respuesta de los jueces para cada sujeto se puede observar que algunos causan sistemáticamente controversia en la evaluación de sus respuestas. En concreto un 17,7% de los casos obtienen coeficientes de variación por encima del punto de corte establecido en entre 7 y 9 indicadores, y un 38,2% los obtienen entre 4 y 6 indicadores.
Por último, se analizaron los indicadores en función de las puntuaciones medias otorgadas por los jueces al conjunto de casos. Los indicadores con medias superiores son los tres correspondientes a la competencia Trabajo en equipo, y al indicador “Aplicación de los conocimientos teóricos a situaciones que se presenten en escenarios reales o simulados” que mide la competencia de Transferencia. Por el contrario, los indicadores con medias más bajas son los cuatro que componen la competencia de Comunicación.
Conclusiones
La presente investigación tenía por objetivo diseñar un procedimiento que permitiera analizar el grado de despliegue de las competencias transversales en cuatro másteres oficiales del ámbito de las ciencias humanas y sociales, a partir de evidencias basadas en incidentes críticos descritos por los alumnos.
Los resultados nos muestran que las memorias de prácticas que habitualmente se utilizan como herramienta de evaluación no incluyen información que permita evaluar el nivel de adquisición de las competencias transversales. Este resultado constata una seria limitación en el ajuste entre lo que los planes docentes afirman que debe desarrollarse y lo que finalmente es evaluado, planteándose interrogantes acerca de los mecanismos puestos en marcha para el desarrollo de las competencias transversales.
Para minimizar dicha limitación, la investigación desarrollada pretendió dar un paso más allá en la evaluación de estas competencias, creando un sistema que permite al alumno reflexionar sobre su actividad práctica en relación a las competencias transversales. Además, gracias al desarrollo de una rúbrica de evaluación para el profesorado, que fue puesta a prueba y mejorada para su administración en diferentes estudios de máster, las calificaciones resultan más objetivas y precisas, al tiempo que pueden contribuir a la autoevaluación y coevalulación del alumnado (García Irles, Sempere Ortells, Marco de la Calle y De la Sen Fernández, 2011).
No obstante, resulta especialmente sorprendente los bajos niveles de acuerdo alcanzados por los jueces a la hora de evaluar la competencia comunicativa, frente a los altos niveles alcanzados en la evaluación de la competencia ética y la autonomía. Este resultado podría ser producto de las bajas tasa de respuesta emitidas por los jueces a la hora de evaluar la competencia comunicativa. Ello nos advierte, por un lado, de la necesidad de una mayor especificación de esta, tal y como señala Beltrán (2004), a partir de incorporar indicadores relativos a la competencia lingüística, paralingüística, pragmática, textual y cronética. Y por otro, de la necesidad de formación en los docentes de los aspectos comunicacionales, dado que resulta interesante señalar que aquellos evaluadores que optaron por no valorarla eran aquellos que no disponían de conocimientos profundos en comunicación interpersonal.
Para finalizar, señalar que se optó por administrar por escrito las preguntas-guía para la recogida de los incidentes críticos, dado que, a diferencia de lo que ocurre cuando se administra oralmente, permite que los participantes lean cuidadosamente las instrucciones y respondan de manera estructurada, al disponer de más tiempo. Aun así, no permite la aclaración de dudas, o la profundización en temas que el participante no reconoce como relevantes. Por ello, en investigaciones futuras se sugiere hacer uso de técnicas cualitativas que doten a los participantes de una mayor libertad de respuesta. En este sentido, el diseño de entrevistas semiestructuradas se nos sugiere como un procedimiento adecuado para la recogida de información, si bien consideramos preciso clarificar al entrevistado qué se considera un incidente crítico, es decir, qué tipo de comportamientos son relevantes en la actividad. Así mismo, la rúbrica diseñada para el profesorado deberá ser adaptada para que sea también una herramienta útil para la auto y coevaluación del alumnado.
