SciELO - Scientific Electronic Library Online

 
vol.8 número21Evaluación del aprendizaje en la educación superior. Percepciones de profesores y estudianes en las universidades portuguesasBranding y reputación: pilares básicos de la visibilidad online del profesor de educación superior índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Revista iberoamericana de educación superior

versión On-line ISSN 2007-2872

Rev. iberoam. educ. super vol.8 no.21 Ciudad de México feb. 2017

 

Territorios

Competencias del profesor universitario: elaboración y validación de un cuestionario de autoevaluación

Competências do professor universitário: elaboração e validação de um questionário de auto avaliação

University professor competencies: development and validation of a self-assessment questionnaire

Marta Ruiz-Corbella* 

Ruth-Marlene Aguilar-Feijoo** 

* Española. Doctora en Filosofía y Ciencias de la Educación por la Universidad Complutense de Madrid, España. Profesora Titular de Teoría de la Educación, Facultad de Educación, Universidad Nacional de Educación a Distancia, España. Temas de investigación: teoría de la educación, educación a distancia y formación virtual, educación superior, política educativa. mruiz@edu.uned.es

** Ecuatoriana. Doctora en Educación por la Universidad Nacional de Educación a Distancia, España. Profesora titular e investigadora en el Departamento de Ciencias de la Educación, Universidad Técnica Particular de Loja (UTPL), Ecuador. Temas de investigación: educación a distancia, educación superior, educación de adultos. raguilar@UTPL.edu.ec


Resumen:

Conocer las competencias que posee el docente universitario para mejorar su práctica en entornos presenciales y virtuales, a la vez que atender sus necesidades formativas, es fundamental. Con este propósito se diseñó un cuestionario de autoevaluación (20 competencias, 114 indicadores) que recorre las cuatro funciones universitarias (docencia, investigación, vinculación con el entorno y gestión). El artículo explica el proceso de elaboración y validación de este cuestionario. Se procedió a la validación de contenido a partir del juicio de expertos; al análisis de su fiabilidad, a partir del Alpha de Cronbach, obteniéndose valores en la prueba piloto de 0.88 y 0.99, y en la aplicación final de 0.92 y 0.97 en una población de 424 profesores universitarios de una institución latinoamericana. La consistencia interna se valoró con la prueba de dos mitades y se obtuvieron asociaciones moderadas y fuertes. Estos resultados dan confiabilidad al instrumento para autoevaluar competencias genéricas y específicas del profesor universitario.

Palabras clave: educación superior; perfil del profesor; competencias profesionales; autoevaluación; validez; Ecuador

Resumo:

Conhecer as competências que o docente universitário possui é fundamental para melhorar a prática em ambientes presenciais e virtuais, bem como atender as necessidades formativas. Para esse fim, foi desenhado o questionário de autoavaliação (20 competências, 114 indicadores) que percorre as quatro funções universitárias (docência, pesquisa, vinculação com o entorno e gestão). O artigo explica o processo de elaboração e validação do questionário. Procedeuse à validação de conteúdo a partir do juízo de especialistas e à análise de fiabilidade a partir do Alpha de Cronbach, obtendo valores no teste piloto de 0.88 e 0.99 e na avaliação final de 0.92 e 0.97 em uma população de 424 professores universitários de uma instituição latinoamericana. A consistência interna foi avaliada com o teste das duas metades e foram obtidas associações moderadas e fortes. Os resultados obtidos fornecem confiabilidade ao instrumento para autoavaliar competências genéricas e específicas do professor universitário.

Palavras chave: ensino superior; perfil do professor; competências profissionais; autoavaliação; validez; Equador

Abstract:

Knowing the competencies which university teachers have to improve their practice and virtual environments, while meeting their training needs, is essential. To this end, a self-assessment questionnaire (20 competencies, 114 indicators) that covers four university functions (teaching, research, links with the environment and management) was designed. This article explains the process of development and validation of this questionnaire. We proceeded to the validation of content from experts' judgment; the analysis of reliability, from Alpha Cronbach values which gave us 0.88 and 0.99 in the pilot test, and in the final application, values of 0.92 and 0.97 in a population of 424 university professors from a Latin American institution. Internal consistency was assessed with the Split-Half Test and moderate and strong partnerships were obtained. These results give confidence to the instrument to self-assess generic and specific competencies by university professors.

Key words: higher education; teacher profile; skills; self - assessment; validity; Ecuador

El profesor universitario en el escenario de la educación del siglo XXI

El docente universitario, desde el final del pasado siglo xx, ha abordado sus actividades profesionales en un contexto profundamente cambiante caracterizado, principalmente, por enormes avances científicos, tecnológicos, pedagógicos y de comunicación. Este panorama ya se advirtió en la primera Conferencia Mundial sobre Educación Superior (UNESCO, 1998) en la que se predijo el surgimiento de una “nueva cultura universitaria”, de la que necesariamente formarían parte la calidad, la evaluación y la rendición de cuentas, la docencia en entornos presenciales y digitales, la gestión estratégica eficaz, la apertura internacional y la movilidad. Retos que en la actualidad está afrontando la educación superior (Tünnermann, 2003, 2008). A su vez, diferentes organismos internacionales (UNESCO, Banco Mundial, Organización para la Cooperación y el Desarrollo Económico (OCDE), Unión de Universidades de América Latina (UDUAL), entre otros) consideran a la universidad como agente protagónico del progreso de la sociedad, y a su profesorado como pilar fundamental en esta misión. De ahí la recomendación que para garantizar la calidad en la enseñanza superior sea necesario:

atraer y retener a un personal docente y de investigación calificado, talentoso y comprometido con su labor, así como promover la formación y realización de investigaciones pedagógicas que mejoren las estrategias didácticas y aseguren condiciones profesionales apropiadas, a fin de garantizar la excelencia en la investigación y la enseñanza, para hacer frente a los desafíos mundiales y construir economías basadas en el conocimiento, que sean más integradoras, equitativas y sostenibles (UNESCO,2009: 4).

La universidad está viviendo uno de los momentos de mayor transformación de su historia, que conlleva nuevos requerimientos y nuevas exigencias para el profesorado. Lo que nos exige la tarea urgente de “delimitar las competencias que precisa el profesor universitario para desarrollar adecuadamente las funciones, roles, etc. derivados de este nuevo escenario de actuación profesional” (Mas, 2011: 196). Sin duda, el profesor es factor clave en todo este proceso de modernización de la universidad, ya que su misión se centra en avanzar en el conocimiento a partir de su investigación, a la vez que iniciar a otros en un área de conocimiento a través de la docencia (Reyero, 2014), funciones para las que se requiere de competencias propias que debe dominar. Nadie cuestiona que el rol de los profesores en la universidad ha cambiado, ha pasado de expositor a guía, a administrador de medios (Fernández Muñoz, 2003), además de que trabaja en un nuevo entorno, presencial y virtual, que demanda formas de enseñanza más activas y eficaces, potenciadoras del proceso de construcción del conocimiento en los estudiantes. Lo que requiere preparar al profesor para los cambios que, de manera acelerada, se producen en la ciencia, la tecnología y la sociedad.

Un profesor universitario más capacitado para la búsqueda y utilización de metodologías participativas, sin perder de vista que los nuevos tiempos exigen un profesor comprometido con el ser humano y con la sociedad. Y, de forma especial, un docente capaz de autoevaluar el nivel de logro de sus propias competencias, lo que posibilitará identificar aquellas de mayor y menor dominio y determinar, así, sus necesidades formativas. Con esta finalidad el presente artículo se propone describir el proceso de diseño y validación de un cuestionario de autoevaluación que permita a todo docente, y a las propias universidades, identificar el nivel de logro de las competencias específicas y transversales propias del profesor universitario en entornos presenciales y virtuales.1

Las competencias del profesor universitario

Definición de competencia profesional

Sobre competencia se ha investigado y escrito mucho en las últimas décadas. Es un concepto complejo, multidimensional y polisémico, difícil de definir y evaluar, muy ligado a los cambios que estamos viviendo en la universidad y a los nuevos requerimientos de la función docente (Lasnier, 2001; Pavié, 2011). Para acercarnos a la definición de este concepto se ha revisado la literatura publicada desde 1982 hasta la actualidad. De este periodo hemos seleccionado 40 definiciones de acuerdo con los criterios de pertinencia al ámbito universitario, actualidad de las mismas y relevancia de sus autores, con el objetivo de identificar los indicadores que deben estar presentes en toda declaración de competencia (Aguilar Feijoo, 2014). El análisis de contenido de estas definiciones aportó la sistematización en cinco componentes clave que, de una u otra forma, deben estar presentes en toda definición de competencia en un contexto profesional (Tabla 1).

Tabla 1 Componentes clave en las definiciones de competencia 

Al hilo de estos resultados, debemos destacar que si bien el 90% de los autores identifican los componentes fundamentales de toda competencia (destrezas, actitudes, capacidades, conocimientos, etcétera), hay un 32% (13) en las que se equipara la competencia con alguno de sus componentes, lo que implica fraccionarla y no captarla en su totalidad, reduciéndola a una simple ejecución de tareas. El 72% coincide en incorporar la noción de integración, sinergia, combinación de varios recursos y estructura compleja, que se moviliza para hacer frente a diversas situaciones, resolver problemas, desempeñarse con éxito. Esto revela que las competencias siempre están asociadas a la acción y la práctica.

El 95% incluye el desempeño como evidencia o logro de las competencias, lo que exige del profesional un saber actuar, soluciones creativas, respuestas eficaces, saber desenvolverse, resolución de problemas de forma autónoma en la vida cotidiana y en el ámbito laboral, movilizando para ello todos los recursos de que dispone y los que el entorno le ofrece. Un 30% incluyen el carácter contextual al actuar siempre en un escenario concreto que vincula al docente con un mundo profesional determinado, lo que garantiza una preparación idónea para el desempeño laboral y profesional. Y sólo en un 7% de las definiciones se expresa que las competencias requieren de procesos de aprendizaje, que se desarrollan a través de la mediación pedagógica. Por último cabe destacar que toda competencia es un ‘saber actuar complejo’, en el que, además, lo importante no son los recursos, sino la manera como la persona combina, integra, moviliza variedad de recursos, internos y externos, para actuar en diversidad de situaciones.

Una vez analizadas todas estas declaraciones, definimos la competencia docente como aquella que implica “la integración sinérgica de una serie de recursos (destrezas, actitudes, valores, conocimientos, procedimientos) que el profesor universitario moviliza y combina de manera creativa para desempeñar una docencia proactiva que contribuya al desarrollo de la persona y del entorno social” (Aguilar Feijoo, 2014: 79).

Ahora bien, ya hemos afirmado que estamos ante un concepto complejo, multidimensional, por lo que identificar los rasgos más sobresalientes que la caracterizan ayuda a desentrañar su verdadera dimensión y alcance, favoreciendo su correcta utilización. El análisis de las definiciones que recogimos permitió también registrar las características coincidentes, lo que determina los rasgos más importantes que siempre deberán estar presentes:

  • Un carácter integrador, combinatorio; integración eficaz de una variedad de recursos en estructuras complejas.

  • La relevancia de la capacidad de combinar, integrar y movilizar los recursos.

  • Un carácter dinámico, evolucionan en el tiempo desarrollándose a lo largo de toda la vida.

  • La experiencia indispensable en el proceso de su adquisición.

  • La transferibilidad y la transversalidad, pues todas ellas se entrelazan compartiendo conocimientos, destrezas y actitudes en situaciones muy diferentes.

  • La identificación en la acción, ya que se manifiestan en desempeños, se evidencian y reconocen siempre en la práctica.

  • La necesaria evaluación en contextos de acción reales.

El perfil competencial del profesor universitario en entornos presenciales y virtuales

La primera decisión a la hora de elaborar el perfil del profesor universitario fue elegir la clasificación más adecuada para identificar las competencias que requiere este docente. A partir de la literatura revisada se optó por una clasificación sencilla y práctica, que ha sido utilizada por varios autores en los trabajos realizados desde 2003 hasta la actualidad (Saravia, 2004; Corominas et al., 2006; Tobón, 2006; Beneitone et al., 2007; Villa y Poblete, 2008; Mas y Tejada, 2013, entre otros), lo que ha permitido obtener una amplia visión y los fundamentos necesarios sobre las competencias profesionales, transversales y específicas, consideradas necesarias para el desempeño de este profesional. A partir de la información recogida se estructuró el perfil del docente universitario en áreas, funciones y dimensiones (Tabla 2).

Tabla 2 Estructura general del perfil competencial del docente universitario 

Con esta información se construyó el perfil ideal del profesor universitario en entornos presenciales y virtuales; esto es necesario pues aporta las competencias fundamentales en todo rol profesional a la vez que identifica elementos concretos para promover la formación, contar con un lenguaje común y detectar fácilmente áreas de mejora o carencias en el desarrollo profesional (Chechia, 2009). En este perfil se distinguen claramente dos tipos de competencias: las transversales y las específicas.

  1. Competencias transversales, las que atraviesan toda tarea docente universitaria. Se refieren a valores, actitudes, destrezas y cualidades personales que debe impregnar su actividad cotidiana. Además de reflejar la identidad y los principios de la institución educativa en la que trabaja.

  2. Competencias específicas, propias de cada una de las funciones que el profesor universitario desarrolla: docencia, investigación, vinculación con la sociedad (extensión) y gestión institucional.

En el marco de esta estructura, se identificó el perfil ideal del profesor universitario, elaboración que significó un proceso largo y minucioso, en el que se recogieron aportes de nuevos enfoques y concepciones sobre docencia y aprendizaje en todo entorno de enseñanza-aprendizaje (García Aretio, 2014; Reyero, 2014; Adell, 2011; Salinas, 2004; Marquès, 2000; Monereo y Domínguez, 2014, etcétera). Finalmente, el perfil competencial del docente universitario en entornos presenciales y virtuales se concretó en 20 competencias, distribuidas en cuatro transversales (destrezas y actitudes personales e interpersonales) y 16 específicas, que cubren las cuatro funciones del docente universitario: 10 competencias para la docencia (planificación, desarrollo y evaluación); tres para la investigación; una sobre vinculación con la sociedad y dos para la gestión institucional. Identificar este perfil constituyó la tarea previa y prioritaria para poder elaborar el cuestionario de autoevaluación de las competencias docentes, herramienta que aportará una información valiosa para detectar los puntos fuertes y débiles de todo profesor en su actuación profesional, ayudándole a planificar, en consecuencia, su proyecto de desarrollo profesional.

Este proyecto se inicia con la exploración documental para definir y relacionar nuestro problema de investigación con los estudios ya existentes, a la vez que revisar las técnicas y los instrumentos utilizados en estudios similares. En este artículo nos centraremos en el desarrollo seguido para la elaboración y validación del cuestionario de autoevaluación de competencias, de tal modo que todo docente pueda determinar cuáles son sus puntos fuertes de acuerdo con el perfil competencial como profesor universitario en ambos entornos, y cuáles son sus debilidades con el objeto de mejorar su formación y su práctica profesional.

La elaboración del cuestionario de autoevaluación de las competencias del profesor universitario

El contexto de la investigación

Esta investigación se ha desarrollado en la Universidad Técnica Particular de Loja (UTPL), Ecuador, institución privada que lleva más de 44 años impartiendo docencia en entornos presenciales y a distancia y/o virtuales. Su matrícula, en el curso 2014-2015 en el que se llevó a cabo esta investigación, asciende a más de 35 000 estudiantes que cursan alguno de los 23 grados y másteres, y a 424 docentes bimodales, que desarrollan su actividad en ambos entornos de enseñanza aprendizaje. La pregunta de investigación que motivó este estudio es si el profesorado de esta universidad reúne las competencias, transversales y específicas, necesarias para responder a las exigencias docentes en ambos contextos.

Se eligió un instrumento de autoevaluación, ya que interesa el juicio que la persona realiza sobre su propio desempeño, quien valora de manera responsable su propia capacidad para realizar cada tarea pedagógica, investigadora o gestora. Esta técnica es muy útil para alentar el desarrollo individual (Giraldo, 2004), a la vez que permite valorar y reconocer sus posibilidades y carencias con el objeto de consolidar unas, modificar o eliminar otras (Smitter, 2008). En definitiva, autoconocimiento y autorregulación.

Revisión de cuestionarios para la autoevaluación de competencias docentes

El diseño y preparación del cuestionario de autoevaluación implicó la revisión de cuestionarios, elaborados entre 2001 y 2012, utilizados para evaluar o autoevaluar competencias de docentes en diferentes niveles educativos, atendiendo las dimensiones a las que se dirige ese instrumento y el número de indicadores en los que se concreta.

De todos los instrumentos identificados, se seleccionaron 29 de éstos, 12 elaborados y aplicados en la región latinoamericana y 17 en España, de acuerdo con tres criterios: a) instrumentos relacionados con la docencia universitaria, b) elaborados en los últimos 10 años y c) que aporten indicadores valiosos relacionados con las funciones y competencias del docente universitario en entorno presencial y a distancia.

De éstos, 18 se dirigen a evaluar únicamente la docencia universitaria, tres se centran en competencias tecnológicas de los docentes y su desempeño en entornos virtuales de aprendizaje, dos en la percepción de los profesores sobre la evaluación institucional, dos evalúan la creatividad de los profesores en la enseñanza, dos las competencias profesionales, un cuestionario determina las competencias genéricas y uno las competencias básicas del profesor universitario. El 80% utilizan para la valoración la escala tipo Likert con tres, cinco o diez categorías para consignar la respuesta.

Este análisis permitió también detectar la carencia de un instrumento para la autoevaluación del profesorado universitario en entornos presenciales y virtuales, objetivo de esta investigación. En primer lugar, los cuestionarios revisados evalúan únicamente una o dos de las cuatro funciones del docente universitario. Y segundo, no se orientan específicamente a detectar el nivel de logro de las competencias que posee el profesor universitario. A raíz de esta situación se decidió elaborar y validar un instrumento adaptado a este trabajo y al contexto en el que se aplicó, la UTPL de Ecuador. Ahora bien, todos los instrumentos revisados fueron fuentes muy valiosas para la construcción de este nuevo cuestionario de autoevaluación.

Proceso seguido para la elaboración del cuestionario de autoevaluación de las competencias del profesor universitario en entornos presenciales y virtuales

El reto consistió en construir un instrumento de autoevaluación que determinase las competencias que poseen los profesores universitarios y el nivel de logro alcanzado en cada una de ellas. Se partió del perfil competencial del docente universitario en entornos presenciales y virtuales realizado, tal como ya hemos mencionado, que identificó 20 competencias, distribuidas en cuatro transversales y 16 específicas, que cubren las cuatro funciones del docente universitario. El siguiente paso que demandó especial dedicación fue elegir, adaptar y redactar los descriptores o indicadores, que reflejasen los elementos esenciales de cada una de ellas, con el objeto de que nos permitieran identificar la presencia o ausencia de cada competencia y el nivel de desarrollo alcanzado. Se prepararon cuatro versiones sucesivas de este instrumento, centradas en el logro de su claridad y pertinencia. Cada una de estas versiones permitió atender las cuatro fases necesarias en la elaboración de todo cuestionario: borrador inicial, validación de expertos, prueba piloto y versión definitiva.

La validación del cuestionario de autoevaluación de competencias docentes

Al elaborar un instrumento específico para esta investigación fue necesario contar con un proceso metodológico adecuado y sistemático con el fin de comprobar su validez y fiabilidad. Su validación implicó tres momentos: la validez de contenido realizado a través del juicio de expertos, la confiabilidad y consistencia interna a través del análisis de los resultados de la prueba piloto, y la aplicación final del instrumento, con el Alpha de Cronbach y la prueba de Dos Mitades.

Validación mediante la técnica de juicio por expertos

Para esta tarea de validación del primer borrador se seleccionaron 14 expertos cualificados y de reconocido prestigio de acuerdo con los siguientes criterios: profesional de la educación, con amplia experiencia en el ámbito de la docencia universitaria y la gestión en sus instituciones, y con investigación acreditada. El 64% proceden de instituciones latinoamericanas y el 35% de españolas. Expertos a los que se les pidió analizar críticamente el borrador inicial del instrumento, centrándose en la relevancia de cada uno de sus componentes (competencias, dimensiones e indicadores), la adecuación de cada uno de éstos a los objetivos de la investigación y la coherencia de su estructura. Se solicitó, de manera especial, que pusieran atención en la claridad de las instrucciones y de cada uno de los indicadores, buscando redundancias, ambigüedades y pertinencia de éstos en relación con la competencia, la adecuación con las escalas y los valores de respuesta, la coherencia interna y distribución equilibrada de los indicadores en cada competencia.

Dado que el cuestionario inicial constaba de 20 competencias y 186 indicadores, se vio la necesidad de acompañar el instrumento con una guía que facilitara la tarea de los expertos. Para su elaboración se eligió un trabajo realizado por García López y Cabero (2011). Esta guía constó de cuatro partes: la primera dedicada a validar las instrucciones generales del cuestionario, la segunda evaluaba las dimensiones y competencias contempladas. La tercera solicitaba validar la parte central y medular del instrumento: los indicadores; por lo tanto, además de los cuatro aspectos que se pedía evaluar, en esta parte se introdujo una matriz en la que se pudieran especificar los indicadores que requerían ser mejorados o eliminados, escribiendo las razones para ello. Finalmente, se solicitó a los expertos aportar una valoración general del cuestionario de autoevaluación, teniendo en cuenta cinco aspectos, además de escribir su percepción global y las recomendaciones que considerasen oportunas. En total la guía incluyó 17 preguntas categorizadas con una escala de cuatro niveles de valoración: muy buena, buena, regular y mala. Y, en cada apartado de la guía, se dejó un espacio en blanco para que los expertos pudieran escribir observaciones, sugerencias y comentarios sobre cada componente.

De los 14 especialistas invitados, únicamente 10 participaron en esta técnica de juicio de expertos. Sus desacuerdos y sugerencias permitieron perfilar el contenido de estas competencias y realizar los necesarios cambios en nuestra propuesta. Los resultados cuantitativos y cualitativos de este proceso de validación han sido agrupados en cuatro bloques, de acuerdo con la estructura de esta guía.

Instrucciones generales

En relación con la claridad en la redacción y adecuación a los destinatarios, el 80% valora las instrucciones como muy buenas. En cuanto a la calidad y extensión del contenido de las instrucciones encontramos que el 70% de los especialistas las calificaron como muy buena. De manera global las valoraciones de los expertos han generado las siguientes medidas de tendencia central: x- 3.75 (entre 3 buena y 4 muy buena); σ = 0.44; Md= 4 muy buena y Me= 4, muy buena. Esto significa que los jueces consideraron que las “instrucciones” eran muy buenas en cuanto a claridad, adecuación, longitud y calidad del contenido. Ahora bien, propusieron, entre otras cosas, incluir una breve contextualización del cuestionario y el objeto del mismo, y sustituir la palabra "protocolo" por "cuestionario".

Dimensiones y competencias

En este segundo ámbito de valoración encontramos que el 90% de los expertos consideraron que se detectaba un orden lógico entre dimensiones y competencias. Un 80% destacaron la claridad en la redacción, además de que las dimensiones atendían todos los ámbitos de la actividad del profesor universitario. Otro aspecto importante sobre el que interesaba conocer el criterio de los expertos era si existía coherencia entre las 20 competencias propuestas y las funciones del profesor universitario. El 70% declaró la relación como muy buena. Los resultados globales obtenidos fueron: x- =3.8 (entre 3 buena y 4 muy buena); σ= 0.41; Md= 4, muy buena, y Me = 4, muy buena. Además, dos expertos sugirieron que el cuestionario se iniciara con la función de docencia, con la finalidad de atender mejor el objetivo prioritario de este cuestionario.

Valoración de los indicadores

No hay duda de que todos los elementos que conformaron el cuestionario de autoevaluación eran importantes. Pero la clave de la validez de contenido está en los indicadores de cada competencia, de ahí la relevancia de la valoración dada por los expertos. El 80% consideró que los indicadores estaban redactados con muy buena claridad y precisión. Un 70% afirmó la congruencia entre los indicadores y la competencia, aunque el 40% calificó la calidad del contenido de los indicadores como muy buena, frente al 60% que la valoró como buena. De las valoraciones expresadas por los expertos se han obtenido las siguientes medidas de tendencia central: (x-) =3.38 (3 buena); σ = 0.77; Md= 4, muy buena, y Me = 4, muy buena. En relación con el número de indicadores que incluye cada competencia, los expertos estuvieron divididos. El 20% lo consideró adecuado, el 30% lo estimó como bueno y un 40% señaló que este número era excesivo. Únicamente un 10% lo estimó como malo, pero sin aportar sugerencias de mejora. Dada la importancia de los indicadores para la efectividad del instrumento de autoevaluación, se solicitó a los expertos que identificaran los indicadores que requerían ser mejorados o eliminados. A partir de estas respuestas se revisaron y reformularon cada uno de los indicadores propuestos por los expertos, bien con una nueva definición, bien integrando varios de éstos, bien eliminando alguno.

Del cuestionario de autoevaluación

Finalmente, en la guía de validación se concretaron cinco indicadores con el objeto de que los expertos realizaran la valoración global del instrumento, lo que nos aportó el resultado recogido en la Figura 1.

Fuente: Guía validación de expertos.

Figura 1 Valoración global del cuestionario de autoevaluación 

En esta figura se desprende que el 90% de los expertos detectaron claridad en la redacción y adecuación del instrumento a los destinatarios. En cuanto a la validez de contenido, que era la preocupación central de esta fase, más del 70% de los expertos la consideraron en el rango ‘muy buena’ y ‘buena’. Característica que se confirmó cuando en igual porcentaje (70%), los expertos destacaron la excelente coherencia entre los elementos del instrumento. En cuanto a la extensión total del instrumento, se coincidió en que debía reducirse, en la medida de lo posible, el número de indicadores. En relación con la percepción global como instrumento de autoevaluación, los expertos, entre otros aspectos positivos, destacaron su excelente valor, su exhaustividad y buen diseño. Estimaron su estructura lógica y coherencia interna y externa; por lo que se prevé su gran utilidad y eficacia en la evaluación. En definitiva, una excelente guía para la reflexión del docente sobre su práctica profesional. Ahora bien, a pesar de lo señalado, aconsejaron reducir la extensión del instrumento, y subrayaron el peligro de que, a la hora de responder, el participante pudiera aburrirse y contestar a la ligera.

Como la mayoría de las limitaciones se refirieron a la extensión del cuestionario, se decidió mantener únicamente en cada competencia aquellos indicadores elegidos por los expertos, lo que permitió reducir significativamente el número de ítems de 186 a 116; esto conllevó un notable esfuerzo de síntesis y de integración de los ítems.

Otra sugerencia recogida fue el cambio en la denominación de dos categorías de la escala de valo-ración del cuestionario, que supuso la incorporación de la valoración ‘bueno’, en vez de ‘aceptable’, y de ‘excelente’ en vez de ‘competente’. De esta forma, los criterios de valoración utilizados fueron ‘no poseo el indicador’ (0), ’básico’ (1), ‘intermedio’ (2), ‘bueno’ (3) y ‘excelente’ (4), lo que facilitó la autoevaluación unívoca de cada indicador.

Prueba piloto del instrumento de autoevaluación

A partir de las sugerencias de los expertos se elaboró un segundo borrador del cuestionario de autoevaluación, lo que exigió el paso a la segunda fase del proceso de validación y fiabilidad de nuestro instrumento. Para ello se seleccionó una muestra al azar de entre el profesorado de la UTPL en la que se desarrollaba esta investigación. Esta muestra se constituyó con 60 profesores —56% del área Sociohumanística, 18% de la Administrativa, 6.6% de la Biológica y un 18% de la Técnica— con los que se realizó el pilotaje del cuestionario. Esta prueba piloto resultó muy interesante ya que, al aplicarse en pequeños grupos, se pudo dialogar con los profesores, escuchar sus dudas y recoger todas las inquietudes, lo que contribuyó a la mejora de este instrumento. Además se pudo contrastar el tiempo real para cumplimentarlo, coincidente con la estimación inicial: entre 40 y 60 minutos.

De los cuestionarios realizados en esta prueba piloto, se trabajó finalmente con 59 respuestas válidas. De éstas, el 59% incluyó observaciones y un 40.7% no puntualizó ninguna sugerencia. A partir de los datos aportados, se revisó de nuevo este instrumento y se llevaron a cabo una serie de cambios, entre los que destacamos la inclusión del ámbito de gestión institucional, la integración y mejora en la redacción de varios indicadores. Además, se trasladaron al final del cuestionario las competencias transversales, comunes a todo contexto docente.

Para el análisis de la confiabilidad y consistencia interna de los ítems que configuraron esta propuesta, es decir, el grado en que la aplicación repetida del instrumento, al mismo sujeto, produce iguales resultados, se llevó a cabo a partir del cálculo del índice de Alfa de Cronbach. Schuschny y Soto (2009) aclaran que se trata de un índice de consistencia interna que toma valores entre 0 y 1 y que sirve para comprobar si el instrumento que se está evaluando recopila información defectuosa y, por tanto, llevaría a conclusiones equivocadas o si se trata de un instrumento fiable que hace mediciones estables y consistentes. Los resultados de fiabilidad del instrumento en estudio se obtuvieron utilizando el paquete estadístico SPSS, versión 20, cuyos valores se detallan en la Tabla 3.

Tabla 3 Análisis de la fiabilidad mediante Alfa de Cronbach de la prueba piloto 

La fiabilidad referente a las áreas competenciales fue alta, con valores de 0.88 y 0.99, acercándose en las competencias específicas a uno. Sin embargo, conforme se fue desagregando el instrumento, la fiabilidad fue disminuyendo en cada uno de éstos, aunque siguió manteniéndose un Alfa de Cronbach superior a 0.7, valor que señala que los diferentes indicadores están relacionados entre sí: un valor ≥ 0.7 es aceptable para los propósitos de investigación, y ≥ 0.9 para la toma de decisiones (Díaz Vélez, 2012). En suma, afirmamos que el instrumento es confiable al presentar una buena consistencia interna, a pesar del tamaño de la muestra piloto, de lo que se puede inferir que al realizar un re-test se obtendrán resultados similares.

A partir de éstos y de las observaciones recogidas en la prueba piloto, se procedió a la preparación final del Cuestionario de Autoevaluación de Competencias del Docente Universitario, para aplicarlo al claustro del profesorado de la UTPL, población objeto de esta investigación: 424 profesores con docencia en la enseñanza presencial y a distancia. Se escogió esta Universidad por ser una institución con una trayectoria consolidada y reconocida en la formación universitaria, al ofrecer una amplia y rica experiencia tanto en la metodología presencial como a distancia, además de la facilidad de acceso para la recogida de datos.

Tabla 4 Distribución del profesorado de UTPL por áreas 

Durante esta fase se determinó ya el diseño definitivo de la estructura del cuestionario, organizado en dos partes diferenciadas: una primera que recopila datos sobre el perfil socioprofesional del profesor, y una segunda dirigida a la autoevaluación de las competencias específicas y transversales del profesor universitario en entornos presenciales y virtuales o docente bimodal (Aguilar Feijoo, 2014).

Aplicación del Cuestionario de Autoevaluación de Competencias a la población determinada

Una vez preparado el cuestionario de autoevaluación definitivo, se procedió a su validación aplicándolo a los 424 docentes de la UTPL. Esta población, en el curso 2014-2015, enseñaba en ambas modalidades en una de las cuatro áreas que oferta esta universidad. Finalmente la muestra se redujo a 403, debido a comisiones de servicio y bajas por diferentes motivos. A lo largo de dos meses —septiembre-octubre 2014— se reunió y aplicó este cuestionario, alcanzando un alto nivel de respuesta (95%).

Una vez recogidos todos los cuestionarios se procedió a la organización y codificación de las preguntas y las alternativas de respuestas para la posterior tabulación. Para el procesamiento de la información se utilizaron estadísticos descriptivos básicos como medias (x-) y desviaciones típicas (σ) de los resultados, además de frecuencias y porcentajes de cada variable. Para determinar la fiabilidad del instrumento se analizó la consistencia interna de las escalas mediante el índice alfa de Cronbach y el método de Dos Mitades. Para el cálculo estadístico se contó con el paquete estadístico SPSS, versión 20 (Tabla 5).

Tabla 5 Análisis de la fiabilidad mediante el Alfa de Cronbach del Cuestionario final 

La fiabilidad identificada en relación con las familias competenciales fue elevada al arrojar valores superiores a 0.9, especialmente en las competencias específicas que son las que más se acercan a uno. Sin embargo, similar a lo observado en la prueba piloto, la fiabilidad disminuye conforme se desagrega el instrumento, pero se mantiene un alfa superior a 0.7; valor aceptable para nuestro objetivo (alfa ≥ 0.7) (Díaz Vélez, 2012). Esto ratificó que los diferentes indicadores del instrumento son homogéneos y están relacionados entre sí, confirmándose lo observado en la prueba piloto. En suma, estamos ante un instrumento fiable para determinar las competencias del profesor universitario. Adicionalmente, se analizó la consistencia interna mediante el método de Dos Mitades que consiste en dividir, con la ayuda del SPSS, los ítems de la prueba en dos partes iguales, correlacionar las puntuaciones totales de las dos mitades, multiplicar el coeficiente obtenido por dos y dividir por el término uno más la correlación de las dos mitades (Díaz Vélez, 2012), obteniéndose los resultados que se muestran en la Tabla 6.

Tabla 6 Análisis de la consistencia interna del Cuestionario de Autoevaluación mediante la prueba de Dos Mitades 

Los resultados mediante este método reflejaron también excelentes indicadores (superiores a 0.7) en todos los componentes del instrumento. Es importante destacar que, a pesar de la desagregación, también se evidenciaron resultados satisfactorios, tanto para las dimensiones como para las competencias. La única excepción se presentó en la dimensión de vinculación con la colectividad que reflejó valores inferiores a 0.7, lo que puede derivarse de que ésta se estructuró con pocos indicadores y al dividirla en dos éstos se redujeron aún más, tres en cada una de ellas. Sin embargo, a pesar de la limitación de la dimensión antes indicada, los resultados de consistencia interna, tanto en la modalidad presencial como a distancia, presentaron resultados aceptables, lo que permitió inferir que el instrumento posee un alto grado de fiabilidad y confirmar que, al aplicar un re-test del instrumento, se obtendrían resultados similares.

El análisis antes realizado se complementa con la correlación entre formas que refleja resultados satisfactorios, es decir, presentó asociaciones moderadas y fuertes entre las diferentes competencias. De acuerdo con los criterios expresados por Aguayo y Lora (2007), se pudo establecer que existen asociaciones moderadas y fuertes entre las partes analizadas en cada uno de los componentes, es decir, que los elementos estaban combinados de forma correcta y, en su conjunto, midieron el constructo para el que fueron construidos. Al aplicar la fórmula del coeficiente de Spearman-Brown los resultados obtenidos mostraron que el instrumento en su totalidad es confiable, al estar relacionados entre sí los diferentes indicadores (manteniendo una buena consistencia interna de sus elementos) dado que los valores son superiores a 0.7, que es el mínimo aceptable en la literatura para poder emitir un criterio de confiabilidad de un instrumento (Martín Arribas, 2004).

Una vez cumplidos todos los procedimientos de validación de contenido por los jueces, la prueba piloto, la aplicación del cuestionario y el análisis de los resultados se concluyó que el instrumento reúne los criterios de validez y fiabilidad necesarios para nuestra investigación. Por lo que resulta pertinente ofrecerlo a la comunidad universitaria como cuestionario de autoevaluación de las competencias del docente universitario, de gran interés tanto para los profesores como para universidades que imparten docencia en entornos presenciales y virtuales.

Conclusiones

Sin duda, todo proceso de elaboración de un instrumento para la evaluación de una realidad determinada exige una serie de requisitos que garanticen la fiabilidad y la validez del mismo. Ofrecer herramientas fiables y con alto nivel de validez resulta un aporte relevante para cualquier contexto. Además, exponer, como hemos descrito en este artículo, el proceso de elaboración y validación de este cuestionario, ayudará, sin duda, no sólo a mostrar la fiabilidad del mismo, sino también a explicar el proceso que debe seguirse, lo que aporta las pautas necesarias para que puedan repetir otros investigadores este mismo proceso en situaciones similares. Revisando ya el instrumento que proponemos, Cuestionario de Autoevaluación de Competencias Docentes en entornos presenciales y a distancia, destacamos algunas conclusiones que se desprenden del trabajo realizado.

Un cuestionario de autoevaluación que cubre 20 competencias con un total de 114 indicadores o ítems agrupados en competenciales transversales (cuatro subdivididas en 26 indicadores) y específicas (16 competencias, 88 indicadores), instrumento que atiende una laguna existente a la hora de valorar las funciones del docente universitario en el contexto actual.

Una vez cumplidos todos los procedimientos de validación de contenido por los jueces, el análisis estadístico de fiabilidad de los resultados en la experiencia piloto y la aplicación final del cuestionario, se afirma que el instrumento muestra una alta consistencia interna, por lo que se puede considerar como un instrumento útil e innovador para evaluar la percepción de los profesores sobre sus competencias como docentes universitarios en ambas modalidades.

Se ha identificado y establecido el perfil ideal del profesor universitario, marco referencial para evaluar la actuación docente en toda institución universitaria, tal como reclaman todas las instancias supranacionales. A la vez, permite potenciar su formación y desarrollo profesional.

Otra contribución significativa se centra en la propia institución en la que se ha llevado a cabo esta investigación, la UTPL, al comprobar el nivel de logro de cada una de las competencias específicas y transversales de su profesorado. De este modo, se cuenta con una radiografía del perfil competencial de sus docentes, identificando las fortalezas y limitaciones en cada una de las cuatro funciones (docencia, investigación, vinculación y gestión). Este análisis del nivel de logro alcanzado en cada una de las competencias, aporta a la UTPL información valiosa y actualizada, para atender las necesidades específicas para la formación de su profesorado y determinar el perfil del profesional que quieren en su institución.

A pesar de las limitaciones que pudieran surgir de una autoevaluación, este cuestionario constituye un instrumento de evaluación confiable para diagnosticar las competencias transversales y específicas de todo profesor universitario y, a partir de estos resultados, poder proponer y favorecer programas de formación dirigidos a las necesidades reales de este colectivo. Por último, no olvidemos que esta información surge de la propia percepción, lo que demuestra que a través de la autorreflexión y autoevalución, los profesores son capaces de reconocer sus propias fortalezas y limitaciones en su desarrollo profesional.

Referencias

Adell, Jordi (2011), “Entornos personales de aprendizaje (PLE)”, en Humano Digital. Construyendo el conocimiento [Blog], octubre, 5, http://bit.ly/2ggLBiz , [Consulta: enero de 2012]. [ Links ]

Aguayo, Mariano y Estrella Lora (2007), “Cómo realizar “paso a paso” un contraste de hipótesis con SPSS para Windows: (III) relación o asociación y análisis de la dependencia (o no) entre dos variables cuantitativas. Correlación y regresión lineal simple”, DocuWeb, Fundación Andaluza Beturia para la Investigación en Salud, http://bit.ly/2fNM2R5 [Consulta: marzo de 2013]. [ Links ]

Aguilar Feijoo, Ruth M. (2014), “Las competencias del docente bimodal en la educación superior. El caso de la Universidad Técnica Particular de Loja-Ecuador”, tesis doctoral, Madrid, UNED, http://bit.ly/2g35CGL [Consulta: junio de 2014]. [ Links ]

Beneitone, Pablo, Cesar Esquetini, Julia González, Maida Marty, Gabriela Suifi y Robert Wagenaar (eds.) (2007), Proyecto Tuning America Latina: Informe Final, Bilbao, Universidad de Deusto, http://bit.ly/2fYb3tQ [Consulta: mayo de 2011]. [ Links ]

Chechia, Beatriz (2009), Las competencias del docente universitario, http://bit.ly/2fzw6mK [Consulta: julio de 2011]. [ Links ]

Corominas, Enric, Montse Tesouro, Dolors Capell, Joan Teixidó, Joaquín Pèlach y Ramón Cortada (2006), “Percepciones del profesorado ante la incorporación de las competencias genéricas en la formación universitaria”, en Revista de Educación, núm. 341, pp. 301-336. [ Links ]

Díaz Vélez, Cristian (2012), “Validación de un instrumento” [slideshare], http://bit.ly/2gGgknr [Consulta: marzo de 2013]. [ Links ]

Fernández Muñoz, Ricardo (2003),, “Competencias profesionales del docente en la sociedad del s. XXI”, en Organización y Gestión Educativa, núm. 1, pp. 4-7. [ Links ]

García Aretio, Lorenzo (2014), Bases, mediaciones y futuro de la educación a distancia en la sociedad digital, Madrid, Síntesis. [ Links ]

García López, Esther y Julio Cabero (2011), “Diseño y validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia”, en Revista Electrónica de Tecnología Educativa, núm. 35, pp.1-26, http://bit.ly/2fzuBFj [Consulta: marzo de 2013]. [ Links ]

Giraldo, Claudia (2004), “Creación de un modelo de evaluación de desempeño bajo la teoría de las competencias”, tesis doctoral, Medellín, Universidad de Antioquia, http://bit.ly/2fNYrnV [Consulta: mayo de 2011]. [ Links ]

Lasnier, Francois (2001), “Un modèle integer pour l’apprentissage d’une compétence”, en Revista Pédagogie Collégiale, vol. 15, núm. 1, pp. 28-33, http://bit.ly/2gSNy66 [Consulta: mayo de 2011]. [ Links ]

Marquès, Pere (2000), “Los docentes: funciones, roles, competencias necesarias, formación” [documento de trabajo], http://bit.ly/2fzt7uP [Consulta: mayo de 2011]. [ Links ]

Martín Arribas, Maria Concepción (2004), “Diseño y validación de cuestionarios”, en Matronas Profesión, vol. 5, núm. 1, pp. 23-29. [ Links ]

Mas, Óscar (2011), “El profesor universitario: sus competencias y formación”, en Profesorado. Revista de Curriculum y Formación del Profesorado, vol. 15, núm. 3, pp. 195-211. [ Links ]

Mas, Óscar y José Tejada (2013), Funciones y competencias en la docencia universitaria, Madrid, Editorial Síntesis. [ Links ]

Monereo, Carles y Carola Domínguez (2014), “La identidad docente de los profesores universitarios competentes”, en Educación XXI, vol. 17, núm. 2, pp. 83-104, doi: http://dx.doi.org/10.5944/educxx1.17.2.11480. [ Links ]

Pavié, Alex (2011), “Formación docente: hacia una definición del concepto de competencia profesional docente”, en Revista Electrónica Interuniversitaria de Formación del Profesorado, vol. 14, núm. 1, pp. 67-80, http://bit.ly/2fzy32V [Consulta: junio de 2011]. [ Links ]

Reyero, David (2014), “La excelencia docente universitaria. Análisis y propuestas para una mejor evaluación del profesorado universitario”, en Educación XXI, vol. 17, núm. 2, pp. 125-143, doi: http://dx.doi.org/10.5944/educxx1.17.2.11482. [ Links ]

Salinas, Jesús (2004), “Innovación docente y uso de las TIC en la enseñanza universitaria”, en Revista Universidad y Sociedad del Conocimiento, vol. 1, núm. 1, 1-16, http://bit.ly/1qX5EDd [Consulta: julio de 2012]. [ Links ]

Saravia, Marcelo Andrés (2004), “Evaluación del profesorado universitario. Un enfoque desde la competencia profesional”, tesis doctoral, Barcelona, Universidad de Barcelona, http://bit.ly/2gDdTob [Consulta: mayo de 2011]. [ Links ]

Smitter, Yajahira. (2008), “Lineamientos para la autoevaluación del desempeño docente en las funciones de docencia, investigación y extensión en el Instituto Pedagógico de Miranda ‘José Manuel Siso Martínez”, en Investigación y postgrado, vol. 23, núm. 3, pp. 281-298. [ Links ]

Schuschny, Andrés Ricardo y Humberto Soto (2009), Guía metodológica. Diseño de indicadores compuestos de desarrollo sostenible, México, Comisión Económica para América Latina y el Caribe (CEPAL)/Sociedad Alemana de Cooperación Técnica (GTZ), http://bit.ly/2gGjKXD [Consulta: marzo de 2013]. [ Links ]

Tobón, Sergio (2006), Formación basada en competencias: pensamiento complejo, diseño curricular y didáctica, Bogotá, ECOE Ediciones. [ Links ]

Tünnermann, Carlos (ed.), (2008), La educación superior en América Latina y el Caribe: diez años después de la Conferencia Mundial de 1998, Bogotá, IEL/SALC-UNESCO/Sello Editorial Javeriano. [ Links ]

Tünnermann, Carlos (2003), La universidad ante los retos del siglo XXI, Mérida, México, Universidad Autónoma de Yucatán, http://bit.ly/2fO29xV [Consulta: junio de 2011]. [ Links ]

UNESCO (2009), Conferencia Mundial UNESCO sobre Educación Superior: La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo, http://bit.ly/2fO2noL [Consulta: junio de 2011]. [ Links ]

UNESCO (1998), Declaración mundial sobre la educación superior en el siglo XXI: visión y acción, http://bit.ly/1blr26L [Consulta: junio de 2011]. [ Links ]

Villa, Aurelio y Manuel Poblete (2008), Aprendizaje basado en competencias una propuesta para la evaluación de las competencias genéricas, Bilbao, Mensajero. [ Links ]

Cómo citar este artículo: Ruiz-Corbella, Marta y Ruth-Marlene Aguilar-Feijoo (2017), “Competencias del profesor universitario: elaboración y validación de un cuestionario de autoevaluación”, en Revista Iberoamericana de Educación Superior (RIES), México, UNAM-IISUE/Universia, vol. VIII, núm. 21, pp. 37-65, https://ries.universia.net/article/view/1502/competencias-profesor-universitario-elaboracion-validacion-cuestionario-autoevaluacion [consulta: fecha de última consulta].

1En muchas universidades latinoamericanas, como es el caso de la Universidad Técnica Particular de Loja (UTPL), se denomina al profesor como docente bimodal al desarrollar su trabajo en entornos presenciales y a distancia y/o virtuales. Éste es el motivo por el que se utiliza este término en el cuestionario desarrollado en este trabajo

Recibido: 12 de Septiembre de 2014; Aprobado: 03 de Marzo de 2016

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons