El tema

El tema de esta investigación es la evaluación curricular. Para este tipo de estudio existen distintos modelos, y a pesar de que no hay un consenso entre los autores sobre su clasificación, se distinguen seis posibles categorías: 1) modelos de resultados, 2) modelos explicativos del proceso, 3), modelos económicos, 4) modelos de actor, 5) modelos de teoría del programa, y 6) modelos sistemáticos (^{Hansen, 2005}).

De acuerdo con ^{Gómez y Mora (2011)}, cuando la evaluación curricular se vincula con la mejora de la calidad de la educación es un tema de debate, y esto ha ocurrido así desde finales del siglo XX y principios del XXI. No obstante, como ellos lo señalan, más allá de las discrepancias, la evaluación curricular es un método que ha probado ser efectivo y eficaz para conocer fortalezas y áreas de oportunidad.

Antes de continuar con el siguiente punto de este trabajo, es importante mencionar que el currículo “es una tentativa para comunicar los principios y rasgos esenciales de un propósito educativo, de forma tal que permanezca abierto a discusión crítica y pueda ser trasladado efectivamente a la práctica” (^{Stenhouse, 1984/2010, p. 29}). Hasta el siglo XIX, este era conocido como plan de estudios o programa educativo (^{Valenzuela y Juárez, 2011}). Para los fines perseguidos en esta investigación, y en lo sucesivo, se decidió referirse al currículo como tal, salvo algunas excepciones en las que se le denominará plan o programa educativo; esta última disposición en atención a la forma como se aborda en la literatura que se consultó para este trabajo.

Cuestionario perfil de egreso

El primero de los instrumentos se denominó cuestionario perfil de egreso (en adelante CPE). Este consta de 22 preguntas cerradas con distintas opciones de respuesta tipo Likert. Las preguntas de la 1 a la 17 presentan cinco opciones de respuesta, a saber: 1) no preparado, 2) poco preparado, 3) indeciso, 4) preparado y 5) muy preparado. De la pregunta 18 a la 21 presentan otras cinco opciones de respuesta: 1) no desarrollado, 2) poco desarrollado, 3) indeciso, 4) desarrollado y 5) muy desarrollado. La pregunta final (número 22) presenta solamente dos posibles respuestas: 1) sí y 2) no. Al final de todas las preguntas, el participante dispone de un espacio en blanco para explicar el porqué de su respuesta. La carrera tiene dos orientaciones o especializaciones: 1) Software de Sistemas y 2) Sistemas Digitales. En ese sentido, cabe señalar que hay cuatro preguntas específicas por orientación. De la pregunta 10 a la 13 van dirigidas a alumnos con orientación en Software de Sistemas, y de la 14 a la 17 a aquellos con orientación en Sistemas Digitales.

El CPE se diseñó para obtener información sobre conocimientos, habilidades, valores y destrezas que los egresados pudieron adquirir durante su carrera. Con base en lo anterior, la estructura o disposición del instrumento corresponde a: 1) seis preguntas enfocadas a los conocimientos obtenidos, 2) once preguntas (tres generales y ocho particulares: cuatro por orientación) concernientes a las habilidades y destrezas adquiridas, 3) cuatro preguntas relacionadas con los valores y actitudes desarrollados, y 4) una pregunta final cuyo objetivo es recabar la opinión de los egresados para indagar si la carrera les proporciona las herramientas necesarias (conocimientos, habilidades, valores, destrezas y actitudes) para conseguir empleo. Esto último con base en el punto de vista de cada uno de ellos tras haber solicitado empleo en un campo afín a la carrera.

Cuestionario formación académica

El segundo instrumento se denominó cuestionario formación académica (en adelante CFA). Este se dividió en cuatro bloques, con un total de 22 preguntas: 20 cerradas y dos abiertas. Tanto en el primer bloque (de la pregunta 1 a la 7) como en el segundo (de la pregunta 8 a la 14) se evalúan en dos etapas. En primera instancia se evalúa la cobertura y posteriormente la calidad. A pesar de que este fragmento de la evaluación se hace en dos etapas, ambas presentan similares opciones de respuesta de tipo Likert: 1) mínima, 2) baja, (3) regular, 4) buena y 5) excelente.

En el tercer bloque (de la pregunta 15 a la 19) existen cinco opciones de respuesta tipo Likert: 1) mínimo, 2) bajo, 3) regular, 4) bueno y 5) excelente. A pesar de que este bloque puede parecer similar a los anteriores, hay dos diferencias importantes: en primer lugar, la evaluación no se hace en dos partes; en segundo lugar, al final de cada pregunta el participante dispone de un espacio en blanco para que explique el porqué de su respuesta.

El cuarto y último bloque consta de tres preguntas (20 a 22). Las dos primeras preguntas son abiertas, y la pregunta que da fin a este instrumento es cerrada.

El diseño del CFA permite indagar acerca de la experiencia de formación académica de los egresados de la carrera. Con base en lo anterior, la estructura o disposición del instrumento corresponde a: 1) siete preguntas enfocadas en identificar cómo evalúan los egresados aspectos materiales, académicos y administrativos; 2) siete preguntas enfocadas en identificar cómo los egresados evalúan aspectos particulares del diseño curricular; 3) cinco preguntas enfocadas a los aspectos particulares de los docentes, y 4) dos preguntas abiertas cuyo objetivo es recoger las sugerencias de cambio a la INCO con miras a mejorar la formación académica de las nuevas generaciones. Esto último desde el punto de vista de cada uno de ellos como egresados de la INCO.

Validez y confiabilidad de los instrumentos

Para establecer la confiabilidad y validez del CPE y el CFA, por la similitud, en ambos se siguió el mismo procedimiento. Primero se diseñó y aplicó un instrumento de validación de contenido y posteriormente se aplicó una prueba piloto. Los instrumentos de validación de contenido se denominaron VCPE o validación del cuestionario perfil de egreso y VCPE o validación del cuestionario formación académica. Tales instrumentos de validación se diseñaron con la finalidad de que expertos en el área de la docencia y la computación evaluaran la relación entre las preguntas del CPE y el CFA con el propósito del estudio y las preguntas de investigación. Cabe destacar que los instrumentos contemplaron elementos clave, como 1) criterio, 2) pertinencia y 3) observaciones o sugerencias para cada pregunta.

El criterio se vinculó con distintos aspectos. En el caso del CPE, con la palabra clave que se relaciona con la primera pregunta de investigación, y representa los conocimientos, habilidades, valores, destrezas y capacidades que caracterizan al egresado de una profesión a partir del desempeño evidenciado durante su proceso formativo. En el caso del CFA, se vinculó con la palabra clave que se relaciona con la segunda pregunta de investigación, y representa aspectos particulares de la formación académica del egresado.

La pertinencia consistió en valorar si el contenido de la pregunta guardaba relación con el propósito del estudio y con la pregunta de investigación a la que pretendía dar respuesta el instrumento. El último elemento, observaciones o sugerencias, tuvo el propósito de tomar conciencia de los elementos factibles de modificarse, eliminarse o incluirse en el CPE y el CFA.

En total, cuatro expertos participaron en la validación de ambos instrumentos. Todos ellos con experiencia en la investigación de campo y la formación académica en áreas como tecnologías, computación, telecomunicaciones y educación. De manera individual e independiente, fueron entregados a los expertos los dos cuestionarios (CPE y CFA) y los dos instrumentos de validación (VCPE y VCFA). Antes de que iniciaran con el llenado del VCPE y el VCFA, se les solicitó que los leyeran en conjunto con el CPE y el CFA para resolver cualquier duda.

Para la prueba piloto se contó con la participación de 11 egresados de la carrera. A ellos se les hizo llegar tanto el CPE como el CFA a través de Google. Una vez aplicada la prueba piloto, para calcular el coeficiente de confiabilidad del CPE y del CFA, se recurrió a las medidas de coherencia o consistencia interna, específicamente a partir del alfa de Cronbach. De acuerdo con ^{Hernández et al. (2014)}, además de ser este uno de los procedimientos más utilizados, permite calcular la confiabilidad a partir de una sola aplicación del instrumento de medición, y se calcula con base en la siguiente fórmula:

Con esta fórmula se obtienen resultados que van desde cero a uno; los valores más cercanos a cero son indicio de baja confiabilidad; en caso contrario, los más cercanos a uno son indicativo de una confiabilidad elevada (^{Hernández et al., 2014}). Para calcular instantáneamente este valor se utilizó el software de análisis estadístico SPSS (Statistical Package for the Social Science). Después de introducir los datos en el programa, el nivel de confiabilidad resultante para el CPE fue de 0.810, mientras que para el CFA fue de 0.903.

Al final del proceso de validación, tanto el CPE como el CFA recibieron buenas críticas por parte de los expertos. Cabe señalar que se les hicieron cambios mínimos en cuestión de redacción; se modificaron en cuanto a forma sin ser necesario tocar aspectos de fondo. En el caso específico del CFA, por recomendación de los expertos, se reubicó una pregunta y se eliminaron otras dos por considerárseles poco pertinentes para el estudio.

Guía de discusión

El tercer instrumento se denomina guía de discusión (en adelante GD), y se diseñó para ser aplicado a un grupo focal conformado por egresados. La estructura de la GD contempla 1) bienvenida, 2) propósito de la sesión, 3) procedimiento para la realización de la técnica de investigación de grupo focal, 4) preguntas, 5) despedida y 6) agradecimiento.

Las preguntas contenidas en la GD pretenden identificar las fortalezas y debilidades del currículo de la carrera. Estas se formularon a partir de tres aspectos: 1) los objetivos que se establecen en el modelo CIPP (^{Stufflebeam y Shinkfield, 1987/2011}), 2) la revisión de estudios donde se ha implementado la técnica de grupos de enfoque, y 3) la definición de fortaleza y debilidad.

Validez y confiabilidad de la guía de discusión

Para establecer la confiabilidad y validez de la GD se recurrió, en primera instancia, a la validación de constructos para establecer su relacionan con los conceptos a medir, lo que permitió determinar si el instrumento ayudaría, en este caso específico, a dar respuesta a la tercera pregunta de investigación. En resumen, y para tal efecto, solamente se validaron dos constructos: fortaleza y debilidad.

Durante esta etapa se solicitó el apoyo de cuatro expertos con experiencia en investigación de campo y formación académica en áreas como métodos de investigación y educación. En conjunto con ellos, se construyó una definición para cada uno de los términos, quedando de la siguiente manera: 1) el término fortaleza se refiere a todos los objetivos alcanzados por el currículo de la INCO, y que ayudan a diferenciarlo de otros programas educativos o currículos de la misma índole, y 2) el término debilidad se refiere a todos aquellos recursos humanos, materiales y tecnológicos que impiden que se logren los objetivos planteados en el currículo de la INCO.

En segunda instancia, se recurrió a la validación de contenido. En este sentido, ^{Bautista (2009)} afirma que un instrumento tiene validez siempre y cuando haya contemplado todos los aspectos importantes a medir, para lo cual primero se debe realizar, con anterioridad, una exhaustiva revisión de la literatura y, finalmente, una consulta con expertos para plantearles los aspectos que se quieren medir.

Por lo anterior se recurrió a cuatro expertos con experiencia en formación académica en el área de la computación. A ellos se les entregó, individual e independiente, el instrumento de validación para la guía de discusión (VGD), con la finalidad de validar los reactivos ahí presentados. Al final de todo el proceso, los resultados obtenidos determinaron que dichos reactivos eran pertinentes para evaluar los constructos de fortaleza y debilidad.

Diseño

Para llevar a cabo la investigación se utilizó un enfoque no experimental mixto. De acuerdo con ^{Hernández et al. (2014)}, en un estudio no experimental el investigador observa las situaciones ya existentes (no puede influir porque los eventos ya tuvieron lugar, al igual que sus efectos). El enfoque mixto se utilizó, de acuerdo con lo señalado por ^{Creswell (2012)}, para poder analizar datos tanto cualitativos como cuantitativos para una mejor comprensión del problema de investigación.

Lo anterior se entiende en el sentido de que el currículo de la INCO es una “situación existente”, cuyas variables y efectos ya tuvieron lugar y repercusión en los egresados. Entonces, identificar esos efectos y repercusiones que ya tuvo el currículo en los egresados es lo que permitió determinar la correspondencia que existe entre el currículo de la carrera y los objetivos establecidos. Por su parte, el enfoque mixto es lo que permitió recabar y analizar las opiniones de los egresados con respecto a lo que fue su formación académica. Asimismo, con base en esta información, fue posible identificar las fortalezas y debilidades de la INCO.

En síntesis, la investigación se diseñó a partir de un procedimiento de tres etapas. En la Tabla 1 se muestran esas fases con cada uno de los elementos que estuvieron presentes en ellas, es decir, los participantes, las técnicas de investigación, los instrumentos y la pregunta de investigación a la que dan respuesta.

En este punto es importante señalar que los instrumentos, al igual que en la prueba piloto, se administraron vía Google Forms, y la discusión con el grupo focal se realizó de manera presencial en las instalaciones del campus. Para la sistematización de los datos, los resultados obtenidos de los instrumentos se exportaron a Microsoft Excel. En cuanto a los resultados de la discusión, se grabaron y posteriormente se capturaron también en Microsoft Excel para su categorización.

Análisis de los datos

Para el análisis de datos se siguió exactamente el mismo orden que en la Tabla 1. Esta fase también se dividió en tres etapas, cada una de las cuales obedece a la secuencia en que se presentaron las preguntas de investigación; es decir, el análisis de datos se dividió también en tres etapas. A continuación, para mejor comprensión del proceso de análisis de los datos, se explica el tratamiento que se dio a cada uno de los instrumentos en su respectiva etapa.

Etapa 1. Esta etapa se llevó a cabo en dos tiempos: primero se analizó el DACC y después el CPE. Se debe recordar que en esta etapa se buscó dar respuesta a la primera pregunta de investigación, la que se refiere a la correspondencia entre el currículo de la INCO y los objetivos establecidos en DACC.

El DACC, por su naturaleza, se catalogó como un documento institucional (^{Fernández, 2002}). Por esta razón, primero se llevó a cabo un análisis de contenido, específicamente del tipo descriptivo que, según lo establece ^{López (2002)}, es indispensable al momento de identificar los componentes básicos de un documento a través de un proceso riguroso de medición.

Posterior al análisis del DACC, se hizo un análisis estadístico descriptivo de las preguntas cerradas del CPE con la finalidad de identificar el desarrollo de conocimientos, destrezas, habilidades, actitudes y valores de los egresados, partiendo de la media, la moda y la desviación estándar de cada ítem. Al respecto, ^{Münch y Ángeles (2009/2011)} confirman que la estadística descriptiva es una técnica que permite organizar y resumir los datos cuantitativos. Ellos señalan también que con esta técnica es posible analizar individualmente cada pregunta de un instrumento para, posteriormente, analizarlo todo en conjunto. Finalmente, también se llevó a cabo un análisis de contenido de los porqués o de los argumentos de cada una de sus respuestas a las preguntas cerradas.

Etapa 2. En la segunda etapa, con los datos recolectados a partir del instrumento CFA, se buscó dar respuesta a la segunda de las preguntas de investigación, la que se refiere al nivel de satisfacción académica de los egresados de la INCO. En esta ocasión, por la similitud del CFA con el CPE, los datos recibieron el mismo trato. A partir de las preguntas cerradas se hizo un análisis estadístico descriptivo para poder identificar el nivel de satisfacción de los egresados sobre aspectos materiales, académicos y administrativos. De las preguntas abiertas se generó también un análisis de contenido, del mismo modo que se hizo con los porqués de cada una de las respuestas a las preguntas cerradas.

Etapa 3. La última etapa contempló el análisis de datos recolectados a partir de la guía de discusión o GD empleada durante la sesión del grupo focal. La pregunta de investigación que se buscó responder es la que se refiere a las fortalezas y debilidades de la INCO. Para ello, como técnica analítica se llevó a cabo un análisis secuencial de discurso que, como lo establece ^{Flick (2004)}, se centra en los recuerdos, descripciones y/o formulaciones de los participantes, y los reorienta a los temas (fortalezas y debilidades) del contexto analizado.

Categoría uno: aspectos materiales, académicos y administrativos

En esta los egresados evaluaron la cobertura y la calidad de a) las instalaciones físicas, b) el equipo de cómputo, c) el equipo especializado para prácticas según su orientación, d) el servicio de biblioteca, e) el acervo bibliográfico, f) los servicios administrativos, y g) los servicios complementarios.

Categoría dos: aspectos particulares del diseño curricular

En esta se evaluó la cobertura y la calidad de a) los contenidos teóricos, b) los contenidos prácticos, c) el contenido social, d) las prácticas profesionales, e) la formación integral, f) la tutoría académica, y g) la movilidad estudiantil.

Categoría tres: aspectos particulares de los docentes

En esta, de manera general, se evaluó a) el dominio del tema o materia, b) las competencias didácticas, c) el uso de materiales didácticos, d) el uso de tecnologías de la información y comunicación, y e) la disponibilidad fuera de las aulas.

A continuación, en la Tabla 4, se presenta el resultado del análisis estadístico descriptivo del CFA. Los datos se describen por ítem y para cada ítem hay una columna para cobertura y otra para calidad, además, los ítems están agrupados por categoría. La última categoría, acerca de los aspectos particulares de los docentes, no se evaluó a partir de cobertura y calidad, sino tomando en cuenta la experiencia de los docentes, sus competencias didácticas, el uso de materiales didácticos diversificado y actual, el uso de tecnologías y su disponibilidad fuera de las aulas y horarios de clase.

Del mismo modo que se hizo con el CPE, también se agruparon las respuestas en tres grupos: positivas, neutras y negativas. Como respuestas negativas se agruparon las escalas 1 y 2 (mínimo/bajo), mientras que las escalas 4 y 5 (bueno/excelente) se agruparon como respuestas positivas, tal y como se aprecia en la Tabla 5.

En lo que respecta a los “aspectos materiales, académicos y administrativos”, la cobertura se posicionó en 58 % de respuestas positivas, y la calidad obtuvo 56 % de respuestas positivas. En relación con los “aspectos particulares del diseño curricular”, la cobertura obtuvo 45 % de respuestas positivas, y la calidad 46 %. Finalmente, en lo concerniente a los “aspectos particulares de los docentes”, los egresados los evaluaron con 58 % respuestas positivas.