nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
El presente trabajo se enfoca en el problema de la evaluación de programas educativos en México de nivel posgrado. Se presenta un ejercicio de evaluación con sentido formativo del programa de Maestría en Educación (ME) de la Universidad Autónoma de Baja California (UABC), campus Ensenada. Este ejercicio se realizó con la finalidad de identificar los elementos que permitan enriquecer el desarrollo y la aplicación de los procedimientos operativos de dicha maestría, con una intención de retroalimentación al término de la formación de su primera generación.
En México, las evaluaciones de los programas de posgrado suelen realizarse por instancias externas a las universidades, particularmente por organismos especializados como el Consejo Nacional de Ciencia y Tecnología (Conacyt) o los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES). En el caso del Conacyt, los posgrados son evaluados para su posible incorporación al Programa Nacional de Posgrados de Calidad (PNCP), que representa beneficios financieros y políticos para las universidades. Los programas que deciden buscar el ingreso al PNCP son evaluados mediante el Marco de referencia para la evaluación y seguimiento de programas de posgrado, que tiene el propósito de verificar que estos cumplan con los estándares de pertinencia orientados a desarrollar las competencias de los recursos humanos que requiere la sociedad mexicana (Conacyt y SES, 2015). Por su parte, la función de los CIEES es la evaluación interinstitucional de programas de licenciatura y posgrado, realizada por pares académicos de las universidades mismas (Bonilla Marín, 2015).
Estas evaluaciones tienen como eje rector un sistema de criterios que, de acuerdo con Ligero (2016) y Expósito, Olmedo y Fernández-Cano (2004), refieren al rendimiento de cuentas y distribución de recursos. El resultado de este procedimiento basado en criterios da como resultado la tipificación general de los programas evaluados, evitando así profundizar en su descripción y sus elementos de contexto; su objetivo es la búsqueda de controles que garanticen que cumplan con lo establecido por las instituciones evaluadoras, por lo que se debe considerar que los datos obtenidos no necesariamente reflejan la totalidad de los procesos de un programa y los resultados pueden quedar atrapados en lo aparente (Díaz-Barriga, 1987).
La mecánica de la evaluación por criterios unívocos está diseñada con el objetivo de colocar a los programas en esquemas o niveles. Para el PNCP, estos se clasifican en: Competencia internacional, Consolidado, En desarrollo y de Reciente creación. Con esta categorización se legitima la pertinencia de los posgrados en todas las áreas del conocimiento (Conacyt y SES, 2015).
De acuerdo con Ligero (2016), estas evaluaciones presentan las siguientes debilidades: son de utilidad limitada, ya que imponen una visión predeterminada del valor del programa; no se aproximan a la realidad en que este se desarrolla; se centran casi exclusivamente en la dimensión de resultados y se pierde información sobre el desarrollo del programa. Otra problemática es que las evaluaciones que llevan a cabo instituciones externas con fines de acreditación carecen de fundamentos teóricos explícitos que guíen su labor (Jiménez y Ponce, 2020). Esto es relevante, ya que solo estableciendo con claridad tanto las aproximaciones teóricas de las que se parte como la delimitación de los objetos de estudio se podrá lograr la mejor interpretación de la información recabada (Díaz Barriga, 1987).
En las dinámicas de evaluación de la educación superior actual, caracterizadas por el uso de agentes externos y orientadas hacia la rendición de cuentas (Rueda Beltrán, 2021), las instituciones de educación superior (IES) -particularmente aquellas de financiamiento público- y sus programas educativos requieren evaluaciones de forma realizadas por los organismos acreditadores. Sin embargo, también son necesarios procesos que tomen en cuenta el contexto y la perspectiva de los evaluados, que permitan identificar elementos de mejora y no únicamente los resultados sobre el cumplimiento de criterios establecidos por los organismos acreditadores.
De acuerdo con la Unesco, la multiplicación de modelos y la transformación de la educación superior han orillado a la adaptación de mecanismos de aseguramiento de la calidad, con la finalidad de solventar las necesidades de la heterogeneidad de las IES. Sin embargo, estos se acercan más a la homogeneidad, es decir, presentan modelos preestablecidos con los que se pretende que las IES se aproximen, se ajusten y adapten (Unesco, 2014).
Bajo estas consideraciones, a continuación se presentan los resultados de la experiencia de la evaluación formativa de la ME de la UABC. El objetivo fue evaluar el programa concluida su primera generación (2017-2019). Se realizó con base en el modelo orientado al consumidor (Scriven, 2015), de acuerdo con el cual la evaluación se centra en el proceso tomando en cuenta la perspectiva de quien está recibiendo los efectos del programa, tanto de forma directa como indirecta.
Esta investigación se justifica en la necesidad de llevar a cabo un trabajo que se aleje de ejercicios cuyo propósito sea la búsqueda de visibilidad y pertenencia a bases de datos (Jiménez, 2019). Se realizó una evaluación formativa con el objetivo de identificar los elementos que favorecen la mejora de la maestría analizada. De acuerdo con Buendía (2013), hacer este tipo de evaluaciones es importante, ya que recupera de la experiencia del estudiantado.
Antecedentes y contexto de evaluación de programas de posgrado en México
En 1970 la Secretaría de Educación Pública (SEP) y la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) realizaron los primeros ejercicios de evaluación de programas, que consistieron en la elaboración de diagnósticos y pronósticos de crecimiento de las instituciones (Rubio, 2007). En este mismo año se creó el Conacyt y quedó facultado para “Asesorar a la Secretaría de Educación Pública para el establecimiento de nuevos centros de enseñanza científica o tecnológica […] formulación de los planes de estudio de los mismos y revisión de los planes de estudio de los centros existentes” (Congreso de los Estados Unidos Mexicanos, 1970:40). Desde entonces, el Conacyt ha sido un elemento importante en el establecimiento de criterios para la acreditación del posgrado en México (Mireles, 2008).
En la década de 1980 se puso en marcha el Programa Nacional de Educación Superior, que dio paso al Programa Integral para el Desarrollo de la Educación Superior, orientado al desarrollo de mecanismos de evaluación con el objetivo de establecer pautas de mejora (Buendía y Acosta, 2017). En 1985, el Conacyt creó el Programa de Fortalecimiento del Posgrado Nacional (PFPN) con el objetivo de fortalecer la calidad de los posgrados, ofrecer becas y orientar sobre las mejores opciones para realizar este tipo de estudios (Mireles, 2008).
En 1989 la ANUIES aprobó el documento La evaluación de la educación en México, en el que se definían los indicadores y criterios, así como los fundamentos para la evaluación de la educación superior, acción que generó la institucionalización de esta práctica. A partir de ello, se creó oficialmente el Consejo Nacional de Evaluación de la Educación Superior (Conaeva) (Pallán, 1994). Una de sus funciones fue establecer organismos dedicados a la evaluación diagnóstica de la planeación de programas educativos (Rubio, 2007).
El Programa Nacional de Modernización Educativa (PNME), cuya vigencia fue de 1990 a 1994, propuso evaluar la eficiencia de los servicios que ofrecían las IES (Rubio, 2007). En 2001 se puso en marcha el Programa Nacional de Educación y, para asegurar la calidad del posgrado, en 2002 el PFPN se transformó en el Programa Nacional de Posgrados de Calidad (PNCP), el cual “parte de una visión integral del posgrado y se estructura con base a criterios y estándares genéricos” (Conacyt y SES, 2015:4). Para que un programa educativo pueda integrarse al PNCP se requiere que la institución a la que pertenece presente evidencia de compromiso institucional en cuanto a acciones dirigidas a garantizar la calidad del programa; presentar tanto evidencias que relacionen la productividad con las categorías y criterios del modelo del PNCP como un plan de mejora en el que se identifiquen las fortalezas y debilidades, así como las acciones prioritarias (Conacyt y SES, 2020).
Otro de los ejercicios de evaluación de posgrados en México es aquel realizado por los CIEES. Estos comités se crearon en 1991 por la Coordinación Nacional para la Planeación de la Educación Superior (CONPES) y la ANUIES. En 2009 se constituyeron como una asociación civil sin fines de lucro, y su función principal es la evaluación diagnóstica de programas educativos con el objetivo de reconocer su calidad (CIEES, 2018). Derivado de la labor de los CIEES, los programas educativos se incorporan al Padrón de Programas de Buena Calidad (PNPEC) de la SEP (CIEES, 2018), el cual contiene información relacionada con los programas de todo el país que han solicitado la evaluación de los CIEES, acreditación por parte del Consejo para la Acreditación de la Educación Superior (COPAES) o que pertenecen al padrón del Centro Nacional de Evaluación para la Educación Superior (Ceneval).
Además de los CIEES, en México opera el COPAES. Este organismo se constituyó como una asociación civil en el año 2000 y tiene por objetivo fungir como instancia para conferir reconocimiento formal a organizaciones acreditadoras de programas académicos de educación superior (COPAES, 2017). Actualmente son aproximadamente 30 organismos que realizan el proceso de acreditación de los programas de licenciatura y posgrado.
Los diferentes mecanismos de evaluación o acreditación de programas educativos de posgrado son ejercicios consolidados -particularmente el PNCP, debido al prestigio y beneficios que representa para los posgrados a nivel nacional-, sin embargo, los marcos de referencia que los guían no guardan una relación estrecha con perspectivas teóricas para la evaluación de estos programas (Jiménez y Ponce, 2020). Pero, más aún, son ejercicios de evaluación sistemática, cuya metodología no se orienta hacia la retroalimentación de las particularidades de los programas, sino que se enfocan en procesos de legitimación que no necesariamente reflejan la realidad particular del evaluado (Ligero, 2016).
El contexto de la UABC
En México, la evaluación de los programas que se realizan en las IES está encaminada a dar cumplimiento a los procesos de las agencias, con la finalidad de alcanzar los estándares que estipula cada una de ellas. En lo particular, la UABC tiene un proyecto de visión a mediano plazo con objetivos y estrategias orientados a fortalecer a la institución para cumplir con las funciones que la sociedad le ha encomendado (UABC, 2015). Para asegurar la mejora educativa, la institución ha propiciado que sus programas educativos estén reconocidos por organismos nacionales e internacionales y, para lograrlo, entre sus estrategias y acciones se encuentran la evaluación de dichos programas -de forma interna y externa- así como la atención a las recomendaciones que se deriven de estos procesos (Moctezuma Hernández, Huber Bernal y Valdés Pasarón, 2015).
Esta política ha mantenido su continuidad en el Plan de Desarrollo Institucional (PDI) 2019-2023, al enfocarse en “Garantizar que la oferta educativa sea de calidad en congruencia y coherencia con el proyecto universitario” (UABC, 2019:98) y enfatizando el papel de autoevaluaciones y evaluaciones externas como medio de mejora. Actualmente, en la UABC se ofertan programas de posgrado que no son acreditados por el PNCP del Conacyt y queda abierta a otro tipo de organismos evaluadores reconocidos nacional o internacionalmente. En la UABC, la oferta de posgrados está constituida por 10 especialidades, 31 maestrías y 19 doctorados de diferentes campos del conocimiento. Entre estos o se encuentra la ME, que se oferta en el área de educación y humanidades; es de carácter multisede y opera bajo la modalidad de orientación profesional.
Metodología
La evaluación formativa de la ME se realizó mediante un estudio de caso, la selección de este tipo de diseño se basó en la búsqueda de una perspectiva que permitiera realizar el análisis de los datos en su contexto y explorar la interacción entre los individuos (Simons, 2014). Se recuperó la experiencia de las egresadas que participaron en la primera generación de la maestría, con la finalidad de obtener información que representara tal experiencia.
En lo particular, el modelo de evaluación de este trabajo fue el orientado al consumidor (Scriven, 2015) que, en este caso, permitió representar las opiniones de las egresadas. La evaluación con orientación formativa “se realiza durante el desarrollo o la mejora de un programa o producto (o persona, etc.). Es una evaluación que se realiza para el personal interno del programa y normalmente permanece internamente” (Scriven, 1991:63).
En este estudio las participantes fueron las egresadas de la primera generación del programa (2017-2019), los representantes de las unidades receptoras (UR) -instancias dentro de las cuales se llevaron a cabo proyectos de trabajo terminal1 de las estudiantes-, así como parte del personal que dio inicio al desarrollo del programa.
El primer grupo lo conformaron las 11 egresadas de la ME, todas provenientes de diferentes licenciaturas y estudiantes de tiempo completo. Al momento de la investigación, su rango de edad se encontraba entre los 24 y los 47 años. Para mantener la confidencialidad y el uso de información se les asignaron claves para identificar a cada participante (Tabla 1).
Tabla 1 Características generales del grupo de egresadas y códigos de confidencialidad asignados
| Núm. participante | Formación de origen | Código |
|---|---|---|
| 1 | Ciencias de la educación | ME08CES160 |
| 2 | Ciencias de la educación | ME09CEC060 |
| 3 | Ciencias de la comunicación | ME10CCC160 |
| 4 | Ciencias de la educación | ME11CEC160 |
| 5 | Ciencias de la educación | ME1CEC1350 |
| 6 | Administración de empresas | ME2AES04L50 |
| 7 | Ciencias de la educación | ME3CEC13L50 |
| 8 | Actividad física y deporte | ME4AFDC15L50 |
| 9 | Docencia en idiomas | ME5DIS16L50 |
| 10 | Ciencias de la comunicación | ME6CCCI3L50 |
| 11 | Ciencias de la educación | ME7CES13L50 |
Fuente: elaboración propia.
El segundo grupo lo conformaron los representantes de las UR. Un tercer elemento que formó parte de los participantes de este estudio fue el académico que estuvo al frente del diseño del programa de la ME, quien también aportó información.2 Las claves de estos participantes se pueden consultar en la Tabla 2.
Tabla 2 Asignación de claves de confidencialidad de los representantes de las UR y director del proyecto en su momento de creación
| Participante | Clave |
|---|---|
| Director del proyecto ME en el momento de su creación | DPDSPC |
| Representante de la UR Facultad de Deportes | SFDCE |
| Representante de la UR Ciencias de la Salud | SDCCD |
| Representante de la UR Colegio Nacional de Educación Profesional Técnica (Conalep) |
MEMGS |
Fuente: elaboración propia.
Se utilizaron diversas técnicas para la recolección de información, las cuales se describen a continuación.
Entrevista semi-estructurada. Permitió obtener descripciones sobre la experiencia del entrevistado (Brinkman, 2014); las preguntas se dividieron en temas delimitados por los objetivos de esta investigación y se elaboraron preguntas que permitieran al entrevistado describir la experiencia relacionada con el programa de ME. Se realizaron dos instrumentos, el primero dirigido a quien estuvo al frente de la puesta en marcha del programa y el segundo se elaboró para obtener información de las UR.
Grupos focales. Esta técnica permitió recuperar información de la experiencia de los participantes en el programa (Kerlinger y Lee, 2001; Krueger y Casey, 2015); en este caso, las egresadas del programa.
Análisis de documentos. Tuvo como objetivo determinar si el evaluado coincide con la descripción oficial del documento revisado (Scriven, 1991), la Tabla 3 muestra los utilizados en este trabajo.
Tabla 3 Documentos utilizados en la evaluación formativa del programa de ME de la UABC
| Documento | Tipo | Procedencia |
|---|---|---|
| Plan de Desarrollo Institucional | Institucional | UABC |
| Análisis de factibilidad | Institucional | UABC |
| Documento de operación | Institucional | UABC |
| Otras evaluaciones | Institucional | INEE |
| Evaluación plenaria | Institucional | Conacyt |
| Transcripción de entrevistas semiestructuradas |
Recuperación de información | Elaboración propia |
| Transcripción de grupos focales | Recuperación de información | Elaboración propia |
Fuente: elaboración propia.
El modelo orientado al consumidor plantea un procedimiento sistemático basado en una guía, la cual comprende la lógica que permite clasificar y organizar la información recuperada (Scriven, 2015). Esta comprende las partes medulares que conforman la evaluación de un programa, las cuales se identificaron como categorías de evaluación. La Tabla 4 detalla las categorías y su asociación con los elementos del programa.
Tabla 4 Categorías de evaluación de acuerdo con el modelo utilizado
| Categoría | Descripción | Fuente |
|---|---|---|
| Contexto |
|
* Documentos institucionales * Entrevista al director del proyecto |
| Recursos |
|
* Documentos institucionales |
| Función |
|
* Documentos institucionales * Grupos focales |
| Consumidores |
|
* Grupos focales * Entrevistas a las UR |
| Necesidades |
|
|
| Proceso |
|
|
| Resultados |
|
|
| Comparaciones |
|
|
| Recomendaciones |
|
|
Fuente: elaboración propia, a partir del modelo orientado al consumidor (Scriven, 2015).
Con la información recuperada se hizo un análisis de contenido cualitativo; asimismo, se procesó mediante análisis deductivo-inductivo (Saldaña, 2014). Las categorías empleadas en el análisis deductivo se obtuvieron del modelo de evaluación orientado al consumidor (Scriven, 2015). Para el procesamiento de los datos se utilizó ATLAS.ti, versión 8.4.4, que facilitó el manejo y visualización del extenso cuerpo de datos recuperados. Bajo este esquema se organizó la información y se realizó la reducción de los datos.
Resultados
Descripción del programa de Maestría en Educación
La ME es un programa de posgrado de la UABC, su orientación es de tipo profesional, multisede y escolarizado (UABC, 2016); se creó para atender las necesidades de formación derivadas de las reformas: Integral de Educación Básica (RIEB), de 2011; Integral de la Educación Media Superior (RIEMS), de 2008, y Educativa Nacional de 2013, vigentes durante el periodo de aprobación de la ME en 2016 (UABC, 2016).
El programa tiene por objetivo formar profesionales proactivos, capaces de intervenir, bajo principios de innovación, responsabilidad social y ética, en las áreas de gestión educativa y procesos formativos, que contribuyan a la profesionalización de las tareas del sector para incidir en la transformación pertinente del entorno (UABC, 2016:28). Se imparte en las facultades: de Pedagogía e Innovación Educativa, y de Ciencias Humanas, ambas en Mexicali; en la de Humanidades y Ciencias Sociales, en Tijuana, y en la de Ciencias Administrativas y Sociales (FCAyS), en Ensenada (UABC, 2016).
El programa es flexible y permite cursar el plan de estudios en cuatro semestres, con una carga académica de tres a cuatro asignaturas en cada uno. La maestría, al estar alineada con las necesidades del sector educativo, pretende aportar con un producto que impacte en la práctica educativa, por lo que cada estudiante elaborará un trabajo terminal, el cual contempla el desarrollo de un proyecto de intervención educativa.
Los proyectos de intervención educativa que se generan se aplican en las UR. Para la elección de estas unidades, el programa cuenta con convenios de colaboración; por un lado, la UABC tiene un catálogo extenso de convenios con instancias nacionales e internacionales; por otro, la ME puede realizar convenios en lo particular (UABC, 2016). Para efectos de esta evaluación, se consideró la información que corresponde al campus Ensenada, donde opera la FCAyS.
Factores contextuales, de gestión y uso de recursos que influyen en el desarrollo del programa
De acuerdo con el modelo de evaluación orientado al consumidor (Scriven, 2015), la identificación de estos factores permite comprender la razón de ser del programa y la forma en la que este se ha configurado para dar respuesta a las necesidades de los consumidores.
Factores contextuales en el desarrollo del programa
La ME fue aprobada por el Consejo Universitario el 4 de mayo de 2016. De acuerdo con el PDI-UABC (2015-2019) (UABC, 2015), algunos de los compromisos que se asumen y que tienen relación directa con la creación de este programa fueron los siguientes:
Formar ciudadanos socialmente responsables.
Promover el aprendizaje basado en el desarrollo de proyectos con impacto social.
Procurar un equilibrio entre la generación de conocimiento relevante y socialmente útil.
Poner énfasis en la investigación dirigida a la solución de problemas sociales.
Anticipar las necesidades del entorno y dar respuesta a ellas de manera oportuna.
Formular iniciativas adecuadas y con altos niveles de pertinencia para el diseño y aplicación de políticas que contribuyan a incrementar el nivel de desarrollo social (UABC, 2016:49).
Relacionado con estos compromisos planteados por la UABC, la ME destaca lo siguiente:
Pensar en un egresado de un programa de Maestría en Educación, formado en un ambiente como el de Baja California, necesariamente implica la inclusión de problemáticas a nivel mundial; esto le brinda una competencia para diagnosticar adecuadamente que las situaciones concretas surgidas en el ámbito de lo local se interrelacionan con condiciones a otro nivel y que las respuestas de intervención deben atender esta diversidad (UABC, 2016:7).
El programa se sometió a la evaluación de Conacyt y fue aprobado con una vigencia de tres años, en el nivel de Reciente creación. Esta no fue la única acción por parte de un organismo externo a la UABC que apoyara la operación de este nuevo programa; también contó con la opinión positiva de la Asociación Nacional de Escuelas y Facultades de Educación y Pedagogía (ANEFEP), cuyo documento, con fecha de 15 de abril de 2016, expresa: “cumple en su totalidad con todos los requisitos y lineamientos necesarios para su aprobación, conforme a las políticas actuales de diseño curricular en la educación superior y específicamente los estudios de posgrado” (UABC, 2016:382).
Por su parte, la Dirección del Instituto Nacional para la Evaluación de la Educación en Baja California Sur, que mantenía funciones en el mes de abril de 2016, emitió un oficio firmado por su titular, en el que se expresa: “...es pertinente, relevante y congruente con las necesidades del ámbito educativo actual en esta especialidad, por lo que mi postura es a favor, recomendando ampliamente este programa educativo” (UABC, 2016:381).
A partir de estas consideraciones se advierte que el programa ME surge con la finalidad de cubrir necesidades derivadas de las políticas educativas nacionales, da respuesta a los compromisos que asume la Universidad, cumple con los procedimientos establecidos en los estatutos y formaliza su instauración, con el dictamen de aprobación emitido por el Conacyt.
Gestión y uso de recursos
De acuerdo con Scriven (2015), para optimizar el uso de recursos es necesaria la identificación de lo necesario y lo disponible para el desarrollo del programa, es decir, la estructura material, económica e intelectual. El plan de estudio expone lo siguiente:
El programa deberá ser autofinanciable, los recursos generados a partir de las cuotas de inscripción deben alcanzar a cubrir el pago a docentes por asignatura, así como el pago al personal administrativo de apoyo que ha sido contratado para apoyar a las coordinaciones de posgrado de las facultades (UABC, 2016:93).
Además, el programa puede obtener recursos por parte de la UABC, a través de convocatorias internas y externas de apoyo a proyectos, cursos o movilidad, así como los que derivan de recursos federales.
El programa de la ME cuenta con un amplio listado de recursos humanos, económicos y de infraestructura que permiten su operación. Para su desarrollo, la FCAyS dispone de un edificio para los posgrados, suficiente equipo de cómputo y conexión alámbrica e inalámbrica, así como personal al servicio de los laboratorios. Asimismo, cuenta con recursos de información físicos y electrónicos que se pueden consultar tanto en la biblioteca del campus como en las del resto de la universidad.
En este campus, el programa cuenta con seis académicos que integran el Núcleo Académico Básico, quienes trabajan la línea de procesos formativos. La planta docente por asignatura la integran 12 profesores; asimismo, para dar cumplimiento a los objetivos de las materias también hay profesores invitados.
Recursos de apoyo
Los estudiantes tienen acceso a diversos recursos: servicios administrativos, de infraestructura propia de las actividades académicas; impulso de actividades por medio de tutorías; acceso a un sistema de becas que proporciona la UABC, así como a convocatorias de movilidad estudiantil ya sea en estancias cortas o semestrales. De acuerdo con la opinión de las egresadas, se puede identificar la percepción del uso de recursos sobre movilidad y convocatorias para participar en estancias.
Yo también tuve la oportunidad de la movilidad, en cuanto a lo de la movilidad y los apoyos por parte de la facultad estoy súper agradecida con el programa, con Conacyt con el apoyo de la Universidad yo me fui a España, y recibí pues la beca por parte de Conacyt, el apoyo por parte de la institución para lo que hiciera falta, como los traslados, el avión, la información por parte de mi tutora y mi directora […] considero que si me fui, fue por ella, o sea porque ella tenía el contacto (ME11CE-C160).
Es importante mencionar que los factores contextuales en los que se desarrolla este programa son compatibles con las condiciones de las estudiantes. De acuerdo con Scriven (2015), el contexto está estrechamente relacionado con las necesidades de quienes recibirán servicios.
Necesidades de los consumidores que el programa permitió atender
Los preceptos del modelo de evaluación orientado al consumidor (Scriven, 2007 en Stufflebeam y Coryn, 2014) señalan que realizar una valoración de las necesidades es una de las partes más importantes de un proceso evaluativo.
Necesidades de desarrollo de competencias educativas
Se identificó que las necesidades formativas de las egresadas se relacionaban con el ingreso y permanencia; entre estas, se destacaron las facilidades de acceso, es decir, que el programa se llevara a cabo en su lugar de residencia. Además, ellas consideraron ingresar a este programa, ya que ofrecía becas Conacyt:
[...] una de las maestras estaba en el cuerpo académico, está en el cuerpo académico de aquí, fue que me dijo que iba a salir lo de la maestría, entonces me dijo que me esperara y las viabilidades por lo mismo, porque pues una fuera de una beca, por así decirlo, pues no estaba muy a mi alcance ¿no?, entonces, y moverme de ciudad pues tampoco era una opción, me esperé y así que, aquí estamos (ME06CC-C13L).
Las actividades profesionales de las egresadas se orientan a atender las exigencias correspondientes a los diferentes niveles educativos en los que se desempeñan, tal y como se expone en el plan de estudios (UABC, 2016), las cuales son derivadas de su formación inicial. Se identifican necesidades de incremento de conocimientos y habilidades que deben ser percibidos por el consumidor de modo satisfactorio (Scriven y Roth, 1990), en este caso se observa una necesidad en el fortalecimiento de habilidades docentes: “...mi interés también ya fue otro, fue formación profesional y adquirir mayor conocimiento para desenvolverme en el campo del nivel que estoy, me gusta mucho, estoy también como docente” (ME07CE-S13L).
Estas características que las egresadas expresan permiten delimitar e identificar qué tanto contribuye el programa a satisfacer cada una de las necesidades manifestadas (Scriven y Roth, 1990).
Formas de implementación de los proyectos
El plan de estudios promueve que cada estudiante pueda aplicar un proyecto de intervención enfocado a resolver necesidades de las instituciones educativas. De acuerdo con el modelo orientado al consumidor, las necesidades que son atendidas por un programa pueden ser de orden distinto, por ejemplo, de la comunidad local, regionales o nacionales (Scriven, 2015). En este caso, los requerimientos de las instituciones educativas del municipio de Ensenada, que tienen vínculos institucionales con la UABC -bajo la perspectiva de Scriven y Roth (1990)- son mediados por el contexto.
En cuanto a la implementación de los proyectos de intervención, se identifican como necesidades: el apoyo para realizar los procedimientos que se requieran para su desarrollo, tales como la adquisición de competencias para la aplicación, vinculación con las UR, apoyo en la promoción a la participación en los proyectos, así como organización de los tiempos dedicados a estos últimos. Estos elementos permitieron a las egresadas realizar los proyectos de intervención (Scriven y Roth, 1990); sin embargo, ellas perciben que tales trabajos son vistos por las UR como responsabilidades que restan tiempo a las actividades propias de los docentes participantes o que no hay interés por parte de ellos:
[...] esperas tener todo el apoyo no sé, yo me imaginaba entrar y que estuviera un salón lleno de docentes, todos esperando mi capacitación, pero pues la verdad es que no, […] no sé cuál sea la perspectiva de los docentes al momento de yo invitarlos a participar en un proyecto, bueno, en sobre todo en la capacitación, pero sí se me hizo muy triste que no fuera tanta la participación, no hay interés (ME03CE-C13L).
Al respecto, las UR comentan que, efectivamente, los proyectos de intervención de las estudiantes de la ME son actividades que no están planeadas en la agenda de los docentes y en muchas ocasiones tienen que dejar a un lado sus actividades para atenderlos.
Intención y formas de implementación de movilidad
Los estudiantes pueden participar en convocatorias para estancias cortas o semestrales. Al respecto, las egresadas comentaron que se identificaron necesidades durante el proceso de formación que fueron cubiertas gracias a la participación en procesos de movilidad y estancias.
[...] creo que es muy importante irte a otro contexto […], irte con una persona que realmente te vaya a apoyar […], en lo personal así fue: yo me fui con una persona experta en mi tema entonces creo que eso me ayudó muchísimo y mi estancia pues realmente fue muy gratificante y me ayudó muchísimo (ME08CE-S160).
Los procesos de movilidad generados por la ME fueron percibidos de forma positiva por las estudiantes; permitieron satisfacer necesidades básicas, tales como las económicas, así como un incremento de habilidades y conocimientos.
Necesidades de las UR relacionadas con los proyectos de intervención en los que participan los integrantes del programa
De la información obtenida de las UR, se pudieron identificar necesidades que el programa logró atender por medio de la intervención de las egresadas:
[...] se realizó un diagnóstico a través de los jóvenes, se detectó que no hay apoyo directo en la situación académica ya sea apoyo para las situaciones académicas o de índole personal (MEMGS).
La facultad de deportes no contaba con una metodología para el seguimiento de egresados, sus encuestas de seguimiento, el objetivo era tener dentro de la facultad un protocolo de seguimiento de egresados (SFDCE).
Los comentarios anteriores permiten dar cuenta de algunas de las necesidades que fueron identificadas por medio de los diagnósticos que realizaron las estudiantes, estos deben conducir a la gestión y mejora de los proyectos. Los responsables de las UR generan información que puede utilizarse para lograr los cambios necesarios en este tipo de trabajos (Madaus, Scriven y Stufflebeam, 1993).
Necesidades que no fueron atendidas
En el análisis de la información, se encontraron necesidades que, de acuerdo con la opinión de las egresadas, no fueron atendidas:
[…] lo que me di cuenta es que los docentes al inicio, como que la base, el cuerpo académico, yo creo que no tenía muy claro que es la intervención, entonces no pudieron, yo creo, que desde su materia, que sí me pareció pertinente, no pudieron como que enlazarla a lo que es un proyecto de intervención, entonces fue como muy genérico [...] no midieron como que la necesidad de que cada docente, independientemente de la materia, si fue calidad o política, que fuera con esta mira de llevarnos a lo que fuera insumo también a la intervención (ME10CC-S960).
En cuanto a los directores de tesis se encontraron opiniones encontradas. Por un lado, consideraron como una necesidad no cubierta -sobre todo tomando en cuenta su importancia- el incremento de habilidades para cumplir con las actividades requeridas en las unidades de aprendizaje (Scriven y Roth, 1990), tal es el caso de los conocimientos en investigación acción, que, al tratarse de un programa de orientación profesional, es un aspecto fundamental. Por el otro, las necesidades de los consumidores que el programa permitió atender se centraron en el desarrollo de competencias educativas, forma e implementación de los proyectos y procesos de movilidad; también, se identificaron necesidades de las UR relacionadas con los proyectos de intervención en los que participaron las egresadas del programa.
Efectos explícitos e implícitos derivados del programa en su primera generación de estudiantes
Los efectos pueden ser percibidos por los consumidores de distintas formas, hay que tener en cuenta que hay que darle la misma importancia tanto a los efectos no declarados como a los previstos (Scriven, 2015).
Efectos explícitos: conocimientos
Las egresadas perciben que los efectos explícitos del programa impactan, principalmente, en la adquisición de conocimientos sobre la metodología básica para desarrollar proyectos de intervención en contextos educativos: “[...] lo más interesante también fue el momento de la intervención, del trabajo ya en el campo, el darme cuenta de cómo hacemos las cosas, las formas, es cómo podemos tener resultados” (ME09CE-C030). Es importante mencionar que, precisamente sobre dichos conocimientos, se encontró reiteradamente una opinión relacionada con la metodología investigación-acción. Las estudiantes expresan que hizo falta claridad sobre este tema y que esto afectó en la aplicación del proyecto.
Efectos explícitos: habilidades
Entre las habilidades que se identifican como efectos que el programa produce durante su desarrollo, se encuentran las relacionadas con el reconocimiento de problemas significativos asociados al campo educativo por medio del diagnóstico y el desarrollo de proyectos de intervención:
[...] al momento de nosotros realizar lo que era el diagnóstico, porque si el proceso de nuestra maestría ¿no?, era detectar la problemática, realizar lo que el diagnóstico, luego implementar lo que era la propuesta y luego evaluar los resultados, pero por ejemplo, si nos ponen que en cuarto…, nos ponen a hacer la evaluación y hacer el análisis pues, de los datos de, de nuestra propuesta, pero también esta nos hubiera apoyado si hubiéramos desde un principio, haberla llevado para que también nos hubiera podido ayudar en el análisis de los resultados del diagnóstico, por decirlo (ME03CE-C13L).
En cuanto a los temas relacionados con la adquisición de habilidades plasmadas en el perfil de egreso, el análisis de la información refiere que las egresadas estuvieron alejadas de los temas sobre el diseño, organización y evaluación de métodos innovadores en procesos educativos, todos ellos manifiestos en el perfil de egreso.
Efectos explícitos: valores
En cuanto a los valores plasmados en el perfil de egreso, se encontraron opiniones relacionadas con la responsabilidad, la autonomía, la colaboración, innovación, la solidaridad y el respeto:
Pero sobre todo el impacto que tuvo, que yo lo puedo ver así, el impacto que tuvo en el nivel en donde se llevó a cabo mi proyecto, que fue algo innovador porque, pues fue la primera vez que se llevaba cabo un proyecto, entonces eso para mí, es muy satisfactorio igual que para la escuela (ME07CE-S13L).
De acuerdo con Scriven (2015), también hay que identificar de los efectos esperados aquellos que los consumidores no identifican, en este caso, temas como ética, integridad y proactividad.
Efectos a largo plazo
Los efectos a largo plazo pueden recuperarse mediante ejercicios de seguimiento de egresados (Stufflebeam y Coryn, 2014); en este caso, por tratarse de la primera generación, no fue posible identificarlos al momento de la evaluación; sin embargo, se recuperaron opiniones relativas a las expectativas sobre la aplicación de lo aprendido en la ME y el desarrollo de su vida profesional.
Efectos implícitos
Se identificó que las egresadas perciben efectos negativos que inciden en el bienestar del estudiante, tales como percepción de altos niveles de estrés: “...esa creo que fue la peor desventaja ¿no?, el sentir este nivel de estrés a veces que físicamente te empiezan a temblar que si el ojo, que si te duele la nuca, que si el insomnio por la ansiedad y que no descansas” (ME10CC-S960).
Por su parte, las UR valoran como útiles los proyectos llevados a cabo. Los representantes tienen una opinión positiva sobre el desempeño de las estudiantes en las actividades propuestas, en la mayoría de los casos se mencionó que el programa se cumplió totalmente, solo en un caso se informó que no se llevaron a cabo todas las actividades por causas ajenas a la estudiante.
Perspectiva de los diversos actores educativos que participaron en la evaluación, sobre la operación del programa
Perspectiva de los consumidores directos con respecto al programa
De acuerdo con las opiniones de las egresadas, los elementos a los que se les dio más énfasis fueron la dirección de tesis y el plan de estudios. Existió un acentuado desacuerdo, ya que se comentó que algunas estudiantes tuvieron la oportunidad de continuar con el anteproyecto con el que ingresaron al programa, mientras que otras tuvieron que cambiarlo:
[…] tuve la ventaja de que mi director, de que cuando recién se inició el proceso […], él respetó mi proyecto, este y eso se lo agradezco mucho, porque por lo que escucho en el caso de ME09CE-C030 a ella le cambiaron y ya no hay manera de retomar lo que ella realmente quería hacer. Entonces yo, esa parte si se lo agradezco mucho a mi director, de respetar y de acompañar (ME10CC-S960).
Continuar con el anteproyecto con el que fueron aceptadas al momento de ingreso a la maestría produce efectos positivos no solo en la percepción de beneficios por parte del programa, sino que las estudiantes que se encontraron en esa situación reflejaron en sus comentarios estar motivadas en el tema trabajado.
Plan de estudios
Una de las dificultades que presentaron las egresadas en el desarrollo de sus proyectos fue en relación con la metodología empleada; en algunos casos, se encontraron incongruencias sobre la que se estaba usando para abordar las problemáticas en los proyectos de investigación. Otros comentarios sobre el plan de estudios versaron sobre las materias optativas; las egresadas perciben que no cubren sus necesidades de formación, además de que no existe la posibilidad de elegir: “…en realidad no hay optativas, eran un paquete y esto es lo que hay, eres grupo único entonces no tienes optativas” (ME09CE-C030).
Es importante mencionar que cuando las opiniones del consumidor indican que el proceso de aprendizaje se ve afectado por estas diferencias, se sugiere una revisión de expertos en planes de estudios profesionales (Scriven, 1991).
Docentes
En el tema de trabajo docente y su participación en la operación del programa se encontraron valoraciones positivas y negativas. Algunas de estas opiniones se pueden identificar en la siguiente cita: “[...] hubo maestros muy buenos, muy preparados, que me apoyaron en todo momento, que me ayudaron a ver las cosas […], a tomar diferentes caminos, diferentes formas de solucionar y que eso mismo me encaminó a llevar una intervención” (ME09CE-C030).
Evaluaciones Conacyt
Las egresadas expresan que una de las mayores ventajas es el recurso que se otorga como estudiante a través de la beca de manutención, también perciben como beneficio el respaldo de pertenecer a un programa que da reconocimiento a nivel nacional: “Pues para mí una de las ventajas bien importante es que contamos con una beca, otorgada por ellos con la intención de -pues no era el dineral, ¿no?- [suplir] las necesidades básicas […] para dedicarte a el estudio” (ME11CEC160).
Por otro lado, comentaron que las exigencias provocaron en algunas estudiantes sensaciones de estrés, así como sentirse poco valoradas por parte del programa, ya que percibieron que había una fuerte preocupación únicamente por alcanzar los indicadores de Conacyt.
Coincidencia de la forma de operación del programa respecto de sus intenciones formativas
La ME se diseñó con orientación profesional; de esta manera es congruente con la descripción de la línea de trabajo que se oferta. Con esta primera generación del programa se desarrollaron un total de trece proyectos de intervención orientados al acompañamiento escolar y formación profesional docente.
Plan de estudios
Las egresadas consideran que existen algunas incongruencias entre los objetivos del trabajo terminal y la oferta de materias. A partir de estas problemáticas se sugieren aspectos de mejora relacionados con la secuencia de unidades de aprendizaje:
[...] sería muy padre que nos pudieran observar, desde la visión de la propuesta curricular, esas diferencias que pudiera haber entre un programa de intervención profesionalizante como el que estamos planteando nosotros, porque a lo mejor ahí está el meollo del asunto, de que las cartas están diseñadas más como una orientación de investigación más que de intervención y esto nos está generando estas posibles discrepancias ahorita la práctica (DSPC).
Docentes
Desde la perspectiva de las egresadas sería necesario tener claro hacia dónde se dirigen los proyectos de intervención y que los docentes se encuentren preparados en la metodología de la investigación-acción.
Implementación de proyectos en las unidades receptoras
Algunos aspectos de mejora sobre la implementación de los proyectos de intervención están relacionados con las UR; las egresadas proponen que se afinen los procesos de vinculación relacionados con formalidades en los trámites y apoyo durante la realización de los proyectos.
[…] para las siguientes generaciones, una sugerencia buena sería […]: uno, tener ya bien ubicada […] tu unidad receptora, desde que planteas o inicias el desarrollo de tu proyecto y asegurarnos que esa coordinación, esa dirección, esa persona, nos va dar un apoyo cien por ciento, no más de lo que debieran apoyarnos, o sea, no hablo de que nos paguen el proyecto, ni que nos den café y galletas […]. Pero sí, que no interfiera la misma unidad receptora en el desarrollo del proyecto, que creo que eso es importante (ME01CE-C13L).
Vínculo con egresadas
Considerando que es la primera generación, más allá de configurarse como una propuesta de mejora, estas opiniones se pueden reconocer como sugerencias o expectativas de lo que se espera en cuanto a seguimiento de egresados: “Pues ah, yo esperaría como actualizaciones ¿no?, capacitación, que nos mantengan con temas que, que va a haber, congresos, seminarios, ¿cuál es la oferta educativa?, ¿qué hay para actualizarnos?, y ¿por qué no?, bolsa de trabajo” (ME10CC-S960).
Conclusiones
En el marco de los objetivos nacionales para el desarrollo de los posgrados en México, se rescatan como indicadores primordiales la equidad y la pertinencia. Sin embargo, aún hay líneas de investigación pendientes como el impacto de la tecnología, la vinculación y el buen uso de los insumos materiales y físicos en la formación de los estudiantes, de acuerdo con los parámetros del Conacyt.
El análisis de las experiencias de los diversos actores educativos que participaron en la evaluación formativa del programa de ME ha permitido dar a conocer elementos internos que no tienen alcance en ninguna de las evaluaciones realizadas por los organismos acreditadores. Los objetivos de esta evaluación se encuentran alejados de la toma de decisiones sumativas y publicación en listas de rankings; más bien, se orientan a la mejora del programa (Scriven, 1991).
Esta evaluación cumple con el propósito de hacer un estudio con base en las experiencias de los consumidores directos e indirectos. Su relevancia radica en que al ser los estudiantes la razón de ser de un programa, los resultados son de suma importancia para la administración, para los diseñadores del programa, para la universidad y para la sociedad misma. El trabajo se centró en la primera generación del programa de ME; sin embargo, su alcance se extiende hacia las futuras generaciones, ya que se identifican los aspectos a mejorar.
De acuerdo con el modelo seleccionado, se identificaron las áreas de mejora que pueden convertirse en recomendaciones para enriquecer el diseño del programa (Scriven, 2015). Los resultados del estudio visibilizan la necesidad de abordar la evaluación formativa del posgrado, lo cual implica pensar la realidad y las situaciones problemáticas que enfrenta. Escuchar las voces de los involucrados es aceptar que manifiestan retos y habilidades que no se resuelven durante su formación, plantean la necesidad de responder desde lógicas diferentes para indagar la naturaleza de las necesidades pedagógicas y sociales, que van más allá de los indicadores educativos considerados en los marcos de referencia nacionales.
Este trabajo abona al campo de la investigación en evaluación de programas educativos al realizarse bajo un acercamiento al modelo metodológico de Scriven (Stufflebeam y Shinkfield, 1993). La evaluación que regularmente se lleva a cabo en este tipo de programas, igual que otros en que pertenecen al sistema educativo mexicano en el nivel superior, se encuentran enfocados al cumplimiento de ejercicios de acreditación y se alejan de acciones orientadas hacia la retroalimentación. En ese sentido, el presente trabajo representa la posibilidad de abonar a la discusión académica sobre el desarrollo de evaluaciones educativas bajo diversos modelos que ofrece la literatura internacional.
Con el trabajo reportado, se aporta a la ME con los elementos de mejora recuperados de las opiniones de las egresadas de la generación 2017-2019. Asimismo, esta evaluación formativa contiene elementos que complementan los ejercicios de acreditación que realizan agencias externas, implementando elementos metodológicos y de discusión para reflexionar sobre la función formativa que le compete.
