Introducción
Uno de los retos más desafiantes de las entidades educativas consiste en la identificación, por medio de la evaluación, de las diferentes capacidades, conocimientos y habilidades de los estudiantes con el fin de adaptar los planes, los programas y los métodos educativos para mejorar el proceso de aprendizaje durante sus estudios. En educación superior es tal la importancia de la evaluación en los primeros años de la carrera, que factores tradicionales como el promedio de calificaciones del desempeño académico pueden predecir el resultado final del programa (Schlesselman y Coleman, 2011).
Considerada como una herramienta de aprendizaje, la evaluación juega un papel relevante en la educación (Heitink, Van der Kleij, Veldkamp, Schildkamp y Kippers, 2016). La evaluación, integrada por el conocimiento y las habilidades esperadas por los docentes, requiere la vinculación de múltiples fuentes de evidencia recogidas en el tiempo y en diferentes contextos (Darling Hammond y Snyder, 2000). Uno de los mecanismos de evaluación utilizados en la educación superior lo constituyen los exámenes estandarizados. La introducción por primera vez de un examen estandarizado puede ayudar a los profesores y a las autoridades académicas a identificar las debilidades y las fortalezas de sus alumnos, concentrando los esfuerzos en la formación académica (Crescentini y Zanolla; 2014).
La aplicación de un examen estandarizado permite mejorar el control de las evaluaciones disminuyendo la subjetividad de las valoraciones, fijar parámetros de desempeño necesarios para el establecimiento de metas educativas. También sirve de índice para determinar las tendencias del comportamiento de los resultados de diversas generaciones de estudiantes, evaluar el desempeño de los profesores, contar con información oportuna para la toma de decisiones relacionadas con las políticas internas de evaluación. Asimismo, facilita puede aportar en el diseño de planes y programas de estudio, prevenir deficiencias de aprendizaje en cursos posteriores y contribuir a mejorar los indicadores educativos de las instituciones de educación superior.
Si bien el uso de pruebas estandarizadas tiene sus inicios en la década de los noventa (Linn, 2000), la introducción de los mismos en algunas universidades, especialmente de carácter público, resulta una novedad y todo un desafío ante la cultura organizacional. Tal es el caso de la entidad bajo análisis. Derivado de la reestructuración curricular de los planes de estudio de una escuela pública de negocios de educación superior, a partir del año 2015, se estableció como obligatoria la evaluación departamental como parte de la nota final de los alumnos, específicamente en el curso de contabilidad. Dicha política supuso una serie de inconformidades y resistencias de diversos sectores al considerar que sus métodos de enseñanza serían evaluados y comparados de forma más objetiva. El propósito de este artículo es presentar el análisis de un examen departamental, por medio de la identificación de los factores principales que inciden en el desempeño académico de una muestra de estudiantes de segundo semestre del curso de contabilidad de una escuela de negocios, con el fin de exponer la eficacia de la estandarización en un ambiente de educación superior. El trabajo está estructurado como sigue. En la sección 2 introduce el tema de la evaluación del desempeño académico con base en la aplicación de exámenes estandarizados. En la sección 3 se propone la metodología del diseño de la investigación. Posteriormente, la sección 4 recoge el análisis y la discusión de los resultados, para finalizar con las conclusiones, las limitaciones y las futuras líneas de investigación en la sección 5.
Evaluación del desempeño académico: los exámenes estandarizados
La estandarización como base del proceso evaluativo
Las mejores prácticas de evaluación suponen un requisito para cualquier institución que busca fomentar la excelencia en sus estudiantes (Al-Kadri, 2015). El modo en que los estudiantes son evaluados tiene una influencia importante en su aprendizaje (Al-Kadri, 2015; Askham, 1997). Según Struyven, Dochy y Janssens (2005), los estudiantes perciben un método de evaluación como justo cuando: (i) se relaciona con tareas auténticas; (ii) hace demandas razonables a los alumnos en términos de carga de trabajo; (iii) desafía a los estudiantes a usar su conocimiento y entendimiento en contextos realistas; (iv) enfatiza la importancia de que una serie de habilidades tiene que ser desarrollada; y (v) conduce a efectos a largo tiempo. No obstante, la subjetividad inherente de la evaluación ha llevado a incorporar medidas objetivas en métodos más establecidos de evaluación académica.
Las técnicas de evaluación de la enseñanza incluyen ensayos, resolución de problemas, preguntas de opción múltiple, exámenes orales, trabajo en equipo, casos, exposiciones y portafolios e investigación (Chamorro-Premuzic, Furnham, Dissou y Heaven, 2005; Darling-Hammond y Snyder, 2000; Davidson, 2009). No obstante, la predicción de logro educativo ha sido tradicionalmente asociado con las habilidades cognitivas y exámenes de máximo desempeño (Chamorro-Premuzic et al., 2005).
La naturaleza y los contenidos de los exámenes determinan las actividades de aprendizaje de los estudiantes en gran medida (Al-Kadri, 2015). De acuerdo con algunos autores (Askham, 1997; Heitink et al., 2016), la evaluación puede ser clasificada en formativa y sumativa. Mientras que la evaluación formativa incluye retroalimentación para el alumno que, posteriormente, le ayudará a mejorar su desempeño, la evaluación sumativa produce una medida que solo describe lo que se ha logrado. Si bien puede suponerse que un examen, especialmente al final de un período de evaluación, no tiene una función formativa, no significa que esté mal, sino que no hay tiempo para la retroalimentación ni para que el alumno aprenda de sus errores.
En el ambiente académico existen diversas formas de evaluar a los estudiantes. La Organización para la Cooperación y el Desarrollo Económicos (OECD, 2013) propone, en la guía del profesorado TALIS, algunas prácticas de evaluación: (i) observar a los estudiantes cuando trabajan en sus tareas particulares y proveer retroalimentación inmediata; (ii) desarrollar y dirigir una evaluación propia; (iii), proveer retroalimentación por escrito del trabajo del estudiante además de la nota numérica; (iv) dejar que los estudiantes, de forma individual, respondan preguntas frente a la clase; (v) dejar que los estudiantes evalúen su propio progreso; y (vi) aplicar una prueba estandarizada.
Una modalidad en la aplicación de exámenes como medio de evaluación está representada por los exámenes estandarizados. La estandarización se refiere a las reglas que involucran conceptos tales como similitud, uniformidad y continuidad de comportamientos y acciones (David y Rothwell, 1996). En otras palabras, la estandarización constituye una herramienta que disminuye la variabilidad de resultados (Santos, Torres Formoso y Tookey, 2002), incrementa la productividad y la ventaja competitiva (Polesie, 2013) y fomenta la mejora continua basada en la experiencia (David y Rothwell, 1996).
La estandarización y su relación con la predicción del desempeño académico
Los exámenes estandarizados son establecidos, calificados e interpretados de una forma generalizada, por ejemplo, con las mismas direcciones, límite de tiempo y evaluación para todos los sustentantes (Crescentini y Zanolla, 2014). De forma general, los exámenes estandarizados son utilizados para pronosticar cuáles estudiantes serán los más exitosos y obtendrán el mayor beneficio de la educación superior en distintas disciplinas (Kuncel y Hezlett, 2007). La mayoría de los exámenes estandarizados evalúan una combinación de habilidades verbales, cuantitativas, de escritura y analíticas sobre un conocimiento específico; su objetivo es medir habilidades y conocimiento relevante sobre determinados aspectos con el fin de dominar una disciplina particular (Kuncel y Hezlett, 2007).
Las pruebas estandarizadas se utilizan en las reformas para mejorar la calidad de la educación (Casas y Meaghan, 2001; Herman y Golan, 1993; Moses y Nanna, 2007). Con base en los resultados de las pruebas estandarizadas, los políticos normalmente hacen comparaciones entre estudiantes, profesores, escuelas, consejos administrativos de escuelas, territorios y países (Casas y Meaghan, 2001). Los resultados de la literatura indican que los exámenes estandarizados son útiles predictores del desempeño subsecuente de un alumno, pronostican de forma más exacta, no muestran sesgos y no son influenciados por la asesoría del docente. Específicamente, de acuerdo con el estudio de Kuncel y Hezlett (2007) quienes recogieron y sintetizaron trabajos relacionados con exámenes estandarizados, existen cuatro hallazgos consistentes sobre dicho tipo de pruebas: (i) son efectivos predictores del desempeño en una escuela; (ii) pronostican resultados académicos importantes más allá de las notas obtenidas en la escuela; (iii) predicen más medidas sobre el éxito futuro del estudiante al momento de la admisión que las calificaciones previas de la institución educativa de origen; y (iv) produce predictores más exactos del éxito con base en la combinación de pruebas y notas.
Para Muñoz-Comonfort, Leenen y Fortoul-van der Goes (2014) los exámenes estandarizados tienen la ventaja de realizar predicciones y proponer medidas remediales tempranas para los estudiantes. Asimismo, según Herman y Golan (1993), dichos exámenes permiten que los profesores de escuelas donde es evidente una mejora de los resultados reporten una mayor innovación instruccional, se sientan parte de la toma de decisiones escolares, desarrollen mayores expectativas del desempeño de sus estudiantes y se sientan más orgullosos de su trabajo.
Por su parte, mientras que Linn (2000) afirma que la variedad de tipo de pruebas puede ser utilizada para mejorar la educación, Casas y Meaghan (2001) enfatizan la igualdad de oportunidades para todos los estudiantes, la disponibilidad y la transparencia de la información para los sustentantes, el bajo costo y la ideología competitiva del mercado. Por último, Crescentini y Zanolla (2014) consideran los exámenes estandarizados como una herramienta objetiva para medir los logros de los estudiantes que consume poco tiempo de clases y produce información útil para maestros, administradores de escuelas y emisores de políticas públicas de educación.
Sin embargo, existe una controversia acerca de si los exámenes estandarizados efectivamente predicen el desempeño de los estudiantes (Kuncel y Hezlett, 2007). Si bien los exámenes estandarizados ofrecen información útil para predecir el desempeño subsecuente de los estudiantes, la motivación y el interés a menudo pueden inferirse por medio de medidas no estandarizadas como cartas de recomendación, juicios personales y entrevistas (Kuncel y Hezlett, 2007). Por ejemplo, los resultados del estudio de Debicki, Kellermanns, Barnett, Pearson y Pearson (2016) señalan que los estudiantes que están más motivados, que son alabados de forma positiva y que se comprometen con comportamientos que les permiten probar que son mejores que otros tienden a alcanzar sus metas y, como resultado, mejorar su desempeño. Algunos argumentos señalan que el uso de estas pruebas tiene efectos no deseados en la enseñanza y el aprendizaje porque conducen a una visión corta del currículum y a enfatizar habilidades básicas (Linn, 2000). Otra preocupación es que los exámenes estandarizados pueden sesgarse contra ciertos grupos que presentan características tales como género o raza (Kuncel y Hezlett, 2007).
Finalmente, Casas y Meaghan (2001) identifican las siguientes desventajas de los exámenes estandarizados: (i) desvían tiempo valioso de instrucción por tiempo invertido en preparar el examen; (ii) se diseñan con el fin de evaluar respuestas de temas específicos dejando fuera otros relevantes; (iii) con el fin de obtener altas calificaciones, se descuidan otras habilidades cognitivas y de resolución de problemas; (iv) el material evaluado puede ser de relevancia limitada; (v) no son adecuados para todos los estudiantes; (vi) el formato y los procesos de evaluación pueden contraponerse a la forma en que los estudiantes interactúan de forma colaborativa en el salón de clases; (vii) la confiabilidad es limitada, carece de validez y de justicia respecto a factores como la raza, el género y el ingreso familiar; (viii), la creatividad y la flexibilidad del maestro puede ser reducida para enfocarse en determinados aspectos; y (ix) los resultados pueden ser exagerados o dar una falsa impresión del logro de los estudiantes.
Con base en las ventajas y las desventajas del examen estandarizado, Linn (2000) propone no poner todo el peso de la nota en un solo examen, sino utilizar indicadores múltiples para incrementar la validez de inferencias sobre los logros. Siguiendo esta línea de pensamiento, de acuerdo con Crescentini y Zanolla (2014) los exámenes estandarizados no deben reemplazar la evaluación tradicional utilizada por los maestros en sus propios salones de clases, fundamentada en una mezcla de diferentes tipos de evaluación y considerando las características de cada estudiante. En síntesis, Herman y Golan (1993) señalan que si los resultados del examen representan aprendizaje significativo, entonces las pruebas pueden contribuir al logro de los objetivos, pero si los resultados no representan el aprendizaje, dicha práctica puede ser considerada como una herramienta equivocada.
Estudio empírico
Con el fin de identificar y comprobar las ventajas y las desventajas de los exámenes estandarizados expuestas en la literatura previa, el propósito de esta investigación consiste en determinar los posibles factores de pronóstico del desempeño académico a partir de la aplicación del examen departamental del curso de contabilidad de los estudiantes del segundo semestre de las licenciaturas en Contaduría Pública y en Administración, para mejorar y validar los procedimientos de implementación del examen estandarizado.
El desempeño académico, considerado como un indicador de la capacidad intelectual (Ciorbea y Pasarica, 2013), hace referencia a cómo los estudiantes se involucran en sus estudios y cómo enfrentan o llevan a cabo diversas tareas dadas por sus maestros (Masrek y Zainol, 2015). Actualmente, los estándares de desempeño académico han sido establecidos con el fin de medir los logros de los estudiantes con base en un sistema de calificaciones establecido por la institución académica (Masrek y Zainol, 2015). No obstante, más allá de conocer un resultado, es relevante identificar las posibles causas que generan dicho desempeño con el objetivo de detectar áreas de oportunidad en las instituciones educativas.
En el campo de la investigación, la caracterización de los predictores del desempeño académico ha sido demostrada por más de un siglo (Ciorbea y Pasarica, 2013). En los últimos años se han llevado a cabo diversos estudios con el fin de determinar predictores del desempeño académico, tales como: uso de la tecnología (Lambic, 2016; Rashid y Asghar, 2016), estrategias de motivación (Grunschel, Schwinger, Steinmayr y Fries, 2016), aspectos de salud (So y Park, 2016), habilidades de comunicación del estudiante (Mushtaq y Khan, 2012), discriminación racial y relaciones entre pares (English, Lambert y Ialongo, 2016; Hu, 2015), compromiso del estudiante (Rashid y Asghar, 2016), enfoques de aprendizaje (Chen y Hu, 2013; Rashid y Asghar, 2016), inteligencia (Lozano, Gordillo y Pérez, 2014), infraestructura de aprendizaje (Mushtaq y Khan, 2012), estrés familiar (Mushtaq y Khan, 2012), personalidad (Chamorro-Premuzic y Furnham, 2008; Ciorbea y Pasarica, 2013; Poropat, 2014), diferencias rurales y urbanas (Ansong, Ansong, Ampomah y Afranie, 2015; Faisal, Shinwari y Mateen, 2016) y diferencias de género (Lu, Chou y Lin, 2014).
La identificación de factores personales y situacionales que afectan el desempeño académico de los estudiantes es de interés e importancia para los gestores de la educación (Debicki et al., 2016). Su uso puede tener una contribución significativa para los procedimientos de diagnóstico e intervención en el campo educativo (Mitrofan y Ion, 2013). Algunas investigaciones han analizado diferentes factores que impactan el desempeño académico tales como horarios de clases, tamaño de la clase, libros de texto, tareas, ambiente de la clase, utilización de tecnología, sistemas de exámenes, actividades extracurriculares, familia y trabajo (Mushtaq y Khan, 2012).
Mushtaq y Khan (2012) clasifican los predictores del desempeño académico en dos grupos: factores internos y factores externos. Los factores internos en el salón de clases incluyen competencias del estudiante en inglés, horarios de clase, número de estudiantes en el salón de clases, resultados de pruebas en clase, infraestructura de aprendizaje, tareas, ambiente de la clase, complejidad del material del curso, papel del maestro en la clase, tecnología utilizada en el curso y sistema de exámenes. Los factores externos al salón de clases consideran actividades extracurriculares y problemas familiares, sociales, financieros y de trabajo.
Para la presente investigación, se seleccionaron siete factores internos como variables independientes utilizados frecuentemente en investigaciones previas para explicar el desempeño académico de los estudiantes de educación superior: profesores, horario, duración, carrera, género, tamaño y calificación del examen de admisión. Por su parte, el desempeño académico, identificado como variable dependiente, fue medido por las calificaciones del examen departamental del curso introductorio de contabilidad de los estudiantes de primer ingreso en una escala del 0 al 10, considerando como obligatoria su presentación para aprobar la materia. En este contexto, se han establecido las siguientes hipótesis de investigación:
H1: Existen diferencias significativas en el aprendizaje de los alumnos debido a la influencia de los profesores que les impartieron el curso.
H2: El horario influye en los resultados de aprendizaje de contabilidad, es decir, hay una relación entre el horario y los resultados.
H3: Los estudiantes que cursaron un bachillerato de tres años alcanzan un mayor desempeño académico en contabilidad.
H4: Los estudiantes de contaduría logran un mayor aprendizaje de contabilidad en comparación con los administradores.
H5: Existe una relación entre el género del alumno y su desempeño académico en el curso de contabilidad.
H6: Existe una relación entre el tamaño del grupo y el desempeño académico de los alumnos.
H7: La calificación obtenida en el examen de admisión a la escuela de negocios influye en el desempeño académico de los alumnos.
Este trabajo de investigación se llevó a cabo a partir del total de estudiantes (602) del segundo curso de contabilidad del semestre enero-junio de 2016 de las carreras de Administración y Contaduría Pública de la FCA en la UASLP. Dicha muestra forma parte de una población total de 3,701 alumnos (16.6% de la población total de la escuela de negocios). La aplicación del examen estandarizado es de carácter obligatorio, establecido en los programas de asignatura y evaluado por la institución con base en una medición objetiva. No obstante, a pesar de su obligatoriedad, algunos estudiantes no presentaron el examen departamental. De tal forma, la muestra final para el análisis de las relaciones de variables fue de 545 alumnos de 602 inscritos en las materias analizadas.
Para Kuncel y Hezlett (2007), la validez predictiva de los exámenes se evalúa generalmente por medio de estadísticas que estiman la relación lineal entre predictores y una medida del desempeño académico. La validación de un instrumento puede llevarse a cabo de forma interna, en referencia a la congruencia conceptual del mismo, y de forma externa, cuando se toman en cuenta factores no incluidos en la variable analizada. Para el presente estudio se seleccionó el método de validez externa para identificar los posibles factores que inciden en el desempeño académico. Por tanto, la validez del examen se basa en un análisis cuantitativo por medio del uso de técnicas estadísticas de correlaciones, Anova, prueba t de muestras independientes cada una de ellas ponderada por su grado de significancia. Con el fin de identificar los factores que tienen una influencia significativa en el desempeño académico de los estudiantes, se llevó a cabo un análisis multivariable a través del siguiente modelo:
DA = bo + b1PROFESOR + b2HORARIO + b3DURACIÓN + b4CARRERA + b5GÉNERO + b6TAMAÑO + b7ADMISIÓN + εi
Resultados y discusión
Análisis descriptivo
Como puede observarse en la Tabla 1, el 58.8% de los alumnos pertenecen a la carrera de administración, mientras que el 41.2% forman parte de la licenciatura en contaduría. Dado que la población escolar a junio de 2016 de toda la facultad es de 3,701 alumnos, 37.0% contadores y 63.0% administradores, se puede afirmar que los resultados del estudio son representativos. Por su parte, el 37.0% de la muestra bajo estudio representa al género masculino, mientras que el 63.0% son mujeres. En cuanto a la representatividad del estudio por sexo, considerando la población de 3,701 alumnos, el sexo femenino constituye el 57.0%, por lo que se puede afirmar que están ligeramente más representadas las mujeres en la muestra, pero cercanas a las proporciones de la población.
En relación al desempeño de los estudiantes en la prueba, la tabla 2 muestra que mientras que los administradores obtuvieron un promedio general de 5.09, los alumnos de contaduría alcanzaron una media de 6.23. En general para ambas carreras, el promedio se establece en 5.59. Considerando que la escuela de negocios maneja un estándar de 8.0 como representación de un buen promedio, se observa que las dos carreras están por debajo del mismo.
Análisis univariante
H 1 : Existen diferencias significativas en el aprendizaje de los alumnos debido a la influencia de los profesores que les impartieron el curso.
Evaluar el desempeño de los profesores es importante para el aprendizaje de los estudiantes (Urrutia-Aguilar, Sánchez-Mendiola, Guevara-Guzmán y Martínez-González, 2014). En este sentido, se llevó a cabo un análisis comparativo por profesores, independientemente de la carrera, el sexo y otros factores, utilizando la técnica Anova.
Si bien la filosofía de un examen departamental considera la homogeneización de los contenidos impartidos por los profesores, los resultados indican que sí hay diferencia significativa (0.000) entre la impartición de clase de determinados profesores y el desempeño académico (Tabla 3). En otras palabras, el desempeño académico de los alumnos depende del profesor que les impartió el curso, lo cual se reafirma con las diferencias de medias entre grupos por profesor que varían desde un 7.0393 hasta un 4.0489 (tabla 4).
Así, la principal variable que parece influir en los resultados del examen es el maestro, es decir, las diferencias pedagógicas, psicológicas y profesionales de los profesores influyen en el desempeño académico. Esta variabilidad significativa del análisis Anova revela dos aspectos: por un lado, enfatiza la necesidad de una selección adecuada de los maestros y, por otro lado, indica que se deben hacer mayores esfuerzos para la estandarización de la evaluación y en general del proceso pedagógico aplicado en la escuela de negocios. Cabe señalar que la calificación promedio se obtuvo a partir de la aplicación de un examen estandarizado de la institución, midiendo objetivamente el aprendizaje de los alumnos sin intervención del profesor en su aplicación, aunque sí en la elaboración y en el diseño del mismo.
H 2 : El horario influye en los resultados de aprendizaje de contabilidad, es decir, hay una relación entre el horario y los resultados.
Considerando el horario en el que se imparte la materia como una variable que influye en el desempeño académico, los resultados indican que a medida que pasa el tiempo (correlación de -0.35, es decir, influencia inversa), disminuye el promedio general (tabla 5). La diferencia de calificaciones según el horario de la clase es significativa al nivel de 0.000. (tabla 6). Concretamente, conforme transcurre el día, disminuye el rendimiento medido por el promedio de los alumnos.
H 3 : Los estudiantes que cursaron un bachillerato de tres años alcanzan un mayor desempeño académico en contabilidad.
La formación académica de la preparatoria es un determinante para la admisión y el éxito de los alumnos (Astin y Oseguera, 2012). El rendimiento académico de los estudiantes se asocia con varios factores, como por ejemplo, los conocimientos previos de ingreso a la licenciatura (Muñoz-Comonfort et al., 2014). A medida que incrementa la duración de la enseñanza, los alumnos tienden a especializarse en diferentes áreas, tales como socio-administrativo, físico-matemático o químico-biológico. De tal forma, si el estudiante cursó una preparatoria de tres años, implica que tiene más conocimientos previos sobre contabilidad.
Así, mientras que los alumnos que cursaron un bachillerato de dos años alcanzan una media de 5.3088, los estudiantes cuyo bachillerato fue de tres años lograron una desempeño superior de 5.7172. Con base en una prueba de muestras independientes (t de Student) los resultados indican que la diferencia entre los desempeños es significativa (0.029) (tabla 7).
H 4 : Los estudiantes de contaduría logran un mayor aprendizaje de contabilidad en comparación con los administradores.
En relación al desempeño académico por carrera, se observa una diferencia significativa entre los contadores y los administradores. Mientras que la media del desempeño académico de contadores es de 6.2377, la de administradores es de 5.0941 (tabla 8), con un nivel de significancia de 0.000 de acuerdo con la prueba t para la igualdad de medias.
H 5 : Existe una relación entre el género del alumno y su desempeño académico en el curso de contabilidad.
Por lo que se refiere a la variable género, las medias indican que mientras que los hombres obtienen un promedio general de 5.39 en la prueba departamental, las mujeres alcanzan una media de 5.69 (tabla 9). No obstante, la prueba de muestras independientes indica que el género del alumno no influye en el promedio general, es decir, no hay diferencia significativa (0.517) debido a dicho factor (p > 0.05). Por tanto, la diferencia entre medias no es suficiente para aceptar que el género sea una variable influyente en los resultados.
H 6 : Existe una relación entre el tamaño del grupo y el desempeño académico de los alumnos.
Por medio de la prueba de esta hipótesis se busca conocer si el desempeño académico depende del tamaño del grupo. Para tal efecto, por medio de la correlación de Pearson se observa que sí influye el tamaño de forma leve, ya que las dos variables se relacionan solo en un 21.6% siendo significativa esta influencia al nivel de 0.000 (tabla 10).
H 7 : La calificación obtenida en el examen de admisión a la escuela de negocios influye en el desempeño académico de los alumnos.
Con base en la hipótesis planteada, se pretende probar si a mayor calificación en el examen de admisión los alumnos obtuvieron un mayor desempeño académico en la prueba estandarizada de contabilidad. Para fundamentar la capacidad del examen de admisión como predictor de los resultados del examen departamental, se correlacionó con la duración del bachillerato que cursaron los alumnos, tanto de manera global como con cada uno de sus componentes.
En la misma línea del estudio realizado por Muñoz-Comonfort et al., (2014) donde los resultados muestran una correlación entre el promedio de los exámenes departamentales de las asignaturas de primer año y el examen diagnóstico de conocimiento generales. En el análisis realizado se encontró una asociación significativa entre los resultados del examen de admisión y el desempeño académico (0.495) (tabla 11), siendo significativa dicha relación (0.000). Por tanto, dicho predictor es uno de los más altos obtenidos en el análisis, ya que explica en un 50% el resultado del examen departamental. Sin embargo, de acuerdo con Schlesselman y Coleman (2011), la confiabilidad de los resultados de una prueba estandarizada para predecir a aquellos que progresaran a través de la carrera o que tendrán bajo desempeño es probabilística, pero no exacta.
Análisis multivariable
Por último, se lleva a cabo el análisis multivariable o de regresión múltiple con el fin de considerar el efecto de todas las variables en conjunto sobre la variable dependiente en el modelo bajo estudio. Debido al carácter cualitativo de las variables “profesor”, “duración”, “carrera” y “género”, las mismas fueron transformadas en variables dummy. En las variables dummy, los valores de los coeficientes de regresión no se analizan de forma absoluta sino en comparación con la categoría de respuesta que se pone de referencia. Como consecuencia, en dichas variables se pierde una de las categorías de respuesta al ser codificada artificialmente con el valor de 0.
En primer término se analizó la variable profesor (tabla 12). Como se mencionó anteriormente, una de las respuestas de los maestros se toma como referencia de comparación la cual corresponde a la constante del modelo. De tal modo, el análisis de los demás profesores se va realizando de forma incremental o marginal. En este caso, el profesor N constituye el parámetro de comparación. Así, los resultados indican que los profesores C, F, G, J y M están por debajo del profesor N; en otras palabras, el desempeño de dichos maestros es menor que el del parámetro.
Al observar al profesor D quien presenta el coeficiente no estandarizado más alto (2.323), poca variabilidad y un nivel significativo de 0.000, se infiere que, con base en los resultados del profesor N (parámetro de referencia), el desempeño académico se incrementa en 2.323 puntos de calificación. En este sentido, se deduce que la principal diferencia en los resultados del examen estandarizado la constituye el profesor que imparte la materia. Los maestros D, L, B y A tienen una influencia significativa en el resultado del examen (p < 0.05), estableciendo la diferencia de resultados del desempeño académico de sus grupos de alumnos. Si bien lo anterior puede originarse a partir de la variabilidad de estilos de pedagogía, no deberían existir diferencias significativas entre los maestros debido a que el objetivo de la enseñanza es la estandarización de los conocimientos entre los estudiantes. Asimismo, todos los profesores están obligados a seguir el mismo programa de asignatura con los mismos métodos de evaluación. Con base en dichos resultados, cabe mencionar que no es suficiente con igualar aritméticamente los resultados, sino en obtener un promedio alto con una variabilidad no significativa.
En el análisis aislado llevado a cabo previamente se obtenía un contraste significativo entre los resultados de los contadores y los administradores. Así, al considerar el modelo multivariable se confirma dicha diferencia significativa (0.000) lo cual indica que los alumnos de Contaduría alcanzan un mejor promedio en el examen estandarizado del curso de contabilidad. Cabe señalar que dicho resultado es más conveniente ya que incluye el efecto de las variables en conjunto. En relación al género de los estudiantes y tomando como referencia a los hombres, se observa, con base en los resultados de las mujeres, un coeficiente estandarizado de 0.075 y un nivel de significancia de 0.023, infiriendo la diferencia, aunque menor (7.5%) en el impacto del desempeño académico según el género. En contrapartida, el horario de clases, la duración del bachillerato y el tamaño del grupo presentan bajos niveles de impacto, es decir, dichos predictores no pronostican el desempeño académico de los alumnos en el examen departamental de contabilidad.
Por último, en relación a la calificación del examen de admisión como predictor del desempeño académico, los resultados indican una diferencia significativa (0.000), es decir, los estudiantes que alcanzan los primeros lugares en la prueba de admisión tienden a obtener mejores resultados en el examen departamental. A modo de conclusión, la tabla 13 muestra el resumen de las hipótesis con base en el análisis univariante (suponiendo que las demás variables no afectan al análisis) y el análisis multivariable (detectando el efecto combinado de las variables al mismo tiempo) con su aceptación o rechazo.
En síntesis, considerando los resultados en los cuales se acepta la hipótesis tanto en el análisis univariante como en el multivariante, es posible decir que el profesor, la carrera y la calificación del examen de admisión son los predictores significativos del desempeño académico del examen estandarizado.
Conclusiones, limitaciones y futuras líneas de investigación
La evaluación estandarizada permite una primera aproximación hacia una homologación de una variedad de experiencias de aprendizaje de los estudiantes en una misma disciplina. La meta consiste en promover métodos de evaluación genéricos a la misión y la visión de cada programa de estudios. El presente trabajo supone un debate sobre la pertinencia de incluir exámenes estandarizados como método de evaluación no solo de los estudiantes, sino también de la planta académica.
A partir del análisis multivariante, el predictor del profesor influyó significativamente, al igual que la carrera y la calificación del examen de admisión, en el desempeño académico de los estudiantes del segundo semestre del curso de contabilidad de las licenciaturas en Contaduría Pública y Administración. Con respecto a los predictores restantes, no se encontró una relación estadísticamente significativa entre los mismos y el desempeño académico. Como resultado, cuatro de las siete hipótesis fueron confirmadas, aunque cabe mencionar que la variable género alcanzó una asociación débil, así como algunos profesores. Lo anterior contrasta con el resultado encontrado en el análisis univariante, en el cual resultaron todos los factores como predictores del desempeño académico excepto el género. Cabe señalar que el análisis multivariante constituye una aproximación más exacta de la realidad al considerar el efecto de las siete variables en conjunto.
La validación externa del examen departamental en este trabajo se alcanza por medio del establecimiento de los predictores del desempeño académico de los estudiantes, rechazando así la influencia de otros factores que muchas veces representan excusas de los profesores evaluados. Los resultados de este estudio apoyan la posición de Mushtaq y Khan (2012) al señalar que los exámenes departamentales permiten cambiar la actitud de los estudiantes hacia el aprendizaje y mejorar los procedimientos de enseñanza. En este sentido, esta investigación pretende contribuir a la literatura desarrollando conocimiento sobre el vínculo entre los exámenes estandarizados y el desempeño de los estudiantes medido a través de sus posibles causas. Se sugiere así lo siguiente:
El hecho de que el principal factor diferenciador en el aprendizaje de contabilidad de los alumnos sea el maestro presenta dos propuestas. La primera consiste en contratar mejores maestros o bien capacitarlos para mejorar la preparación de los alumnos. La segunda propuesta implica que, al depender demasiado de los maestros para lograr el aprendizaje de los estudiantes, la institución como tal debe sistematizar y convertir en un proceso estandarizado la enseñanza de la contabilidad, independientemente del maestro, para asegurar mejores resultados.
La razón de la diferencia que resulta del promedio general de la prueba entre contadores y administradores puede deberse al mayor interés de los contadores por su materia básica, aunque habría que profundizar si tal diferencia se debe también al comportamiento de los profesores que imparten la clase a los administradores. Si la carrera que estudia el alumno determina su nivel de aprendizaje, la institución, a través de sus sistemas y procesos de enseñanza, debe estandarizarlo para mitigar esa diferencia.
El hallazgo más sorprendente de esta investigación es la relación inversa encontrada entre el horario de la clase y el aprendizaje de los alumnos. Esta relación inversa, basada en el hecho de que mientras más tarde se imparta la clase, menor es el aprendizaje de los alumnos, nuevamente implica que la administración escolar debe profundizar en las posibles causas de este fenómeno para estandarizar los resultados sin importar la hora del día en que se imparta la materia.
Como todos los estudios empíricos, existen limitaciones que deben tomarse en consideración al interpretar los resultados y las conclusiones de este estudio. La investigación incluye, como variables independientes, factores que reflejan una preocupación en la escuela de negocios bajo estudio; no obstante, según la revisión de la literatura, existe otros predictores que pueden impactar en el desempeño académico. Además, en este estudio solo se consideran los exámenes estandarizados como una de las formas de medición del desempeño escolar de un alumno; no obstante, se reconoce que dicha medida no es la única que incide en el desempeño escolar ni profesional de un estudiante.
A pesar de las limitaciones anteriores, este artículo permite establecer nuevas líneas de investigación en cuanto a la evidencia reducida sobre la aplicación de exámenes estandarizados específicamente en las áreas de negocios. La mayoría de la literatura analizada se refiere a exámenes de admisión y/o exámenes en áreas de ciencias exactas. Por tanto, sería conveniente llevar a cabo análisis de este tipo en las áreas de ciencias sociales. Asimismo, podrían considerarse otros factores de impacto en los resultados académicos lo que a su vez permita mejorar la calidad y el desempeño de las instituciones de educación superior.