I. Introducción

Los procesos para el mejoramiento y aseguramiento de la calidad de las universidades operan a nivel mundial con distintos procedimientos y resultados, sus beneficios se aceptan de forma unánime para el desarrollo de la Educación Superior (^{Kells, 1992}; ^{Van Vught y Westerheijeden, 1993}; ^{Thune, 1998}; ^{Shore y Wright, 2000}; ^{Yonetawa, 2002}; ^{Mollis y Marginson, 2002}; ^{Brennan y Shah, 2000}; ^{Hoecht, 2006}; ^{Fernández-Lamarra, 2007}; ^{Huusko y Ursin, 2010}; ^{Hou, 2011}; ^{Michavila y Zamorano, 2008}; ^{Shah et al, 2011}). En Chile los procesos de acreditación de universidades se iniciaron a fines de los años noventa de manera voluntaria, incluso antes de la ley de aseguramiento de la calidad de la Educación Superior aprobada en el 2006. Existen diversos antecedentes sobre cómo se han realizado los procesos y de sus resultados (^{Centro Interuniversitario de Desarrollo [CINDA] 1993}; ^{Letelier y Carrasco 2004}; ^{Cominisión Nacional de Acreditación Pregrado [CNAP], 2007}; ^{Lemaitre, 2009}; ^{Zapata y Tejeda, 2009}; ^{Scharager y Aravena, 2010}; ^{Espinoza, 2010}; ^{Espinoza y González, 2011}; ^{Lemaitre, 2011}; ^{Lemaitre, Maturana, Zenteno, Alvarado, 2012}; ^{Espinoza y González, 2013}).

Los procedimientos utilizados, a pesar de su diversidad, han combinado la autoevaluación de las universidades con la evaluación de pares externos (^{Harvey y Knight, 1996}). En el caso chileno en particular, los procesos externos tienden a ratificar las deficiencias de los procesos internos, dado que no se han utilizado estándares de calidad, sino criterios y dimensiones generales sujetos a interpretaciones de pares evaluadores y de los miembros del Consejo que determinan la acreditación (^{Lemaitre, 2005}; ^{Zapata y Tejeda, 2009}; ^{Espinoza y González, 2013}). El propósito de este estudio es verificar los resultados de la acreditación institucional en los procesos internos y los realizados por la Comisión Nacional de Acreditación (CNA) en los procesos externos relativos a la gestión institucional en un grupo de universidades chilenas, estableciendo patrones y grados de consistencia entre ellos.

Los principales aspectos del aseguramiento de la calidad en la Educación Superior tienen que ver con el concepto de calidad y sus alcances, así como con los mecanismos utilizados para alcanzarla y sus consecuencias (^{Harvey y Green, 1993}; ^{Westerheijden, Hulpiau y Waetens, 2007}; ^{Lemaitre, 2009}). La dificultad para una definición única de calidad deviene del carácter multidimensional del concepto (^{Harvey y Green, 1993}; ^{Lemaitre et al., 2012}). Los procesos de acreditación de universidades chilenas han asumido la calidad como el ajuste a propósitos declarados (^{CNAP, 2007}; ^{Lemaitre et al., 2012}; ^{López, Rojas, López y López, 2015}). Ello exige tanto consistencia interna con la misión/visión y los planes de desarrollo y de mejoramiento institucional, como consistencia externa con las políticas nacionales, requerimientos del medio laboral y social.

Los procesos internos y externos habitualmente utilizados en la acreditación universitaria poseen ventajas y limitaciones (^{Stensaker, Langfeldt, Huisman, Westerheijden, 2011}), sin embargo, no se tienen antecedentes de estudios comparativos entre ambos tipos de procesos. El análisis de los procesos externos se ha orientado principalmente a estimar sus impactos de acuerdo al tipo de procedimiento utilizado y al nivel en que ocurren estos procesos (^{Fry, 1995}; ^{Brennan y Shah, 2000}; ^{Meade y Woodhouse, 2000}; ^{Stensaker, 2003}; ^{Westerheijden et al., 2007}; ^{Botha, Favish, Stephenson, 2008}; ^{Stensaker, 2008}).

La aplicación del concepto de calidad como cumplimiento de propósitos declarados exige considerar en conjunto los resultados de los procesos internos (informes de autoevaluación, planes de mejoramiento, percepción de actores internos) junto con las declaraciones misionales y la planificación institucional. A la vez asociarla a los resultados de procesos externos (dictámenes de la agencia de acreditación). Desde esta perspectiva la experiencia chilena resulta de especial interés por las siguientes características especiales: los procesos regulatorios de la calidad deben evidenciar consistencia interna y externa con los propósitos declarados, considerando criterios y dimensiones juzgados por procesos internos y externos; se evalúan tanto procesos como resultados; posee un tiempo de aplicación de más de 15 años; la acreditación de la gestión institucional es obligatoria, al igual que la docencia del pregrado, mientras otras áreas son voluntarias y no hay vinculación explícita entre la acreditación institucional y de los programas; en la evaluación de la gestión ha existido un fuerte énfasis en aspectos relativos a definiciones de propósitos, misión/visión, planificación, provisión y análisis de información, así como a la liquidez y solvencia económica de las instituciones.

En el caso de las universidades chilenas, existen antecedentes que han asociado los resultados de los procesos de acreditación con los siguientes aspectos que evidencian mejoramiento de la gestión institucional: institucionalización de mecanismos y procesos de aseguramiento de la calidad, lo cual se expresa especialmente en la creación y especialización de unidades y equipos profesionales al interior de las universidades en unidades de Planificación, Análisis Institucional y de la Gestión de la Calidad; mejores diagnósticos institucionales, dispositivos de planificación y gestión de la información; capacidades de autorregulación e instalación de mecanismos de aseguramiento de la calidad en unidades académicas y administrativas; redefinición más rigurosa de la misión/visión institucional y de su aplicación en planes de desarrollo; sistemas integrados de información orientados a la toma de decisiones; planes estratégicos y operativos con objetivos, metas y estrategias bien definidas; planes de mejoramiento para resolver las debilidades detectadas en los procesos de autoevaluación.

De forma paralela se han señalado aspectos negativos, como: ambiente de desconfianza en los resultados por situaciones de corrupción ocurridas en procesos de acreditación que han involucrado a la CNA y algunas universidades; modo en que los criterios de calidad son juzgados por los pares y por el Consejo de la CNA, existiendo casos en que estos juicios no son concordantes; los resultados son asociados con el prestigio institucional y considerados en el acceso a recursos económicos del Estado; algunas instituciones asumen la acreditación institucional como un fin en sí misma, por lo que la gestión está supeditada a estos procesos sin que se exprese en calidad de sus desempeños; no articulación entre los resultados de la acreditación de las universidades y la acreditación de pregrado y postgrado; diferencias en la aplicación de mecanismos de aseguramiento de la calidad entre diferentes sedes o campus de una misma institución (^{Letelier y Carrasco, 2004}; ^{Lemaitre, 2005}; ^{CNAP, 2007}; ^{Rivera, Astudillo, Fernández, 2009}; ^{Zapata y Tejeda, 2009}; ^{Minte y López, 2009}; ^{Scharager y Aravena, 2010}; ^{IPSOS, 2010}; ^{Espinoza y González, 2011}; ^{Lemaitre et al., 2012}; ^{Espinoza y González, 2013}).

II. Método

1) Procesos de acreditación. El estudio tuvo como referencia los mecanismos y resultados de los procesos de acreditación institucional en universidades chilenas (www.cnachile.cl). Los procesos son llevados a cabo por la CNA, institución estatal y autónoma. La acreditación es definida por un Consejo Nacional de Acreditación por periodos de entre 2 y 7 años; eventualmente las universidades pueden no acreditar cuando no cumplen los requisitos mínimos para ello.

La acreditación institucional posee dos fases: la elaboración de un Informe de Autoevaluación por parte de la Universidad y un informe elaborado por un grupo de pares evaluadores después de una visita a la Universidad. El Informe de Autoevaluación establece un Plan de Mejoramiento para superar las debilidades. Para la consideración de la resolución de acreditación se tienen en cuenta, entre otros aspectos: el Plan Estratégico de Desarrollo, las declaraciones de la misión y visión y propósitos institucionales, así como las políticas de la Universidad. La resolución es comunicada por la CNA a través de un dictamen que señala los aspectos positivos y negativos constatados en el proceso en el cumplimiento de las propias definiciones institucionales y en el estado de situación del cumplimiento de las dimensiones y criterios establecidos por la CNA. La acreditación institucional tiene dos áreas obligatorias: docencia de pregrado y gestión institucional y tres áreas electivas: investigación, postgrado y vinculación con el medio. Para el caso de la evaluación de la gestión institucional, que es el objetivo de este estudio, son analizados los siguientes aspectos: propósitos y fines institucionales; estructura organizacional y sistema de gobierno universitario; gestión de recursos materiales (infraestructura y equipamiento) y recursos financieros; gestión de recursos humanos; diagnósticos de la situación institucional, planificación, seguimiento y ajuste; análisis institucional. Son considerados también los cambios generados en aspectos observados como deficitarios en procesos anteriores de acreditación institucional.

2) Muestra. La información para el estudio fue obtenida, con la autorización de las autoridades universitarias, en cuatro universidades de la región de Valparaíso, la tercera más poblada del país. De ellas, dos son estatales y dos privadas. El número de alumnos de cada universidad varió entre 7,785 y 16,356 con un promedio de 12,089. Todas ellas han sido acreditadas en más de una oportunidad (3 con 2 procesos y 1 con 1 proceso de acreditación) al momento de estudio (2011), el tiempo de acreditación por universidad varió entre 3 y 5 años. Los casos fueron seleccionados por la accesibilidad a información reservada, así como la heterogeneidad jurídica, de tamaño y experiencias de acreditación de las instituciones; también por el hecho que se encuentran en una misma región. Se utilizan los criterios recomendados para este tipo de estudios por ^{Eisenhardt, (1989)}.

3) Procesos externos de aseguramiento de la calidad de la gestión. Se analizaron los dictámenes de acreditación institucional en el área de gestión institucional de todos los procesos en que habían participado las cuatro universidades para el periodo 2004-2009, emitidos por la CNA y su antecesora, la Comisión Nacional de Acreditación de Pregrado (CNAP), que operó hasta el año 2006, verificándose las fortalezas y debilidades para el conjunto de estas instituciones. Los acuerdos o dictámenes de acreditación institucional son los documentos oficiales que representan la certificación pública que otorga la CNA a las instituciones de Educación Superior respecto de los resultados de los procesos de acreditación institucional. Los documentos son de carácter público y fueron obtenidos de la página web de la CNA. Cada dictamen de acreditación institucional fue analizado, determinándose las menciones a los criterios señalados por los términos de referencia (criterios) establecidos por la CNA, verificándose su presencia/ausencia en los dictámenes. Asimismo, se establecieron las fortalezas y debilidades en cada uno de los aspectos evaluados.

En el informe de comité de pares, el cual es utilizado como referencia para la elaboración de los dictámenes, se establecieron los aspectos que definen los contenidos de los criterios, en cuanto se cumplen total o parcialmente o no se cumplen. Por ello, la pauta evaluativa utilizada por los pares evaluadores en estos procesos fue empleada para la interpretación de estos dictámenes. Se identificaron las observaciones positivas y negativas, agrupándose por criterio evaluativo. Se detallaron las observaciones y luego se estableció una conclusión general por criterio.

4) Procesos internos de aseguramiento de la calidad de la gestión. Para el estudio se consideraron los siguientes aspectos: planes de mejoramiento institucional contenidos en los informes de autoevaluación institucional; planes estratégicos de desarrollo institucional; percepción de actores internos. Se describen a continuación, los procedimientos utilizados.

Los planes de mejoramiento forman parte del Informe de Autoevaluación y corresponden a un conjunto de acciones que se proponen llevar a cabo para hacer ajustes y mejoras en la gestión, según las debilidades identificadas previamente en un proceso de diagnóstico interno. Se analizaron los planes de mejoramiento elaborados por las cuatro universidades considerándose sólo aquellos entregados en el último proceso de acreditación institucional de cada universidad. Los criterios bajo los cuales se analizaron estos documentos corresponden a los establecidos en los términos de referencia de la CNA para la acreditación de universidades en el área de la gestión Institucional. Ellos son: propósitos y fines institucionales; estructura y organización institucional; sistema de gobierno; gestión de recursos humanos; gestión de recursos materiales y financieros; diagnóstico; planificación; seguimiento y ajuste; análisis institucional. Inicialmente se determinó la presencia/ausencia de temas asociados a la gestión, por cada criterio de evaluación y por cada universidad. Luego, para cada universidad se identificaron las debilidades y las medidas propuestas para superarlas, contrastándolas con las debilidades identificadas en los dictámenes de acreditación de la CNA. La información sobre la percepción de los actores internos de las universidades se obtuvo mediante la aplicación de un cuestionario a 54 directivos, académicos, profesionales, funcionarios administrativos y representantes de las organizaciones sindicales, ubicados en distintos niveles de la estructura organizacional vinculados a los temas de gestión en cada una de las universidades.

El cuestionario aplicado fue una adaptación del formulario que la CNA, entrega a los pares evaluadores para el análisis de gestión institucional. Para su validación este instrumento fue sometido a un procedimiento de juicio de expertos en dos oportunidades. Inicialmente se contactaron trece expertos en gestión universitaria de universidades chilenas y del extranjero, los cuales efectuaron observaciones respecto a los ítems propuestos. A partir de sus observaciones, se realizaron diversos ajustes al cuestionario. Posteriormente fue sometido nuevamente a juicio de diez expertos con experiencia en la acreditación institucional.

En el diseño del cuestionario se utilizó la escala Likert, en un conjunto de ítems bajo la forma de afirmaciones o juicios ante los cuales se solicitó la opinión (acuerdo o desacuerdo) de los actores internos encuestados para cada ítem. Se utilizó una escala de 1 (mínimo) a 7 (máximo), considerando que corresponde a la escala usualmente utilizada en procesos de evaluación educativa en Chile, por lo cual es suficientemente conocida por todas las personas consultadas. La fiabilidad del cuestionario se determinó mediante el coeficiente alfa de Cronbach.

El cuestionario fue aplicado en forma personal o enviado por correo electrónico. Los encuestados fueron: directivos superiores incluyendo rectores, vicerrectores y miembros del Consejo Directivo (16.7%); cargos directivos intermedios académicos y administrativos (68.5%) y directivos de organizaciones gremiales (14.8%); variaron entre 11 y 17 por Universidad. Del total de encuestados el 33.3% tenía 10 años o menos en la Universidad, el 31.5% entre 11 y 20 años, el 14.8% de 21 a 30 años y el 20.4% más de 30 años. Para el análisis de las respuestas obtenidas de los actores internos se calcularon los promedios, desviación estándar y rango, en cada uno de los ítems por cada criterio y por Universidad, así como para el conjunto de ellas. El análisis estadístico de los datos se realizó utilizando el programa SPSS.

Adicionalmente se analizaron también los planes de Desarrollo Estratégico Institucional vigentes en cada Universidad. Se identificaron los elementos constitutivos de cada documento. Respecto de ellos se identificaron aquellos componentes del conjunto de las instituciones estudiadas y luego se analizó cada uno de ellos en forma independiente y se establecieron las temáticas abordadas. Se analizaron, en particular, los siguientes aspectos: misión, visión, políticas de gestión, ejes estratégicos y objetivos institucionales.

III. Resultados

Análisis de procesos externos. En todos los dictámenes que dan cuenta de los resultados de la acreditación de la gestión de las universidades (n=7), fueron mencionados los propósitos y fines Institucionales así como la gestión de recursos materiales y financieros. El criterio menos mencionado fue el referido a análisis Institucional (57.14%). Las fortalezas y debilidades están señaladas como juicios generales usándose adjetivos para calificar los procesos (Tabla I). Los aspectos deficitarios más frecuentes fueron la coordinación interna, débiles sistemas de información y las diferencias en las capacidades instaladas en las unidades académicas y administrativas.

*Criterios de la agencia nacional de acreditación para la gestión, en cuatro universidades chilenas (2004-2009).

Tabla I Fortalezas y Debilidades observadas en los dictámenes de acreditación institucional* 

Análisis de procesos internos. En los planes de mejoramiento institucional generados por los procesos de autoevaluación institucional, no hay menciones a los propósitos y fines institucionales. El sistema de gobierno es el aspecto menos mencionado. Los aspectos más mencionados corresponden a situaciones definidas claramente referidas a Recursos Humanos.

*Criterios de la agencia nacional de acreditación para la gestión institucional (2004-2009).

Tabla II Aspectos contenidos en los planes de mejoramiento de la gestión en universidades chilenas* 

En los planes de desarrollo estratégico institucional se reconocen como componentes, la misión, visión, las líneas estratégicas y acciones. No todas las universidades formalizan políticas explícitas, metas, indicadores de procesos y resultados, así como los responsables de las metas. Se constata que los aspectos menos considerados en la definición de la misión son los más considerados, en cambio, en la definición de la visión. (ver Tabla III). Asimismo, la misión suele estar definida en términos muy generales y retóricos.

Tabla III Aspectos más y menos frecuentes señalados en las definiciones de Misión y Visión institucional 

La gestión administrativa y financiera fue el único objetivo estratégico establecido en todas las universidades, dando cuenta con ello de la importancia que se asigna al financiamiento en la gestión. Con diversos énfasis se hace mención a los recursos humanos, a la gestión de recursos tecnológicos y a la información. También se asigna importancia a las comunicaciones internas.

En la percepción de los actores internos, el desempeño de la gestión institucional es juzgado positivamente, sobre el 94% de las calificaciones de los actores internos se ubica sobre el nivel "suficiente" o "acuerdo mínimo". El 53% tiene una opinión "de acuerdo" o "acuerdo completo", lo que indica una opinión buena o excelente. Se verificó asimismo una calificación promedio "más de suficiente" (5.4 de 7), evidenciando un bajo grado de correlación. Los aspectos mejor evaluados tienen que ver con aspectos financieros y los propósitos institucionales y los peor evaluados son los referidos a recursos humanos.

Tabla IV Percepción de actores internos (n=5) de la gestión institucional en las universidades analizadas (n=4) sobre 30 ítems 

Los criterios mejor calificados fueron los recursos financieros y materiales y los propósitos institucionales y los peor calificados la estructura organizacional y gobierno institucional. La percepción sobre los resultados de la acreditación institucional es inferior a los obtenidos para todos los aspectos de la gestión, pero a la vez evidencian el mayor grado de dispersión de las calificaciones (ver Tabla V).

Nota: cv= Coeficiente de Variación.

Tabla V Calificación de los actores internos (n=54) de las universidades estudiadas 

A pesar de las diferencias en las características de las universidades estudiadas no se evidenciaron diferencias estadísticamente significativa (p<0.01) en ninguno de los criterios evaluados por los actores internos (ver Tabla VI). También las universidades mostraron diferencias entre ellas, sólo en el 20% de los ítems, cuando se evaluaron individualmente; las mayores diferencias entre las universidades se registraron en: el número de años de acreditación, como adecuados para el cumplimiento de los objetivos de estos procesos; la infraestructura y equipamiento existentes acordes con las necesidades institucionales; los sistemas de evaluación de personal administrativo que permitan mejorar los desempeños.

Tabla VI Valores de F de diferencias entre universidades en la evaluación de la gestión realizada por actores internos en las universidades estudiadas (n=4) 

IV. Discusión

En los procesos de acreditación de las universidades chilenas, el tiempo de acreditación está definido por la evaluación de criterios a partir de la información suministrada por el Informe de Autoevaluación institucional y del juicio de los pares externos sobre este Informe, así como de lo que observaron los pares durante la visita a la universidad (^{CNAP, 2007}; ^{López et al., 2015}). No existen en la literatura, evidencias de resultados comparados entre ambas fuentes de información. Los resultados de este estudio relativo a la gestión institucional indican que los dictámenes de la CNA basados en el trabajo de los pares externos, establecen más debilidades que los planes de mejoramiento generados en los procesos de autoevaluación. Probablemente ello se asocie a diferencias en la forma como son interpretados los criterios por un grupo acotado de pares relativamente homogéneos y por un grupo amplio y muy diverso de actores internos, los cuales deben lograr consensos. Sin embargo, existe consistencia en los temas señalados en estos grupos como deficitarios. En ambos casos, se evidencia principalmente la necesidad de mejorar la coordinación de las unidades internas y los sistemas de información. No existen antecedentes como para suponer tensiones derivadas del choque de paradigmas entre los pares y las instituciones (^{Scharager y Díaz, 2007}) o que pudieran ser importantes los sesgos muestrales y de tiempo que se dan en las heteroevaluaciones (^{Russ-Eft y Preskill, 2009}).

Si bien los propósitos y fines institucionales fueron los más mencionados en los dictámenes y no lo fueron en los planes de mejoramiento; ello es explicado porque las menciones en la mayor parte de los casos fueron positivas. La escasa consideración del criterio asociado al gobierno universitario en los planes de mejoramiento es contradictoria con el hecho que este tema sea el peor evaluado en la percepción de los actores internos. La idea de gobierno universitario puede ser percibido desde distintas perspectivas; la necesidad de mayor participación estamental o el equilibrio entre "colegialidad" y "gestionismo" (^{Rock y Rojas, 2012}), las que pueden ser percibidas como insuficientes. Por el contrario, el juicio es distinto cuando se vincula el gobierno a los resultados, puesto que los aspectos financieros y el cumplimiento de los propósitos institucionales que representan en buena medida los resultados del gobierno universitario, son muy favorablemente valorados. De hecho más del 90% de los actores internos juzgaron de manera positiva a la gestión institucional.

La existencia de tipos diferentes de instituciones de Educación Superior es otro factor utilizado usualmente como potencial fuerte de variabilidad en la evaluación (^{López et al., 2015}). En este estudio, a pesar de las diferencias existentes entre los regímenes jurídicos, antigüedad y tamaño, las diferencias en la percepción de los actores internos no fueron significativas, al igual que en los aspectos más generales de los planes de mejoramiento.

La identidad y los ámbitos de acción institucional son paradojalmente más parte de la visión que de la misión. La formulación de la misión/visión de universidades chilenas como componente de definiciones estratégicas, ha sido evaluado negativamente (^{Herrera, 2002}).

La agenda futura de investigaciones sobre el aseguramiento de la calidad en universidades chilenas debe considerar tanto los avances existentes en el tema, como los aspectos aún no asumidos. Al respecto existen algunas iniciativas de fomento. La propia CNA ha establecido, por primera vez, un fondo de investigación sobre aseguramiento de la calidad, en que los proyectos adjudicados tienen que ver con la acreditación de postgrado y vinculación con el medio, con el impacto de los procesos de autoevaluación en la gestión del pregrado y postgrado, así como las diferencias en el uso de criterios e indicadores de calidad utilizados en la acreditación de programas de pregrado. El Consejo Nacional de Educación, quien resuelve el licenciamiento de las instituciones de Educación Superior, posee un fondo análogo, una de cuyas líneas de investigación está referida a modelos de aseguramiento de la calidad. En el aseguramiento de la calidad en la gestión institucional de universidades chilenas se requiere avanzar en el conocimiento de los eventuales impactos del aseguramiento de la calidad en los procesos formativos o en logros en I+D+i. También en los efectos en la planificación interna y en la verificación de los grados de consistencia interna y externa en los propósitos y misión/visión de las instituciones.