Artículos

 

Los sitios web académicos con información de postgrado: herramientas para su evaluación

 

Postgraduate studies websites: a framework for evaluating

 

Mª Dolores Olvera–Lobo*, María Aguilar–Soto**

 

* CSIC, Unidad Asociada Grupo SCImago, Madrid, España. Universidad de Granadad. Departamento de Bibloteconomía y Documentación, Granada, España. Colegio Máxico, Campus de Cartuja 18071. molvera@ugr.es

** Becaria investigadora. Universidad de Granadad. Departamento de Bibloteconomía y Documentación, Granada, España. Colegio Máxico, Campus de Cartuja 18071. m_aguilar@ugr.es)

 

Artículo recibido: 8 de noviembre de 2010.
Artículo aceptado: 11 de febrero de 2011.

 

RESUMEN

Este trabajo diseña y desarrolla dos nuevas herramientas adaptadas específicamente para la evaluación de sitios web de estudios de postgrado desde una perspectiva objetiva –mediante una checklist y utilizando aplicaciones como Weblink Validator, W3C markup validator y TAW– y subjetiva –a través de un cuestionario−.

Estas herramientas se han aplicado a sitios web de Programas Oficiales de Postgrado con Mención de Calidad –distinción otorgada por el Ministerio de Educación y Ciencia de España–. El análisis y procesamiento de los datos se ha realizado con el paquete estadístico SPSS.

Los resultados muestran valores aceptables para los sitios web analizados aunque tienen algunos defectos comunes. Se constata la existencia de varios niveles de calidad de tales sitios, tal como se pone de manifiesto tanto en el análisis de cluster como en el de componentes principales o PCA.

Palabras clave: Programas Oficiales de Postgrado; Evaluación de sitios web; Evaluación de información; Sitios web académicos.

 

ABSTRACT

This paper proposes two tools for evaluating the quality of information on postgraduate studies websites, while providing for both objective and subjective approaches to the evaluation process. On one hand, a checklist of accessibly levels, for use with Weblink Validator, W3C markup validation service and TAW, has been developed. This is complemented by questionnaire instrument, designed and field tested to assess qualitative aspects of the target websites. These tools have been field tested on postgraduate websites that enjoy Quality Mention (MC) from universities in Andalusia, Spain; and the data complied was analyzed using the Statistical Package for the Social Sciences (SPSS). The results of these analyses yield acceptable quality values for these websites, while revealing several common flaws. A university website ranking and a website domain ranking have also been developed. The distinct quality levels of these websites are reported in cluster and principle component analyses.

Keywords: Postgraduate studies; Website evaluation; Information evaluation; Academic web sites.

 

1. INTRODUCCIÓN

Internet se considera el mayor repositorio del mundo y en él coexisten distintos tipos de información de diferente calidad y fiabilidad, lo que hace necesaria la creación de mecanismos para evaluar la información disponible en la red (Aparicio et al., 2006). Un volumen importante de sitios web está constituido por auténticos vehículos informativos que deben llegar a tantos usuarios como sea posible (Wang y Liu, 2007). Éste es el caso de nuestro objeto de estudio, los sitios web que recogen información sobre los estudios de postgrado.

El diseño de un sitio web requiere armonizar aspectos conceptuales, funcionales y estéticos. Además debe combinar una alta calidad respecto a la información incluida y a su presentación para que resulte agradable, al mismo tiempo que adecuada, para las expectativas del usuario y respecto a su facilidad de manejo. El objetivo final que se persigue es una comunicación sencilla y efectiva del contenido informativo (Wang y Liu, 2007).

Habitualmente la evaluación acerca de la calidad de las aplicaciones web se ha realizado de manera ad–hoc y se ha basado en el sentido común, la intuición y la formación de los creadores web. Para medir esta calidad se pueden usar criterios generales aplicables a cualquier sitio web que ofrezca cierto tipo de información o servicios (Bilsel et al., 2006). Sin embargo los métodos tradicionales para evaluar el uso de un sitio web no proporcionan los datos necesarios para llevar a cabo una evaluación efectiva (Peterson, 2004), y la evaluación heurística no tiene en cuenta el comportamiento del usuario o las tareas realizadas por éste (Cunliffe, 2000). Existe por tanto una gran falta de homogeneidad y sistematización en los estudios que se han realizado sobre evaluación de estos sitios web (Jiménez Piano y Ortiz–Repiso Jiménez, 2007), y no hay un método general aceptado para realizar una evaluación web sistemática y global (Van der Merwe y Bekker, 2003).

En el caso de los sitios web académicos éstos no sólo se orientan al documento sino que constituyen sistemas más completos (Olsina et al., 2008). Así pues, el esfuerzo recae en el diseño de nuevas herramientas para evaluar sitios web que tienen características específicas. No obstante, son escasos los estudios de evaluación de sitios web académicos, y prácticamente inexistentes los restringidos a evaluar sitios web sobre programas de postgrado, de ahí el interés y novedad de este estudio.

La revisión de la literatura especializada y el análisis de las propias características de los sitios web en los programas oficiales de postgrado —en adelante POP— ha constituido el punto de partida para el diseño y desarrollo de herramientas que aborden la evaluación desde una perspectiva objetiva —aplicando una lista de checado o verificación (checklist) propia con indicadores específicos, y herramientas para validar el lenguaje de marcado y analizar su accesibilidad—, y una subjetiva —basada en la perspectiva de aquellos usuarios, cuya opinión puede recabarse mediante un cuestionario para evaluar este tipo de sitios web—.

 

2. OBJETIVOS

Para evaluar la calidad de los sitios web de los programas oficiales de posgrado (POP) y comprobar si están en disposición de cumplir su finalidad de difundir adecuadamente la información relativa a estas enseñanzas planteamos dos objetivos principales.

El primero es el diseño y elaboración de herramientas de evaluación sobre la calidad de los sitios web institucionales con información sobre los POP tanto desde una perspectiva objetiva, basada en indicadores, como subjetiva, basada en la perspectiva de los usuarios.

El segundo objetivo se centra en la aplicación práctica de las herramientas de evaluación propuestas. La muestra utilizada se ha acotado a las universidades pertenecientes a una determinada región geográfica española así como a los POP de reconocida calidad. Por tanto los sitios web evaluados son aquellos que incluyen información de programas de postgrado con Mención de Calidad, distinción otorgada por el Ministerio de Educación y Ciencia de España de las universidades andaluzas.

 

3. MATERIALES Y MÉTODO

Tras recopilar todas las direcciones web de los 148 postgrados con Mención de Calidad de las universidades andaluzas, se procedió a la recolección de datos, que tuvo lugar entre el 15 de julio y el 4 de agosto de 2009.

En este trabajo se han aplicado varias herramientas. Ante la inexistencia de instrumentos de evaluación que se adecuaran a las necesidades de este estudio, se diseñó y desarrolló específicamente una lista de verificación (checklist), que responde a una perspectiva de evaluación objetiva, y un cuestionario que se centra en un enfoque subjetivo. A continuación se describen con detalle las dos herramientas creadas para este análisis.

3.1. Checklist (Lista de verificación o chequeo)

Durante la revisión de la literatura especializada se observa la misma denominación para criterios o indicadores de evaluación que se refieren a conceptos diferentes y que cada autor elabora su propio conjunto de indicadores, de manera que aunque se detecta cierta coincidencia, en general, no hay homogeneidad. Esto produce indicadores ambiguos para la evaluación o generalistas y no contextualizados según el objetivo real del sitio web.

A la lista de verificación (checklist) (Anexo I) se le han incorporado los criterios que, tras la revisión bibliográfica, pueden considerarse como básicos para evaluar páginas web. También se tienen en cuenta otros criterios especialmente adecuados y adaptados al tipo específico de sitios web que se pretende evaluar. El Anexo I muestra los criterios y categorías de nuestra lista de chequeo (checklist), así como los indicadores en los que éstas se subdividen. La fiabilidad de esta lista se ha medido con el test alfa de Cronbach y se ha obtenido una puntuación de 0.8, lo que demuestra su consistencia interna.

3.1.1. Criterios de carácter general

La autoridad se relaciona con la expresión de la autoría, la organización o cualquier otra información sobre quién edita el sitio (Aparicio et al., 2006). La determinación sobre la identidad o autoría del creador del sitio web está vinculada a la confianza que le ofrece éste al usuario en cuanto a fiabilidad de la información y al carácter científico de su contenido. También representa una de las maneras de asegurar una recuperación de información de calidad (Jiménez Piano y Ortiz–Repiso Jiménez, 2007). Este criterio es determinante para evaluar la calidad de los sitios web (Barnes y Vidgen, 2007; Bilsel et al., 2006). Es primordial que en el mundo académico se transmita esta imagen de confianza y fiabilidad, y que se identifique claramente la universidad a la que está ligada la información y que avala la calidad del contenido.

3.1.2. Usabilidad y accesibilidad

La mejor manera de asegurar la usabilidad es tener en cuenta tanto el contexto de uso como las características del usuario desde los primeros procesos del diseño (Wang y Liu, 2007). De hecho parece que los usuarios prefieren la información de un sitio bien diseñado que concuerde con sus necesidades respecto a otros sitios que sólo tienen en cuenta la usabilidad pero no la utilidad (GVU, 1998).

Por su parte la accesibilidad se refiere al acceso universal a la Web, independientemente del tipo de hardware, software, infraestructura de red, idioma, localización geográfica y capacidades de los usuarios (ANECA, 2008). Guías para la accesibilidad como la desarrollada por el World Wide Web Consortiun WAI (Web Content Accesibility Guidelines) especifican diferentes aspectos implicados en el ámbito de la accesibilidad, como que se disponga de texto alternativo para las imágenes, applets y mapas, que el texto se pueda leer también con navegadores no visuales o lectores de Braille, entre otros.

La disponibilidad, el alto rendimiento y la fiabilidad de un servidor web tienen un impacto positivo en los usuarios. Si un visitante tiene problemas de acceso al sitio web se frustrará e irá a otro (Wilson, 1999). También es necesario tener en cuenta discapacidades asociadas con la edad, la visión, la audición, el habla, la discapacidad motora o una deficiencia cognitiva (Nielsen, 2004). Atender a esta realidad evita en gran medida la exclusión digital, y los sitios web deben facilitar su uso a todos los ciudadanos, independientemente de las circunstancias. Para ello es indispensable asegurarse de que el sitio web supera, al menos, el primero de los tres niveles de la WCAG (Web Content Accesibility Guidelines) de W3C (Panopoulou et al., 2008), que corresponde al primer nivel de conformidad A, aunque lo deseable es que alcance el tercer nivel que es el más completo, el triple A.

Relacionadas con la usabilidad y accesibilidad están los aspectos referidos a la navegación, el estilo gráfico y la visibilidad.

La navegación tiene en cuenta las capacidades organizativas y técnicas del proceso de movimiento en y entre las páginas del sitio web (Van der Merwe y Bekker, 2003) y está relacionada con la funcionalidad de los sitios web y la facilidad de uso (Fang y Holsapple, 2007; Olsina et al., 2008a), el contenido, la estructura física, el control y la capacidad para adaptarlo a los gustos del usuario (Fang y Holsapple, 2007), y se ocupa de los elementos de presentación (Oppenheim y Ward, 2006), de la consistencia y de la organización. Para aprovechar la capacidad hipertextual de la Web son significativos otros aspectos como la estructura lógica del sitio (Van der Merwe y Bekker, 2003), la sencillez de éste (Djajadikerta y Triredsani, 2006) y los enlaces que incluye (Bilsel et al., 2006; Nielsen, 2004; Oppenheim y Ward, 2006).

Por su parte, el estilo gráfico se refiere a los aspectos visuales del sitio web (Djajadikerta y Trireksani, 2006) —cuán atractivo sea visualmente— y al uso de las fuentes, colores y fondo (Berthon et al., 1996). La interfaz determina la primera impresión que causa el sitio web. Ésta incluye distintos elementos vinculados al diseño gráfico, al uso efectivo de los elementos multimedia, y a su flexibilidad, así como a la compatibilidad técnica en términos de software y de hardware (Henriksson et al., 2006; Smith, 2001). Asimismo hay que destacar la importancia de que un sitio web cargue rápido, que las funciones no supongan una descarga de software o plug–in adicional (Misic y Johnson, 1999) y que los elementos visuales se utilicen cuando sean necesarios pero que el sitio mantenga su atractivo (Badre, 2002).

La visibilidad de un sitio web puede observarse por el número de visitantes o sitios desde los que se lo ha visitado (Phippen et al., 2004), además de aspectos tales como si cumplen los criterios utilizados por los motores de búsqueda para la indización y el posicionamiento de sitios web, las páginas que nos recomienden a través de un link (Espadas et al., 2008), entre otros. Además, el uso de metadatos cumple una misión importante para potenciar la visibilidad de un sitio web ya que hace más eficaz su acceso y recuperación (Jiménez Piano y Ortiz–Repiso Jiménez, 2007) al ser susceptibles de ser indizados por los buscadores web.

3.1.3. Información y Contenidos

Una vez atraído el usuario al sitio web hay que ocuparse del contenido (Barnes y Vidget, 2007; Brock y Zhou, 2005) así como de su calidad (Djajadikerta y Trireksani, 2006). La calidad del contenido dependerá de la relevancia de la información para el usuario (Miranda González y Bañegil Palacios, 2004) y de su cantidad (Van der Merwe y Bekker, 2003).

Como criterios de contenido adecuado y comprensible se encuentran la credibilidad, la claridad de la información y la concisión (Buyukozkan et al., 2007). No hay que perder de vista la originalidad de la información; es decir, que ésta no pueda localizarse en otros sitios (Schubert y Selz, 1999; Jiménez Piano y Ortiz–Repiso Jiménez, 2007). Además todo lo relacionado con la actualidad y la actualización de la información se considera importante (Aparicio et al., 2006; Panopoulou et al., 2008), así como la disponibilidad de noticias, de calendarios de eventos (Panopoulou et al., 2008), de tablones de anuncios y de encuestas en línea (Henriksson et al., 2006; Holzer y Kim, 2005).

En definitiva la información debe ser completa y actual, actualizada, real, detallada, exacta y comprensible (Buyukozkan et al., 2007).

En un sitio web académico, como es nuestro caso de estudio, el contenido no sólo es su materia constitutiva sino la causa de su creación ya que su misión es la comunicación y difusión de la información, aunque algunos contenidos sean simplemente de utilidad práctica (Jiménez Piano y Ortiz–Repiso Jiménez, 2007). Nuestra lista de chequeo (cheklist) incluye algunos indicadores para evaluar la información característica de estos sitios; es decir, aquello que tiene que ver con los programas de estudio, créditos, metodología, condiciones de acceso, etcétera.

En relación con la claridad, hay que decir que son muchas las características deseables de la información para que ésta tenga "valor" (Toro, 2002), pero resulta fundamental que la formulación esté acorde con la audiencia a la que se dirige (García et al., 2005; Jiménez Piano y Ortiz–Repiso Jiménez, 2007; Smith, 2001). Mencionaremos la objetividad esperada de la información, su organización, y aspectos como el buen uso del lenguaje, la concisión y la falta de errores (Jiménez Piano y Ortiz–Repiso Jiménez, 2007; Smith 2001, Van der Merwe y Bekker, 2003). Además para evaluar sitios web se pueden considerar las diferentes lenguas en las que se encuentra el texto (Bauer y Scharlz, 2000; Henriksson et al., 2006; Holzer y Kim, 2005) así como la extensión de texto que ha sido traducido a cada idioma (Panopoulou et al., 2008).

La categoría de requisitos y resultados se refiere tanto a la información de ingreso y a los requisitos para acceder a los estudios de postgrado (Olsina et al., 2008) como a los logros de los estudiantes –indicador también usado por la británica Quality Assurance Agency for Higher Education (1997)–.Se trata de evaluar si la información referente a estos aspectos es suficiente. Los resultados pueden evaluarse a partir del aporte de los programas de postgrado al desarrollo científico reflejado en el sitio web mediante la relación de publicaciones, tesis y tesinas realizadas y en proyecto. Otros indicadores son también la información sobre la inserción laboral de los titulados y sus resultados académicos.

La categoría formularios y test de valoración en la evaluación de estos sitios web se justifica por la importancia de establecer mecanismos de seguimiento de los resultados de los programas oficiales de posgrado (POP), especialmente en lo relativo a la opinión de estudiantes y doctores egresados, y tener esto en cuenta para mejorar el programa (ANECA, 2008).

3.1.4. Servicios

Como medida general podemos aplicar la disponibilidad de servicios operativos a tiempo completo (Smith, 2001), pero teniendo en cuenta los servicios que ofrecen los sitios de POP podemos presuponer que siempre estarán disponibles, puesto que tienen más que ver con una función informativa que administrativa o comercial. Aquí se han analizado aspectos relativos al motor de búsqueda interno del sitio web y a las posibilidades de contactarse con el personal vinculado al programa académico.

Las utilidades del motor de búsqueda interno suponen un valor añadido (Jiménez Piano y Ortiz–Repiso Jiménez, 2007) ya que son muy utilizados como punto de referencia (Intdev, 2007) y le permiten al visitante localizar fácilmente la información específica que está buscando en el sitio web (Brock y Zhou, 2005; Miranda Jiménez y Bañegil Palacios, 2004) de una manera rápida y fácil. Una función de búsqueda global en la página principal ayuda de manera efectiva a la búsqueda de la información y evita la búsqueda navegacional. De todas formas ambas funciones pueden ser complementarias (Olsina et al., 2008).

El adecuado funcionamiento de las opciones de contactos repercute de manera positiva en la completitud del contenido (Van der Merwe y Bekker, 2003). La importancia de una buena comunicación bidireccional reside en que permite una retroalimentación (feedback) con el usuario y obtener más información sobre éste (Miranda González y Bañegil Palacios, 2004) y, además, su punto de vista (Schubert y Selz, 1999). Esta interactividad mide la disponibilidad de servicios complementarios a la manera tradicional de comunicación en el entorno digital (Buyukozkan et al., 2007). La información ofrecida ha de facilitar el contacto con la organización para quejas y peticiones (Panopoulou et al., 2008) y que la respuesta esperada sea rápida (García et al., 2005; Henriksson et al., 2006).

3.1.5. Valoración de los indicadores

Para la lista de verificación (checklist) se ha utilizado una escala Likert con 4 niveles de respuesta donde 0 indica ausencia de cierta característica, 1 significa que únicamente aparece o se menciona, 2 indica que la cumple parcialmente y 3 que la cumple totalmente.

No todos los aspectos de los sitios web tienen la misma importancia de cara a su evaluación. Además, cada característica será más o menos relevante según el objetivo que se haya propuesto el sitio. Las publicaciones especializadas −sobre comercio electrónico, evaluación de sitios web, evaluación de plataformas e–learning, estudios sobre sitios web de universidades o de autoridades públicas− incluyen ponderaciones distintas atendiendo a los objetivos y características de cada tipo de sitio web, y le otorgan a cada categoría y criterio distinto peso.

Para la ponderación de las categorías, aquí se ha aplicado la propuesta de Panopoulou, et al. (2008) como se indica en la Tabla 1.

Los contenidos cuentan con el 50% del peso en la valoración total (Miranda Jiménez y Bañegil Palacios, 2004; Olsina et al., 2008) lo cual responde a la importancia de la información como activo en la toma de decisiones del usuario, habida cuenta de cuáles son los objetivos de un sitio web de postgrado. La usabilidad y accesibilidad representan el 20%, al fin y al cabo la información puede ser de calidad, pero es necesario que se pueda acceder a ella y que esté organizada de la manera que le resulte más adecuada al usuario. Por otro lado la idea de que el sitio web tenga algún método de retroalimentación en la interacción con el usuario refuerza el hecho de que la categoría relativa a contactos y accesos ocupe el 60% del 20% total que supone la categoría servicios. Finalmente, se le ha asignado un 10% a la categoría identidad y autoridad.

3.2. Cuestionario

El cuestionario (Anexo II) que se ha diseñado toma en consideración las principales dimensiones de los sitios web de cara a su evaluación (Herrera–Viedma et al, 2003) (Anexo II) Esta herramienta de evaluación permite recabar la opinión de los usuarios sobre a) la calidad intrínseca de la información, es decir, la importancia de la información en sí misma –su credibilidad, reputación, objetividad y actualidad−; b) la calidad contextual de la información relacionada con la toma de decisiones –si ésta es completa y se encuentra en cantidad apropiada, así como su relevancia−; c) la calidad de la representación del sitio web —si es interpretable, fácil de entender y de manipular, y la información es concisa y consistente—, así como d) la calidad de su accesibilidad; si proporciona un acceso rápido y sencillo tanto al propio sitio web como a la información que éste recoge.

El cuestionario desarrollado se compone de 20 preguntas en lenguaje claro y coloquial que permiten recabar información de primera mano sobre la percepción del usuario respecto al sitio web evaluado. Cada pregunta presenta 3 posibilidades de respuesta(1–2–3) que equivalen, respectivamente, a: no; de acuerdo, en parte; y sí/totalmente. Se realizó un proceso de validación del cuestionario consistente en una prueba piloto y en la evaluación de las propiedades métricas de la escala. Para ello se llevaron a cabo entrevistas informales y se aplicó el cuestionario a una muestra de individuos (n=20) que respondieron las preguntas en relación a varios sitios web de contenido muy diferente. Tras este proceso de validación se reformularon algunas de las preguntas para lograr una mejor comprensión y otras fueron eliminadas por ser inadecuadas. Para determinar la fiabilidad se calculó el valor alfa de Cronbach, 0.7 en este caso, lo que demuestra la consistencia interna del cuestionario.

Esta herramienta fue creada para su uso potencial por parte de evaluadores y creadores de sitios web con información de postgrado. Para que los resultados sean rigurosos cada sitio web académico debe ser evaluado por un número significativo de usuarios. No es intención de este estudio someter a valoración de los usuarios todos y cada uno de los sitios web analizados (recordemos, un total de 148) sino la de ofrecer un instrumento validado para la evaluación subjetiva que pueda ser aplicado en contextos similares a los aquí expuestos.

 

4. RESULTADOS Y DISCUSIÓN

Los sitios web que informan sobre los programas oficiales de posgrado (POP) con Mención de Calidad en las universidades andaluzas se han evaluado aplicando una metodología que cuenta con varias herramientas de análisis. Esto ha permitido valorar los distintos aspectos de esos recursos informativos, y destacado sus fortalezas y debilidades.

Como se observa en la Tabla 2, las correlaciones encontradas entre los criterios y categorías de la lista de checado (checklist) demuestran que las variables son bastante independientes entre sí (la correlación mayor es de 0,32). Se ha realizado con el procedimiento de correlación bivariado, el coeficiente de Spearman y la prueba de significación bilateral (p>0,05).

Al aplicar nuestra lista de verificación (checklist) el valor medio total obtenido por todo el conjunto de sitios web de POP analizados supera ligeramente la puntuación 1.5, por lo que si se tiene en cuenta que los valores de la escala utilizada se encuentran entre 0 y 3, puede decirse que se alcanza un "aprobado". Los aspectos que han sido decisivos para conseguir esta puntuación tan ajustada son la accesibilidad y la visibilidad, así como la falta de un motor de búsqueda propio dentro del sitio. Estas «asignaturas pendientes» están relacionadas con la parte técnica o de diseño.

En relación a la categoría denominada identidad —incluida en el criterio características generales— el valor medio ha sido 2.35 (Tabla 3). Para el criterio información y contenidos resulta llamativo el hecho de que sólo alcance un 1.57 debido principalmente a la baja puntuación obtenida en la categoría formularios/test de valoración, por estar éstos ausentes en la mayoría de los casos. Sin embargo dentro de este criterio hay varias categorías –navegación, claridad de la información, entre otras– que se aproximan a la puntuación 2 e incluso la superan. El criterio servicios obtiene baja calificación (1.28) por la inexistencia de un motor de búsqueda interno. Finalmente el criterio usabilidad y accesibilidad no muestra buenos resultados debido principalmente a la falta de prestaciones relacionadas con una buena visibilidad y, principalmente, con la accesibilidad.

A partir de los resultados obtenidos en virtud de la aplicación de la lista de checado (checklist), se han aplicado dos de las técnicas más conocidas de análisis multivariante; a saber, el análisis de cluster y el análisis de componentes principales. El análisis de cluster es una técnica utilizada para agrupar o clasificar las observaciones en grupos homogéneos llamados conglomerados o clusters en inglés. Este agrupamiento se basa en la idea de distancia o similitud entre las observaciones. La otra técnica utilizada, el análisis de componentes principales, también reduce la dimensionalidad de un conjunto de datos, y permite determinar el número de factores subyacentes explicativos que expliquen la variabilidad de dichos datos. Se ha llevado a cabo un análisis de agrupamiento (cluster) jerárquico con el método Ward así como un análisis de componentes principales con 3 componentes, rotación Varimax y normalización Kaiser.

Los dos análisis se apoyan puesto que en el agrupamiento (cluster) 1 la mayor adscripción es al componente 1, en el agrupamiento (cluster) 2 al componente 2, y el agrupamiento (cluster) 3 se adscribe mayoritariamente al componente 3 (Anexo III).

4.1 Análisis de agrupamiento (cluster)

Aunque la mayor parte de los sitios web analizados han obtenido valores en torno a 1.5, dentro de esta aparente homogeneidad se observan distintos grupos, heterogéneos entre sí y homogéneos como conjunto individual según características similares.

En el dendrograma generado los sitios web analizados se aglutinan en torno a tres grupos o agrupamientos (clusters) claramente diferenciados. Al realizar la comparación de medias con ANOVA y el test de Bonferroni para permutar entre los tres agrupamientos encontramos diferencias significativas (p>0,05) entre el agrupamiento (cluster) 1 y 2 (0.47) y entre el 1 y 3 (0.28), aunque no es muy alta entre las medias de los agrupamientos 2 y 3 (0.19).

El agrupamiento 1 incluye 37 sitios web, con una puntuación promedio de 1.70, siendo el que ha obtenido el valor más alto de los tres. Es, por tanto, el agrupamiento que incluye los sitios web que consiguen mejor valoración en todas las categorías de aspectos analizados al aplicar la lista de verificación. Sin embargo dentro de este grupo también encontramos los ejemplos perfectos para explicar cuáles son los puntos débiles de los sitios web evaluados, y qué características no han cumplido ni siquiera los sitios incluidos en este grupo con valores superiores al resto. Estas carencias corresponden a las categorías accesibilidad y visibilidad dentro del criterio usabilidad y accesibilidad. Tampoco sale bien parado el apartado formularios/test de valoración dentro del criterio información y contenidos, ni la categoría motor de búsqueda dentro del criterio servicios.

El agrupamiento 2 incluye 67 sitios web que, en conjunto, han obtenido menor puntuación en esta evaluación con un promedio de 1.48. Aunque no hay grandes diferencias en la valoración promedio de cada agrupamiento (1.70, 1.48 y 1.5, respectivamente), algunos de los indicadores, categorías y criterios han determinado que este valor sea algo más bajo en el agrupamiento 2 que en los otros. Este agrupamiento se define por tener niveles muy aceptables en el criterio características generales –es decir, en cuestiones de identidad y autoría− y un valor bajo en usabilidad y accesibilidad. Dentro de este criterio, las categorías accesibilidad, visibilidad y navegación tienen una puntuación más baja que en el resto de los agrupamientos. Los aspectos relativos a información y contenidos rozan lo aceptable mientras que servicios cuenta con los valores más bajos.

El agrupamiento 3 está constituido por 44 sitios web y su valor medio total es de 1.50. Aunque las diferencias entre este agrupamiento y el agrupamiento 2 son mínimas encontramos valores ligeramente superiores en los criterios usabilidad y accesibilidad y en servicios, y algo inferiores en las categorías identidad y contenidos. En ninguno de los criterios ni categorías evaluados se obtienen promedios tan altos como el agrupamiento 1. Aquí están los sitios web que presentan el valor inferior en la categoría estilo gráfico, contenidos y formularios/test de valoración y en el criterio características generales –aunque, no obstante tenga un valor alto en torno al 2,3–. Cuenta con el promedio más alto en la categoría investigación y, al igual que los demás, ha obtenido valores bajos en cuanto al criterio usabilidad y accesibilidad debido a los defectos comunes que arrastran estos sitios, accesibilidad y visibilidad, y servicios.

4.2 Caracterización de un sitio web (Postgrado en Información científica: acceso, tratamiento y evaluación)

Analizando la situación de los Postgrados que atañen al mundo de la biblioteconomía y documentación encontramos, en la muestra tomada para este trabajo, aquél que responde al título de "Postgrado en Información Científica: acceso, tratamiento y evaluación" de la Universidad de Granada con MCD2006–00476.

Este sitio web se incluye dentro del agrupamiento 2 y por ello se comparan los valores obtenidos en este grupo y a nivel general.

Si caracterizamos el sitio web de master (o maestría) encontramos que la media es superior a los sitios web de su agrupamiento (cluster) así como entre todos los sitios evaluados.

Podemos destacar este mismo hecho en cuanto a características generales, así como en el criterio información y contenidos.

Resulta importante destacar que formularios/test de valoración es una de las categorías que los sitios de la muestra han arrastrado casi por completo con deficiencia, no ocurre así en este Postgrado de información científica, el cual cumple totalmente con este criterio aportando una información muy valiosa para los estudiantes potenciales y también para los egresados. Es así como se puede aprovechar la potencialidad de las herramientas tecnológicas y de la red en cuanto a difusión y feed–back demostrando, en este caso, un cuidado por los profesionales de la información.

Además de este comportamiento en el que el sitio web supera los valores tanto de su agrupamiento como de todos los objetos de la muestra, en criterios como usabilidad y accesibilidad sigue la tónica general y arrastra fallos comunes a todas las páginas. Vemos como ocurre esto si nos referimos a la baja visibilidad y la nefasta puntuación obtenida en cuanto a la accesibilidad, y corroboramos este comportamiento en cuanto a servicios, donde nuevamente el sitio web se comporta de esta misma manera.

Así pues, encontramos dos comportamientos diferentes en este sitio web y como conclusión más general y simplista, el sitio web de Postgrado en información científica: acceso, tratamiento y evaluación cuenta con un valor de media muy satisfactorio aunque por sus propias características se incluya en el agrupamiento 2.

 

5. CONCLUSIONES

En este trabajo se han diseñado y desarrollado herramientas para evaluar sitios web de los programas oficiales de posgrado (POP) fruto de una exhaustiva revisión bibliográfica y de procesos de validación de las mismas. Es la falta de instrumentos de evaluación para este contexto la que ha originado la creación de la hoja de evaluación o lista de verificación y del cuestionario. La hoja de evaluación nos ha permitido realizar la evaluación objetiva y el cuestionario, ya validado, permite incluir la opinión del usuario y realizar una evaluación subjetiva para dibujar de manera completa la realidad de los sitios web de POP. Ambos instrumentos son susceptibles de ser aplicados en contextos similares a los aquí tratados.

A nivel general se puede afirmar que los sitios web de POP con Mención de Calidad de las universidades andaluzas tienen un grado de calidad aceptable. Asimismo, todos ellos arrastran defectos comunes en algunos de los criterios y categorías como son la accesibilidad −se encuentran problemas de accesibilidad de tipo I−, la visibilidad, el motor de búsqueda y los formularios. Todos presentan valores muy altos en lo relacionado con la identidad y la autoridad del sitio web, mientras que lo relativo a la navegación, estilo e información de contacto también presenta valores aceptables. Por todo ello y según lo observado, las mejoras de estos sitios web deberían incluir los aspectos que se señalan a continuación.

Habría que tener en cuenta las necesidades especiales de los usuarios y ofrecer la posibilidad de leer la información del sitio en letra de mayor tamaño, o que se pudiese escuchar el texto, o venir apoyado por un vídeo. No atender a estas necesidades es perder usuarios potenciales y futuros estudiantes así como aumentar la brecha digital al imposibilitar el acceso a la información. Sería deseable que los sitios web cumplieran, al menos, con el más bajo de los niveles de conformidad A o nivel de tipo I.

Es importante cuidar el número de imágenes que aparecen. En este caso, nunca han sido excesivas. Por el contrario, la simpleza y sobriedad de la mayoría de los diseños apunta a la escasez de éstas.

Un mapa del sitio es un elemento importantísimo para situar al usuario, una herramienta de navegación que debería aparecer en más sitios web académicos. La ruta de navegación tiene una función concordante con el mapa del sitio, y ha sido un elemento muy olvidado entre los diseñadores de los sitios objeto de nuestro estudio. En éstos, aunque la cantidad de información ofrecida no sea desmedida, la existencia de un motor de búsqueda interno facilitaría la localización de la información deseada. 

 Para que el sitio web no sólo sea una herramienta informativa y se obtenga más potencial de él sería recomendable que tuviese intranet y, para que el usuario pueda tener una constancia de la actualización de la información del sitio, resultaría muy útil que la fecha de actualización apareciera siempre.

 Es importante indicar el número de visitas porque aunque no es el indicador definitivo de la visibilidad de un sitio web, sí le indica tanto al usuario potencial como a los responsables del sitio el éxito de éste. También sería recomendable que apareciese un enlace con la página de créditos o que, al menos, fuera posible tener información acerca del webmaster y se pudiera incluir una declaración de autoría de información bien sea ésta libre (copyleft) o convencional (copyright) para asegurar el buen uso y protección de esta información en Internet. Además, una traducción a otros idiomas permitiría tener mayor proyección y atraer a una variedad más amplia de estudiantes. 

En este contexto la información académica que se ofrece es fundamental. Debe mejorarse la información sobre los criterios para dirigir tesis doctorales y trabajos de investigación tutelados, y sobre las convalidaciones de otras titulaciones. Por otro lado al alumno potencial le interesa tener cumplida y clara información sobre las líneas de investigación y sobre el profesorado.

Para que los usuarios potenciales puedan ver la continuidad del propio programa de los programas oficiales de posgrado, (POP) y que quienes ya lo hayan cursado mantengan un vínculo con éste a través del sitio, es muy recomendable la existencia de formularios/test de valoración en el sitio web. De la misma manera, es necesaria la información sobre los resultados de investigación y las tesis anteriores. Esto aportaría valor añadido a la información sobre el trabajo de investigación que se desarrolla e indicaría la dinámica existente en el campo de estudio.

La inclusión de nuestro cuestionario de evaluación en el propio sitio web permitiría además recabar información de primera mano acerca de la opinión de los usuarios sobre el sitio y, en consecuencia, aplicaría las medidas correctivas que se consideren oportunas para su mejoramiento.

 

BIBLIOGRAFÍA

ANECA. (2008), Agencia Nacional de Evaluación de la Calidad y Acreditación., Disponible en: http://www.aneca.es/, [consultado el: 20/06/2009]         [ Links ].

Aparicio, M., Lopes, P. F., Barrulas, M. J. (2006), Website Evaluation: Discussion for a Model Proposal, en Proceedings of the IADIS International Conference.         [ Links ]

Badre, A. (2002), Shaping Web Usability: Interaction Design in Context, Boston: Addison–Wesley, 2002.         [ Links ]

Barnes, S. J. y Vidgen, R. (2007), Interactive E–government: Evaluating the Web Site of the UK Inland Revenue, en International Journal of Electronic Government Research, vol. 3 (1), 19– 38.         [ Links ]

Bauer, C. y Scharl, A. (2000), "Quantitive Evaluation of Web Site Content and Structure", en Internet research, vol. 10 (1), 31–44.         [ Links ]

Berthon, P.R., Pitt, L.F y Watson, R.T. (1996), "The World Wide As and Advertising Medium: Toward Understanding of Conversion Efficiency", en Journal or Advertising Research, vol. 36 (1), 43– 53.         [ Links ]

Bilsel, R.U., Buyukozkan, G. y Ruan, D. (2006), A Fuzzy Preference–ranking Model for a Quality Evaluation of Hospital Web Sites, en International Journal of Intelligent Systems, vol. 21, (11), 1181–97.         [ Links ]

Buyukozkan, G., Ruan, D. y Feyzioglu, O. (2007), "Evaluating E–learning Web Site Quality in a Fuzzy Environment", en International Journal of Intelligent Systems, vol. 22, 567–586.         [ Links ]

Brock, J. K. U. y Zhou, Y. (2005), "Organizational Use of the Internet. Scale Development and Validation", en Internet Research, vol. 15 (1), 67– 87.         [ Links ]

Cunliffe, D. (2000), "Developing Usable Web Sites– a Review and Model", en Internet Research. vol. 10 (4), 295– 308.         [ Links ]

Djajadikerta, H. y Triresksani, T. (2006), "Measuring University Web Site Quality: a Development of a User–perceived Instrument and its Initial Implementation to Websites of Accounting Departments in New Zealand's Universities", en School of Accounting, Finance and Economics & FIMARC Working Paper Series, pp. 1– 23.         [ Links ]

Espadas, J., Calero, C. y Piattini, M. (2008), "Web Site Visibility Evaluation", en Journal of the American Society for Information Science and Technology, vol.59 (11), 1727–1742.         [ Links ]

Fang, X. y Holsapple, C. W. (2007), "An Empirical Study of Web Site Navigation Structures' Impacts on Web Site Usability", en Decision Support Systems, vol. 43 (2), 476– 449.         [ Links ]

García, A. C. B., Maciel, C. y Pinto, F. B. (2005), "A quality inspection method toevaluate e–government sites", en Wimmer, M. A. Traunmüller, R., Grönlund, A. y Andersen, K. V. Electronic Government: 4th International Conference, EGOV 2005, Proceedings: Lecture Notes in Computer Science, vol. 3591, Copenhagen, Denmark, pp.198–209, disponible en: www.informatik.unitrier.de/~ley/db/conf/egov/egov2005.html, (consultado: 20/06/2009]         [ Links ].

GVU (1998), GVU's 10th WWW User Survey, disponible en: http://www.cc.gatech.edu/gvu/user_surveys/survey–1998–10/, [consultado el: 20/06/2009]         [ Links ]

Henriksson, A., Yi, Y., Frost, B. y Middlenton, M. (2006), "evaluation Instrument for E–government Web Sites", en Proceedings Internet Research 7.0: Internet Convergences, Brisbane, Queensland, Australia.         [ Links ]

Herrera–Viedma, E., Peis, E., Olvera Lobo, M. D., Herrera, J. C. y Hassan Montero, Y. (2003), "Evaluating the Informative Quality of Web Sites by Fuzzy Computing with Words", en: Lecture Notes in Artificial Intelligence 2663, pp.62–72, 2003.         [ Links ]

Holzer, M. y Kim, S– T. (2005), "Digital Governance in Municipalities Worlwide (2005), A Longitudinal Asessment of Municipal Web Sites Throughout the World", en The E–governance Institute, disponible en: http://andromeda.rutgers.edu/~egovinst/Website/researchpg.htm, [consultado el: 20/06/2009]         [ Links ].

Intdev (2007), Search Engine Optimization (SEO), disponible en: www.intdev.co.za/site/Portals/intdev.co.za, [consultado el: 20/06/2009]         [ Links ].

Jiménez Piano, M. y Ortiz–Repiso Jiménez, V. (2007), Evaluación y Calidad de Sedes Web, Gijón: Trea.         [ Links ]

Miranda González, F.; Bañegil Palacios, T. M. (2004), "Quantitative evaluation of commercial web sites: an empirical study of Spanish firms", en International Journal of Information Management, Vol. 24 (4).         [ Links ]

Misic, M. M. y Johnson, K. L. (1999), "Benchmarking: a Tool for Web Site Evaluation and Improvement", en Internet Research, vol. 9 (5), 383– 392.         [ Links ]

Nielsen, J. (2004), Designing Web Usability, Munich: Markt– Technik Verlag.         [ Links ]

Olsina, L., Godoy, D., Lafuente, G.J. y Rossi, G. (2008), Specifying Quality Characteristics and Attributes for Web Sites, disponible en: http://gidis.ing.unlpam.edu.ar/downloads/pdfs/Olsina_WebE.pdf, [consultado el: 20/06/2009]         [ Links ].

Olsina, L., Papa, F., y Molina, H. (2008a), "How to Measure & Evaluate Web Applications in a Consistent Way", en Web engineering. Modeling & Implementing Web Aplications, London: Springer. pp. 385– 420.         [ Links ]

Oppenheim, C. y Ward, L. (2006), "Evaluation of the Web Sites for B2c Ecommerce", en Aslib Proceedings, vol.3 (58), 237–260.         [ Links ]

Panopoulou, E., Tambouris, E., Tarabanis, K. (2008), "A Framework for Evaluationg Web Sites of Public Authorities", en Aslib Proceedings, vol.60 (5), 517–546.         [ Links ]

Peterson, R. A.(2004), Web Analytics Demystified: A Marketer's Guide to Understanding How Your Web Site Affects your Business, Foster City, CA.: Café Press.         [ Links ]

Phippen, A., Shepard, L. y Furnell, S. (2004), A Practical Evaluation of Web Alalytics, en Internet Research: Electronic Networking Applications and Policy, vol. 4 (4), 284–293.         [ Links ]

Schubert, P y Selz, D. (1999), "Web Assessment– Measuring the Effeciveness of Electronic Commerce Sites Going Beyond Traditional Marketing Paradigms", en Proceedings of the 32nd Hawaii International Conference on System Sciences. 5– 8 January 2003. Maui Island.         [ Links ]

Smith, A. G. (2001), "Applying Evaluation Criteria to New Zealand Government Web Sites", en International Journal of Information Management, vol. 21 (2), 137–49.         [ Links ]

Toro, M. (2000), A Model for Building a Better Academic Web Site: a Quantitative Analysis of Foreign Language Departments on the World Wide Web, Unpublished master's thesis, West Virginia University, Morgantown.         [ Links ]

Van der Merwe, R. y Bekker, J. (2003), "A Framework and Methodology for Evaluating E–commerce Web Sites", en Internet Research: Electronic Networking Applications and Policy, Vol. 13 (3), 330–341.         [ Links ]

Wang, X. y Liu, J. (2007), "Usability Evaluation of B2C Web Site" en International Conference on Wireless Communications, networking and mobile computing, 2007, WiCom2007.         [ Links ]