Marco conceptual

La revisión bibliográfica constituye una etapa esencial en el desarrollo de un trabajo científico y académico. Implica consultar distintas fuentes de información (catálogos, bases de datos, buscadores, repositorios, etc.) y recuperar documentos en distintos formatos. Este proceso también es conocido como búsqueda documental, revisión de antecedentes o investigación bibliográfica o documental. Para José Martínez de Sousa la investigación bibliográfica es considerada como la búsqueda sistemática y exhaustiva de material editado sobre una materia determinada.¹ La revisión como trabajo sistemático y ordenado de búsqueda de información bibliográfica implica la detección y selección de materiales significativos para el investigador en función de los interrogantes que se plantea.²

A partir de esa revisión bibliográfica, el investigador va construyendo el marco teórico, documentando antecedentes y elaborando la bibliografía que se incluye al final de un trabajo científico o académico. Las bibliografías permiten, entre otros aspectos:

La bibliografía, si bien constituye el último ítem de un trabajo de investigación, se comienza a elaborar apenas se define el tema y se empieza a buscar documentación. El investigador, a medida que avanza en su proyecto, debe ir documentando cada una de las fuentes de información utilizadas. Determinar la cantidad óptima de citas, el tipo de documentos a citar o las formas de citación dentro del texto son algunos de los aspectos más frecuentes que debe enfrentar todo investigador. Las bibliografías en un trabajo monográfico pueden estar:

Y pueden contener:

Botta manifiesta:

si bien la bibliografía consultada se encuentra pormenorizada en las referencias en notas, conviene agruparlas en la bibliografía final, para que el lector no esté obligado a buscar página por página la información que le interesa y pueda tener una visión de conjunto de los materiales usados en el trabajo.³

También menciona que no es conveniente citar diccionarios, enciclopedias, gramáticas, manuales generales que, aunque hayan servido de orientación, no constituyen elementos de relación directa con el tema de trabajo. Scarano considera que la cita es la transcripción o mención de una fuente escrita, realizada preferentemente en el cuerpo del texto. Existen dos tipos de citas:

La cita directa o cita textual va generalmente entre comillas si tiene tres líneas o más, caso contrario se inserta con un interlineado menor al resto del texto y dejando una sangría desde el lado izquierdo.⁴

Scarano define a la nota al pie de página o al final del texto como una nota explicativa que por estar conectada marginalmente a los argumentos del texto se coloca a pie de página. Estas notas, pueden incluir citas directas o indirectas.⁵

Calidad y evaluación

La calidad puede ser aplicada a todos los productos o servicios que una organización brinde, por lo tanto, el concepto se puede encontrar en la bibliografía de diversas áreas de estudio, pero, sobre todo, en el ámbito de la gestión y casi siempre asociado a la producción, a los procesos, a las empresas, a los sistemas de gestión y a los servicios que brinda una organización ya sea pública o privada.⁷

Según la Real Academia Española, la calidad es una propiedad o conjunto de propiedades inherentes a algo, que permiten juzgar su valor.⁸ Roswitha Poll expresa que la “calidad se identifica con la adecuación a los objetivos”.⁹ La calidad se puede medir de diferentes formas y, según María Dolores Moreno-Luzón et. al, se podrían agrupar las definiciones en cuatro categorías:

Para saber si un producto o servicio es de calidad, es necesario medir dicha calidad, o sea, es necesario evaluarla y por ende se deberá emitir un juicio de valor acerca del cumplimiento de unas determinadas expectativas.¹¹ La subjetividad juega un papel importante en la emisión de juicios de valor, cada evaluador posee diferentes criterios y expectativas respecto de lo que se quiere evaluar.

Según el Diccionario de la Real Academia de la Lengua Española evaluar es señalar el valor de algo. También es estimar y apreciar.¹² Ahora bien, con la definición de evaluación sucede lo mismo que con la definición de calidad: es factible de ser aplicada en cualquier ámbito en el que se vaya a evaluar, en el que se quiera apreciar el valor de algo.

Para Marina Jiménez Piano “evaluar es medir el valor de algo, entendiendo como valor la cualidad de satisfacer determinadas necesidades”.¹³ Como evaluar es medir/señalar el valor de algo y como para señalar ese valor necesitamos emitir un juicio, hay que saber que ese “juicio de valor se obtiene de interpretar la diferencia que resulta de la comparación de dos medidas: la que es y la que debería ser”¹⁴ y para ello se necesitará de un referente o patrón que, según la misma autora, podrían estar formados por:

Para conocer la calidad de algo se necesita medir, valorar de acuerdo con especificaciones. Éstas pueden ser normas, criterios o lineamientos que permitan contrastar el resultado de una medición con el objetivo que se persigue.

Existen diversas metodologías de evaluación de organismos formales de normalización con un respaldo institucional de entidades evaluadoras como ISO o la Fundación Europea para la Gestión de la Calidad (EFQM, por sus siglas en inglés), pero en el caso de que no existiesen, en el contexto que se esté evaluando una metodología dada por un ente normativo, se podrán construir conforme a las características del producto o servicio que se quiera evaluar.

Para evaluar es necesario obtener información del servicio, producto o sistema que se está evaluando, para lo cual habrá que definir cuáles son las especificaciones con las cuales se va a realizar dicha valoración, o sea, definir los criterios con los que se va a evaluar y los indicadores con los que se medirá la calidad.¹⁵

Indicadores de calidad

Según el Diccionario de la Real Academia de la Lengua Española, un indicador indica o sirve para indicar.¹⁶ La norma ISO 11620 define el concepto indicador como una expresión (que puede ser numérica o verbal) usada para caracterizar actividades (eventos, objetos, personas) tanto en términos cuantitativos como cualitativos con el fin de calcular el valor de las actividades caracterizadas y el método asociado.¹⁷

Las tipologías de los indicadores dependen de la técnica de recogida de datos y pueden ser tanto cualitativos como cuantitativos: “Los primeros son el resultado de mediciones y análisis más o menos complejos y mientras que los segundos son el resultado de valorar las percepciones sobre un tema”.¹⁸

Evaluación de la calidad de las referencias bibliográficas: antecedentes

Existen muchos documentos que establecen pautas, criterios, guías, lineamientos, tests, procedimientos, modelos o reglamentos para evaluar proyectos o artículos de investigación o proyectos de tesis, pero ninguno profundiza y desarrolla lineamientos específicos para la evaluación de bibliografías. Algunos de estos documentos forman parte de los reglamentos, lineamientos o formularios de ciertas universidades, mientras que otros se pueden encontrar publicados en artículos de revistas científicas (Bobenrieth,¹⁹ José López Yepes et al.²⁰ y Mario de Miguel²¹). En los trabajos científicos y académicos se puede apreciar la revisión bibliográfica realizada por el investigador en tres partes:

Al tomar criterios de evaluación de la bibliografía, algunos textos sólo mencionan en forma muy somera algunas cuestiones sobre la bibliografía con una valoración sí/no, tal como:

Otros incluyen el ítem de la bibliografía con una escala de valoración: excelente, muy buena, buena, suficiente, deficiente. Sólo se han encontrado unos pocos documentos que amplían un poco la forma de evaluación de las bibliografías. Por ejemplo, Bobenrieth, en su trabajo sobre lectura crítica de artículos originales en salud, define los siguientes ítems de evaluación con base en las distintas partes de un artículo científico:²²

Cada uno de estos ítems descriptos posee determinado número de criterios y se evalúan con los valores: sí, no o dudoso. Los criterios definidos por Bobenrieth para la revisión bibliográfica y la bibliografía son los siguientes (Tablas 1 y 2):

Tabla 1 Revisión bibliográfica 

Fuente: Bobenrieth, “Lectura crítica”, 86.

Tabla 2 Bibliografía 

Fuente: Bobenrieth, “Lectura crítica”, 90.

El trabajo de López Yepes propone un cuestionario o test que permite la evaluación de tesis doctorales de manera minuciosa en las fases de evaluación a priori, en el acto académico de presentación y defensa; y a posteriori, cuando la tesis es susceptible de nueva evaluación en las convocatorias de premio extraordinario o cuando es publicada como artículo o trabajo científico.²³ En este contexto se proponen, entre otros, los siguientes criterios específicos de valoración de la bibliografía:

Estado de la cuestión:

Redacción:

Anexos: 1. Repertorio bibliográfico

Otro ejemplo a mencionar es el de la Unidad de Postgrado de la Facultad de Educación de la Universidad Nacional Mayor San Marcos, en Perú, que estableció una tabla para evaluar informes de investigación donde incluye el siguiente ítem:²⁴

Por su parte, De Miguel elabora un modelo con las principales dimensiones y criterios que deben ser objeto de análisis y valoración en todo trabajo científico, con el objetivo de que pueda ser utilizado como marco de referencia por los evaluadores y miembros de tribunales de tesis doctorales, tanto en la fase previa a la tramitación administrativa como en el acto de exposición y defensa de la misma. ²⁵ Define 4 dimensiones para la evaluación del informe de tesis:

En este último aspecto se establecen como criterios la claridad, el rigor, la calidad de la documentación y el ajuste a normas científicas. Y dentro del criterio de la calidad de la documentación, se plantean las siguientes preguntas:

Problemática

Cada año se publican más y más documentos científicos y académicos: libros, artículos, tesis doctorales, informes, páginas web, etc., razón por la cual, la investigación documental y el uso de las nuevas tecnologías constituyen pilares fundamentales para poder obtener información en forma eficaz, oportuna y de calidad. Esta multiplicación de documentos ha generado una superabundancia de textos, lo que comúnmente se denomina infotoxicación, siendo cada vez más difícil buscar, encontrar, seleccionar y citar las fuentes adecuadas.

La bibliografía de un trabajo permite, en muchos casos, obtener un estado del arte sobre un tema, razón por la cual una correcta y minuciosa evaluación de la misma en un trabajo de investigación no sólo garantiza que el investigador se haya documentado bien, sino que le otorga mayor rigurosidad al trabajo.

Este documento parte de la necesidad de contar con alguna herramienta para la evaluación de las referencias bibliográficas en trabajos científicos, especialmente para la evaluación de tesis e investigaciones, como complemento a las grillas o tablas de evaluación de tesis o proyectos de investigación en las cuales, por lo general, el ítem bibliografía es muy poco desarrollado.

Objetivo general

Establecer criterios a través de indicadores para la evaluación de la calidad de las referencias bibliográficas de los trabajos científicos.

Metodología

El presente trabajo responde a un diseño bibliográfico o investigación documental. En este sentido, Tamayo y Tamayo define la investigación documental como: “la que se realiza con base a la revisión de documentos, manuales, revistas, periódicos, actas científicas, conclusiones de simposios y seminarios y/o cualquier tipo de publicación considerado como fuente de información.²⁶ En primer lugar, se realiza un estudio comparativo de los criterios utilizados por los autores Bobenrieth,²⁷ López Yepes et al.²⁸ y De Miguel.²⁹ Se proponen, al igual que Bobenrieth, dos ejes para la evaluación de la bibliografía en los trabajos científicos:

Se desarrollan 5 indicadores de calidad para la revisión bibliográfica en el cuerpo de la obra y 9 para las referencias bibliográficas (bibliografía) incluidas al final. Para la operacionalización de los criterios e indicadores se utiliza la norma ISO 11620: 1998 (E) que indica la forma en que se deben definir los indicadores de desempeño para las bibliotecas.

Comparación de criterios

Para poder definir nuevos criterios de evaluación de bibliografías, se partió de un análisis comparativo (Tabla 3) de los criterios utilizados por los autores Bobenrieth, López Yepes et al. y De Miguel:

Tabla 3 Comparación de criterios según distintos autores 

Propuesta de indicadores

Se toman como base los criterios utilizados por los autores Bobenrieth, López Yepes et al. y De Miguel y se proponen otros nuevos. Se desarrollan 5 indicadores de calidad para la revisión bibliográfica en el cuerpo de la obra y 9 para las referencias bibliográficas (bibliografía) incluidas al final.

Revisión bibliográfica en el cuerpo de la obra

Referencias bibliográficas (bibliografía) incluidas al final

Método de medición

Para cada indicador se propone como método de medición aplicar la escala de valoración con su correspondiente puntación. Esto permite traducir el juicio de valor del evaluador a una escala numérica que es volcada en la guía de observación (Tabla 4) para obtener de este modo una descripción detallada y facilitar el análisis y la sistematización de los datos que se obtuvieron. La valoración utilizada es 0-4, siendo siempre 0 el menor y 4 el puntaje mayor indicado respectivamente en la definición de cada uno los indicadores.

Tabla 4 Criterios de evaluación y puntajes 

Desarrollo de los indicadores

Revisión bibliográfica en el cuerpo de la obra

1. Exhaustividad

Objetivo: determinar si la revisión identifica -en función de lo publicado- lo que se sabe actualmente sobre el tema y/o problema de investigación.

Alcance: la exhaustividad se evalúa en los antecedentes y el marco teórico de la investigación.

Definición del indicador: la exhaustividad se entiende como la cualidad de una investigación en la identificación de la totalidad de los documentos relevantes que existen sobre la temática.

Método de medición: aplicar la escala de valoración y puntaje.

2. Utilización crítica de la bibliografía

Objetivo: determinar el uso crítico de la bibliografía utilizada.

Alcance: el uso crítico de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: el uso crítico de la bibliografía consiste en la mención de las citas bibliográficas para fundamentar la información que se presenta en el texto. Se valora el uso de las citas acompañado de análisis, comparaciones o críticas por parte del autor. Martínez de Sousa considera al aparato crítico como el conjunto de datos con que se enriquece y justifica el texto original, como notas, bibliografías, etc. La construcción de nuevo conocimiento se apoya en los conocimientos previos haciendo referencia a la bibliografía consultada y realizando nuevos aportes mediante conexiones, análisis, nuevas visiones, interpretaciones o críticas.³⁰

Método de medición: aplicar la escala de valoración y puntaje.

3. Calidad

Objetivo: determinar si las citas utilizadas son de calidad.

Alcance: la calidad de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: la calidad se identifica con la adecuación a los objetivos. Evaluar la calidad de las citas bibliográficas implica la emisión de un juicio de valor acerca del cumplimiento de unas determinadas expectativas Método de medición: aplicar la escala de valoración y puntaje.

4. Relevancia

Objetivo: determinar la relevancia de las citas bibliográficas.

Alcance: la relevancia de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: se considera relevancia a la adecuación de las citas bibliográficas utilizadas a la temática de la investigación. López Yepes define la relevancia como la propiedad de una información, de un documento o, de forma más general, un conjunto de documentos resultado de una búsqueda que denota en qué grado es considerado adecuado para resolver una determinada necesidad de información desde un punto de vista objetivo (normalmente por un conjunto de jueces representativos y/o competentes). ³¹

Método de medición: aplicar la escala de valoración y puntaje.

5. Revisión de investigaciones previas

Objetivo: determinar si se hace referencia a investigaciones previas sobre el tema estudiado.

Alcance: la revisión de las investigaciones previas se evalúa en los antecedentes de la investigación.

Definición del indicador: la revisión de las investigaciones previas implica la referencia a investigaciones anteriores relativas al problema de investigación que sirven como justificación del estudio. La revisión presenta una gama de experiencias, teorías y opiniones con puntos de vista diversos y complementarios sobre el problema y también puede identificar vacíos de información sobre el problema.³²

Método de medición: aplicar la escala de valoración y puntaje.

Referencias bibliográficas (bibliografía) incluidas al final

1. Actualización

Objetivo: determinar el nivel de actualización de las referencias bibliográficas.

Alcance: la actualización se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera la actualidad de los documentos con respecto a la vigencia del contenido de los mismos en un momento, lugar y para una persona determinada.³³

Método de medición: se puede medir la actualización mediante un porcentaje de acuerdo con ciertos rangos temporales (años):

Estos porcentajes permiten visualizar cuantitativamente la bibliografía utilizada. Luego, la valoración dependerá del tema de la investigación, siendo que en algunos trabajos se priorizan las citas de los últimos años, mientras que en otros tienen mucho más valor las citas de determinadas épocas o años de acuerdo con el desarrollo de ciertos acontecimientos. Finalmente, aplicar la escala de valoración y puntaje.

2. Cantidad total de citas

Objetivo: determinar la cantidad total de referencias bibliográficas.

Alcance: la cantidad se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: número total de referencias bibliográficas mencionadas en la investigación.

Método de medición: contabilizar y aplicar la escala de valoración y puntaje.

3. Autocitación

Objetivo: determinar la presencia de autocitas.

Alcance: las autocitas se evalúan tanto en el marco teórico y en los antecedentes como en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera autocita cuando un autor cita un documento previo de su autoría: “La autocitación es un fenómeno corriente y plenamente razonable cuando pretende hacer referencia a comunicaciones

científicas anteriores, sentando las bases del discurso actual, señalando el mérito de investigaciones anteriores”.³⁴

Método de medición: determinar el uso y la presencia autocitas.

Aplicar la escala de valoración y puntaje.

4. Idioma

Objetivo: determinar los idiomas de las referencias bibliográficas.

Alcance: la cantidad se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: número total de referencias bibliográficas mencionadas en la investigación.

Método de medición: contabilizar la cantidad y el porcentaje de documentos en diferentes idiomas.

La valoración del uso de documentos en distintos idiomas dependerá del tema de la investigación. También puede suceder que en la evaluación de las tesinas de licenciatura no sea requerido el uso de bibliografía en otros idiomas, en cambio en tesis doctorales, al tener mayor profundidad, sí. Finalmente, aplicar la escala de valoración y puntaje.

5. Tipología

Objetivo: determinar la tipología documental de las referencias bibliográficas.

Alcance: la tipología se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: la tipología documental se refiere a las características tanto de origen como formales e informativas de una unidad documental.³⁵

Método de medición: contabilizar la cantidad y el porcentaje de documentos conforme a la tipología.

Otra forma de valorar las tipologías documentales es por su clasificación en documentos primarios o secundarios. Los primarios constituyen fuentes de primera mano, es decir edición original presentada íntegramente, mientras que las fuentes secundarias son aquellas que reelaboran, sintetizan y reordenan la información de las fuentes primarias. Dentro de las secundarias se encuentran las obras traducidas.

La valoración de la tipología de documentos dependerá de la temática de la investigación y también de la disciplina. Por ejemplo, en las ciencias exactas por lo general es menos viable citar un blog que en las ciencias sociales. Por otro lado, en algunas disciplinas se valora más el uso de las obras originales de determinados autores y no sus textos traducidos. Finalmente, aplicar la escala de valoración y puntaje.

6. Soporte

Objetivo: determinar el número total de documentos por tipo de soporte.

Alcance: el soporte se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: el soporte documental se refiere al material o soporte físico en el que está recogida la información (papel, papiro, pergamino, cinta magnética, disco óptico, película, etcétera). ³⁶

Método de medición: contabilizar la cantidad y el porcentaje de documentos de acuerdo con el soporte.

Según Ede existen dos tipos de recursos electrónicos:

La valoración del soporte de los documentos dependerá de la temática de la investigación. Finalmente, aplicar la escala de valoración y puntaje.

7. Citas completas

Objetivo: determinar el número de citas completas e incompletas.

Alcance: la disponibilidad de citas completas se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera que una cita es completa cuando dispone de todos los datos necesarios para poder identificar la obra.

Método de medición: contabilizar la cantidad y el porcentaje de citas completas e incompletas.

Finalmente, aplicar la escala de valoración y puntaje.

8. Exactitud

Objetivo: determinar el número de citas exactas.

Alcance: la exactitud se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera que una cita es exacta cuando no tiene errores. Spinak establece tres tipos de errores: menores, mayores y distorsión de la cita. Error mayor es aquel que impide localizar el documento original. Un error menor es la omisión de algún dato esencial pero que no impide la verificación del documento. Y una distorsión de la cita o cita fraudulenta es cuando expresiones fuera de contexto parecen afirmar tesis distintas de las expresadas en el artículo citado (Broadus, 1983, citado en Spinak 1996).³⁸

Método de medición: contabilizar la cantidad y el porcentaje de citas exactas e inexactas.

Finalmente, aplicar la escala de valoración y puntaje.

9. Cumplimiento con un estilo o norma de citación

Objetivo: determinar el nivel de cumplimiento con el estilo o norma de citación utilizada en el documento.

Alcance: el cumplimiento se evalúa en las citas dentro del texto y en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera cumplimiento con un estilo o norma de citación cuando la bibliografía cumple estrictamente con los criterios, datos y orden establecidos.

Método de medición: evaluar el nivel de cumplimiento y aplicar la escala de valoración y puntuación.

Instrumento de recolección de datos

Se propone una “guía de observación” para ser utilizada como instrumento de recolección de datos. Se presenta una tabla que incluye una columna con todos los criterios e indicadores, una columna con las referencias y otra columna para asignar el puntaje que se obtiene en la evaluación de cada uno de los indicadores.

Conclusiones

Quienes tienen la responsabilidad de evaluar tesis, artículos científicos, proyectos de investigación o trabajos académicos, muchas veces se plantean cuál es la validez de las fuentes de información citadas como bibliografía.

No existe una regla general para establecer criterios que puedan ser válidos para todo tipo de trabajo y para todas las disciplinas. La cantidad y la diversidad de las fuentes de información hacen que la tarea de la evaluación de las referencias bibliográficas sea cada vez más compleja, razón por la cual en este trabajo se ha procurado brindar un modelo mediante la aplicación de indicadores que evalúen la calidad de las referencias bibliográficas en trabajos científicos. Se propone aplicar, como método de medición de cada indicador, una escala de valoración con su correspondiente puntación. Esto permite traducir el juicio de valor del evaluador a una escala numérica que indudablemente incluye un cierto margen de subjetividad en la evaluación.

Resulta necesario, además, distinguir que la comunicación científica puede circular por canales informales y formales. Los primeros consisten en conversaciones e intercambios de mensajes entre los pares, reuniones locales, regionales, internacionales, contactos interpersonales, visitas interinstitucionales, etc. Mientras que los segundos, comprenden la literatura científica: libros, artículos de revistas y obras de referencia, entre otros.

Cada uno de estos canales puede generar documentos que sean referenciados en las citas bibliográficas. Dentro de los canales informales también podemos incluir los blogs, las wikis, YouTube y toda la tipología de mensajes y fuentes de información que circulan por las redes sociales. Pero resulta imprescindible diferenciar que no es lo mismo la información comunicada que la información publicada, ni un documento distribuido que un documento publicado. Cuando un documento es publicado en el ámbito científico circula por los canales formales y posee, entre otros aspectos, evaluación de pares, control editorial y responsabilidad institucional.

Otro aspecto a considerar es el uso de fuentes personales, institucionales y bibliográficas. Las fuentes personales se caracterizan por la informalidad y provienen de contactos directos con investigadores, científicos o referentes de una disciplina. La relación entre ellos puede ser a través de congresos, contactos telefónicos, correos electrónicos, listas de discusión, chats o blogs. Por su lado, las fuentes institucionales están constituidas por organizaciones que recopilan, analizan, catalogan, difunden y custodian los documentos tales como los museos, los archivos y las bibliotecas. Por último, las fuentes bibliográficas son muy variadas y existen distintos tipos de clasificaciones, siendo la más conocida la distinción entre fuentes primarias y secundarias.

En muchos casos, los autores utilizan citas de fuentes secundarias, cuando las mismas pueden ser reemplazadas por la consulta de las fuentes primarias. Por ejemplo, si se cita una noticia publicada en un diario respecto de los datos de un censo (fuente secundaria), se estaría omitiendo la consulta a la fuente primaria que es el documento del censo original, confiable y de primera mano.

También, en muchos casos, el evaluador se plantea si dentro de un documento científico es válido citar fuentes no arbitradas. Todo depende del contexto, del objetivo de la investigación, de la disciplina y del contenido que justifique la inclusión de este tipo de citas. Por ejemplo, citar blogs o mensajes de las redes sociales no es común en las ciencias duras, mientras que es más aceptable en las ciencias sociales y más aún si la propia fuente, es decir el blog o la red social, es el objeto del estudio de la investigación. También en las ciencias sociales ciertos blogs de expertos o científicos en una temática constituyen una fuente válida de información ya que son sitios considerados como referentes en la disciplina.

Se podría recomendar una separación entre las referencias bibliográficas incluidas en las notas el pie de página y las referencias bibliográficas incluidas al final del texto. En las primeras se podrían incluir informaciones, aclaraciones y citas a documentos informales, “no científicos”, pero sí de interés por su valor informativo; y dejar para las segundas las referencias a documentos formales y publicados.

Finalmente, se puede concluir que cada referencia bibliográfica debe ser analizada de acuerdo con su contexto y que no existe un patrón único de evaluación. El modelo propuesto en este trabajo constituye una propuesta abierta a nuevas revisiones, aportes y sugerencias.