Aleph

 

La evaluación de la competencia argumentativa en foros de discusión en línea a través de rúbricas

 

Rubrics for argumentative competence assessment in online discussion forums

 

Yunuen Ixchel Guzmán Cedillo, Rosa del Carmen Flores Macías y Felipe Tirado Segura

 

Universidad Nacional Autónoma de México

 

Recibido: 23/10/12
Aceptado: 15/12/12

 

Resumen

Es importante elaborar herramientas para valorar de manera sustantiva las participaciones en los foros de discusión, con el objeto de mejorar la manera en que estos espacios se vuelven promotores de argumentos dialógicos que exigen de sus participantes formas de pensamiento crítico. Los mensajes manifestados como parte de los argumentos evidencian una competencia en ejecución. En este artículo se describe el proceso de elaboración de rúbricas para evaluar la competencia argumentativa de los mensajes escritos en foros de discusión en línea. El procedimiento se dividió en tres fases: elaboración de los rubros, validación del contenido por 13 jueces expertos, y uso de la rúbrica para analizar 93 mensajes. El alfa de Cronbach obtenido fue de .845; el porcentaje de acuerdo entre tres codificadores fue más de 70% en 38 de los 52 indicadores de desempeño. Se considera que los 14 restantes deben ser reformulados en su descripción por niveles.^1-4

Palabras clave: Rúbricas de evaluación, competencia argumentativa, foros de discusión en línea, competencias.

 

Abstract

To make more instruments for assessing argument competence is an important educative research work in order to promote critical thinking into post message in academic training forums. In this article reliability, validity and design of rubrics process is described. This elaboration was divided in three phases: rubric design, content validity made for 13 judges and rubrics use made for 3 codifiers. The Cronbach's alpha reliability was .845 for all rubrics. The judge agreement was 70% in 38 from 52 evaluation criteria.

Keywords: Rubrics, evaluation, argumentative competence; online forums.

 

Competencia argumentativa

La posibilidad de participar en actividades que implican la toma de decisiones, la emisión de juicios o la adopción de una postura con respecto a una situación profesional entre jóvenes en formación se mide por su habilidad para argumentar. De ahí que sea relevante desarrollar herramientas que permitan valorarla entre los futuros profesionales, especialmente considerando que, cada vez más, el aprendizaje interactuando con otros se ha convertido en la opción más eficiente para seguir aprendiendo.

Diferentes investigaciones (Van Eemeren y Houtlooseser, 2007; Toulmin, 2003) contribuyen al entendimiento de la argumentación, como competencia, considerándola una actividad compleja en la que se manifiestan procesos mentales (reflexión, cuestionamiento, evaluación, habilidades de pensamiento) y de socialización (negociación) (Kuhn, 1992; Kuhn, Iordano, Pease, y Wirkala, 2008; Andrew, 2007).

De manera específica, en contextos de formación académica, para ubicar la argumentación como una competencia es menester destacar sus cualidades, como el uso de la evidencia para justificar una afirmación. Para ello, en el contenido del argumento se revisa la incorporación de conceptos o hechos específicos relevantes y adecuados que den soporte a la afirmación. En consecuencia, la calidad de un argumento se analiza a partir de su contenido, principalmente de la estructura y la justificación (Sampson y Clarck, 2008).

En el mismo sentido, se subrayan como indicadores de un buen argumento la coordinación de capacidades en una situación social para evaluar la información, la disipación de contradicciones, y la reflexión acerca de las afirmaciones sustentadas en evidencia (Weigand, 2006; De Zubiría, 2006). Igualmente, se considera un conjunto de procedimientos y actitudes implicados en un discurso con características éticas (Posada, 1999).

Estas investigaciones han dado cuenta de que argumentar es una actividad compleja en la que confluyen aspectos sociales, cognoscitivos, lingüísticos, afectivos y psicológicos, cuya manifestación depende de las características de la situación en la que se encuentra el individuo.

Ahora bien, si la argumentación se entiende como una competencia, es importante valorar la movilización de habilidades, conocimientos y actitudes pertinentes en situaciones que requieren el despliegue de todos estos recursos de manera clara en la construcción de un argumento. De este modo, se identifica la pericia de un individuo en términos del manejo de esos recursos ante ciertas situaciones (gráfica 1) que constituyen la competencia argumentativa (Guzmán Cedillo, 2012).

De esta manera, si deseamos analizar la manifestación y el desarrollo de la competencia, se necesita establecer bajo qué situaciones ocurre, y así poder decidir los indicadores para cada elemento constitutivo de la competencia argumentativa. Un espacio que privilegia la capacidad para argumentar es el de los escenarios de aprendizaje virtuales, debido a que suelen brindar acceso al diálogo constructivo (argumento dialógico) estructurado alrededor de la comunicación y la discusión de ideas.

 

Foros de discusión en línea

Los foros de discusión en línea constituyen un escenario ideal para comprender la competencia argumentativa, cuando el foro se conceptualiza como una situación que facilita el contraste de ideas al externar un razonamiento (Khun y cols., 2008; Ying-Hua, 2006; Fu-Ren, Lu y Fu, 2009; Hammond y Wirinapinit, 2005; Kanuka, Rourke y Laflamme, 2007).

El foro de discusión, en el ámbito de la formación profesional, se basa en una comunicación textual que permite el despliegue de una serie de recursos para relacionarse con los pares a través del lenguaje escrito. Así, los participantes manifiestan su conocimiento disciplinario de un tema, las actitudes frente al mismo y a los compañeros, así como las habilidades para externar el pensamiento.

Sin embargo, dar seguimiento al empleo de estos recursos implica adoptar formas innovadoras de evaluación que den cuenta del uso integral de los recursos para identificar la manifestación de la competencia argumentativa en un foro de discusión.

 

Evaluación a través de rúbricas

Una manera de evaluar una competencia compleja, como la argumentativa, es emplear rúbricas. Éstas se entienden como matrices de valoración de desempeño, elaboradas a partir de un conjunto de criterios graduados. La función de los criterios es proveer una medida general para todo el producto o la ejecución esperados, y brindar, a la vez, medidas particulares de los elementos esenciales (rubros) o dimensiones que también pueden ser valorados de manera separada (Oakleaf, 2009; Endrizzi y Rey, 2008; Tardif, 2006; Cázares, 2008).

En consecuencia, una función básica de la rúbrica es describir detalladamente los niveles de ejecución esperados, a partir de lo cual se emiten juicios sobre la calidad de la tarea o el nivel de pericia mostrado (Tardif, 2006; Etkina y cols., 2004). No obstante su potencial, Reddy y Andrade (2010) subrayan la falta de rigor en la elaboración de las rúbricas que repercutan en el uso de estos instrumentos para evaluar.

La rúbrica es un instrumento valioso cuando se valida y confiabiliza, pues facilita la coherencia y la congruencia entre los evaluadores (Jonsson y Svingby, 2007). La razón principal es que los criterios y expectativas se hacen explícitos para quienes deben emitir un juicio de calidad sobre el objeto a evaluar. En el caso de este documento, el objeto refiere la calidad de la argumentación manifiesta en los mensajes escritos dentro de los foros de discusión.

A partir de lo anterior, se deduce la utilidad de una rúbrica para distinguir niveles de desempeño de la competencia argumentativa en mensajes escritos dentro de foros de discusión, durante el proceso de formación profesional en línea. Se analizará cómo se puede lograr esto, a partir de la revisión de algunos antecedentes.

 

Rúbricas para evaluar la argumentación

La rúbrica nace en el seno de una visión constructivista centrada en el aprendiz. En efecto, el principio teórico sustancial de la rúbrica subyace a la demanda de la solución activa de una tarea compleja por parte de los aprendices (Gürsul y Keser, 2009).

Con este antecedente, son variadas las propuestas de uso de la rúbrica para valorar actividades complejas, como, por ejemplo, los desempeños profesionales, el pensamiento crítico, las habilidades para resolver problemas o métodos de enseñanza. Estas investigaciones muestran múltiples beneficios, entre ellos: la facilidad de comunicación o uniformización de criterios de evaluación, la valoración holística de varias dimensiones simultáneas, la clasificación del nivel de desempeño en términos de calidad del producto o actuación experta, el consenso confiable entre los evaluadores al compartir un marco de referencia que incrementa la consistencia de una calificación, la conciliación de aspectos cuantitativos y cualitativos al evaluar, y la retroalimentación de las prácticas educativas (Oakleaf, 2009; Gürsul y Keser, 2009; Welch, Suri y Durant, 2009; Jonsson y Svingby, 2007).

En lo que toca a utilizar la rúbrica para valorar argumentos escritos (ensayos de opinión o artículos), ya sea de manera grupal o individual y en diferentes niveles educativos, se reportan resultados positivos para identificar el desarrollo de las habilidades argumentativas aisladas. Por ejemplo, la construcción de justificaciones basadas en evidencia al dar fortaleza a los argumentos, o la consideración y el uso de nociones conceptuales de la temática (Takao y Kelly; 2002; Sadler y Fowler, 2006; Osana y Seymour; 2004). Si bien en la literatura científica sobre la argumentación se observan algunos trabajos que tienen como foco evaluar a través de rúbricas (Reznitskaya, Kuo, Glina y Anderson, 2009; Sadler y Fowler, 2006; Etkina y cols., 2006), estos trabajos no la valoran como competencia ni consideran criterios de evaluación explícitos para cada uno de sus componentes.

Asimismo, son pocos los trabajos que incluyen el análisis en foros de discusión en línea (Topcu y Ubuz, 2008; Rovai, 2007) donde las rúbricas se utilizan para analizar aspectos centrales para el aprendizaje, como la metacognición, el nivel de compromiso logrado, o la manifestación de una reflexión crítica.

En los estudios anteriores faltan lineamientos para elaborar una rúbrica congruente con el enfoque por competencias al evaluar la habilidad argumentativa en los foros de discusión en línea. Es necesario valorar su desarrollo en los niveles de desempeño específicos para los elementos que la constituyen. Contar con esta herramienta favorecería la evaluación del proceso de enseñanza-aprendizaje en el ámbito de la formación en línea que proponga foros de discusión.

Hay tres maneras de conformar una rúbrica, con distintos modos de proceder. En el trabajo conjunto de elaboración (Goodrich, 1997), en el que se definen los indicadores de distintos niveles de desempeño, se presentan a los usuarios con el fin de discutirlos y modificarlos, buscando acuerdos para luego probarlos con distintos evaluadores. Después, se determina si la rúbrica facilita la evaluación. El método para calibrar rubros (Oakleaf, 2009) inicia con la entrevista a muestras independientes de estudiantes que reflejen la respuesta que se desea calificar. En estas entrevistas se revisan las respuestas e identifican patrones de respuesta consistentes e inconsistentes. Luego, se discuten y reconcilian las respuestas inconsistentes para repetir el proceso de medidas independientes en nuevas muestras de estudiantes. El diseño y el uso de la rúbrica por parte de expertos (Gürsul y Keser, 2009) se inicia buscando ejemplos en los que se identifican características de desempeño: se hace una lista de los criterios que demuestran calidad, se articula la gradación de la calidad, y se califican los ejemplos para comprobar la capacidad discriminante. Se usa la rúbrica con trabajos "nuevos" para valorar si discrimina niveles de calidad.

En conjunto, estas investigaciones exponen que, para validar rúbricas, la vía que con mayor frecuencia se utiliza es la validación de contenido, y ésta la realizan jueces expertos, quienes determinan si los componentes y la rúbrica son pertinentes para evaluar los productos o los procesos elegidos.

En el caso de la presente investigación, se trata de construir una rúbrica que evalúe un desempeño dentro de una escala ordinal. Para ello, se retoma el método de elaboración propuesto por Gürsul y Keser (2009), porque es un proceso flexible, cuya fundamentación se da en los documentos previos al fenómeno que se va a valorar, en la evaluación de los jueces expertos de los rubros, y en los niveles de desempeño diseñados (las veces que sea necesario), así como en el análisis de confiabilidad de la evaluación realizada (consistencia de medida de los evaluadores).

El método propuesto por Gürsul y Keser (2009) inicia con la definición de las características psicológicas o psicoeducativas que se van a medir. Después, se revisan los modelos de medición propuestos en la literatura científica. Éstos se utilizan como base para elaborar los rubros que los jueces expertos validan en términos de concordancia y pertinencia (validez de contenido). Después, piden que los jueces utilicen la rúbrica para ubicar el producto de aprendizaje de los estudiantes en un nivel. Estos datos sirven para analizar la confiabilidad interna.

Con respecto a la confiabilidad de la rúbrica y sus niveles de desempeño, se puede calcular a través de las medidas estimadas (el consenso, la consistencia y la medida). El consenso se basa en la posibilidad de que los evaluadores sean capaces de llegar a un acuerdo sobre los niveles de variabilidad en la medición de una rúbrica con respecto a lo analizado. La consistencia se basa en asumir que no es necesario que los evaluadores compartan un significado común de las posiciones de la escala. Más bien es qué tanto el evaluador es consistente al clasificar el fenómeno de acuerdo con su propia definición de la escala. Finalmente, la medida está basada en que se debe utilizar toda la información dada por los evaluadores (incluidas las posiciones en las que discrepan), buscando crear un resumen de medida por cada evaluador (Welch, Suri, y Durant, 2009; Gürsul y Keaser, 2009).

Si dos medidas pueden llegar a un acuerdo idéntico en la medida asignada al trabajo o la ejecución de los estudiantes, se puede decir que esas medidas "comparten una interpretación común del constructo". Este tipo de estimado es muy útil cuando los datos son nominales en escalas cualitativamente diferentes, o cuando la diferencia de niveles en la escala se asume para representar un continuo del constructo en una escala ordinal.

Con estos antecedentes, y con el fin de elaborar una rúbrica para evaluar la competencia argumentativa en la movilización de sus componentes esenciales en diferentes momentos de desarrollo, se realizó el diseño, la validación y la confiabilización de la rúbrica.

 

Método

Participantes

Una muestra de máxima variación¹ compuesta por trece jueces independientes quienes valoraron la pertinencia de rubros y criterios del nivel de desempeño de la rúbrica utilizada por los codificadores. Todos los jueces mostraron tener contacto con productos argumentativos, foros de discusión en línea, rúbricas o elaboración de instrumentos.

Tres codificadores independientes, elegidos entre los jueces por ser expertos en tres áreas (lenguaje, sexualidad y desarrollo cognitivo), analizaron 93 mensajes escritos en foros de formación profesional sobre sexualidad humana. A los codificadores se los capacitó en el uso de la rúbrica de evaluación de mensajes y en el programa QDAminer² para codificar y elaborar comentarios.

 

Estrategias de recolección y análisis de información

Entrevistas no estructuradas, individuales, con los profesores, investigadores y estudiantes que fungieron como jueces de la rúbrica para codificadores.

 

Programas de cómputo

Los programas informáticos utilizados para la organización y el análisis de los mensajes en los foros fueron Microsoft Word, QDAminer, y SPSS.

 

Procedimiento

El diseño, la validación y la confiabilización de la rúbrica se llevó a cabo en la siguiente secuencia (gráfica 2).

 

Elaboración de las rúbricas (Los primeros tres pasos de la gráfica 2 se ubican en esta etapa)

Al realizar un análisis de las diferentes investigaciones (Khun y Udell, 2003; Joiner y Jones, 2003; Sampson y Clarck, 2008; Weigand, 2006; Khun, 1992; Khun y Park, 2005; Khun, Iordano, Pease y Wirkala, 2008) sobre argumentación, se observaron al menos trece recursos estrechamente vinculados con la construcción de un argumento:

• Manifestar una posición: se refiere a la enunciación abierta de una postura frente a un tema; a realizar una afirmación considerada del ámbito del conocimiento por parte de la persona que la ostenta.

• Tipo de evidencia enunciada: si hay ausencia, si es pseudoevidencia (de un caso propio generaliza a todos los demás sin tomar precaución de diversos factores que pudiesen afectar esta base), o si es evidencia genuina (citar una fuente legitimada).

• Evaluación de la evidencia: en términos de cómo se lleva a cabo el escrutinio de las justificaciones o garantías dadas como evidencia (se incorpora sin preguntar, se valida o se cuestiona su pertinencia a través de preguntas).

• Cambio conceptual: se refiere a la capacidad de modificar el propio pensamiento a partir de la revisión del pensamiento de otros, a la luz de nuevas evidencias. La consideración de puntos de vista alternativos es cuando se realiza un análisis de las resoluciones vertidas que pueden observarse más claramente cuando se dan posiciones extremas.

• Presencia de contraargumentos, con los cuales se responde a una aceptación o negación de la fiabilidad de un argumento, desechándolo total o parcialmente.

• Presencia de refutaciones o críticas que recuperan el argumento y el contraargumento revisando lo original y alternativo, haciendo referencia a cualidades o debilidades en la elaboración de nuevos argumentos.

• Posición de pensamiento o teoría epistemológica del individuo. Se refiere a las teorías personales del origen del conocimiento que caracterizan la manera de argumentar un tema; se pueden categorizar en tres: realistas, multiplicistas y evaluativistas.

• Emisión de juicios sobre los hechos o las opiniones ajenas, los cuales pueden ser de agrado, de estética, de valor, y de verdad.

• Elaboración y organización de ideas al explicar de modo claro y coherente las afirmaciones realizadas (estructura y transición de ideas).

• La dimensión ética, que se refiere a las actitudes que permiten invitar al debate, deliberar, o comprometerse con una argumentación dialógica referente a la disposición, o no, a intercambiar con los interlocutores (audiencia, literatura, o consigo mismo).

• Capacidad para manifestar desacuerdos, cuando se es asertivo; se demuestra al expresar inconformidad.

• Reconsideración de afirmaciones con base en aspectos sociales en términos de tomar en cuenta los contextos en los que se da la argumentación, caracterizando, así, un intercambio de pensamientos.

• Manejo de nociones conceptuales que muestran profundidad en el conocimiento de un tema.

Todos estos recursos constituyen una acción experta que lleva a cabo un individuo al exponer –de manera coherente, fundamentada y sistemática– una aseveración, un hecho, o una conclusión para plantear su postura, a la vez que muestra una actitud frente a la temática y a los interlocutores en una situación donde se intercambian y comparten significados.

Por considerar que ninguna de las rúbricas revisadas valoraba íntegramente los 13 recursos, se propuso realizar la rúbrica de evaluación, adaptando el procedimiento propuesto por Gürsul y Keser (2009).

En ese sentido, a los trece recursos se los ubicó, operacionalmente, en los siguientes rubros: vocabulario, sintaxis, conocimientos disciplinares, postura, estructura, transición, justificación, contraargumentación, refutación, crítica, respeto, flexibilidad, y colaboración.

Se determinó utilizar cuatro niveles de desempeño, a partir de los cuales se definieron los indicadores o criterios del mismo. Primero, para el nivel 4, entendido como el desempeño óptimo. Con esa información se elaboraron los indicadores del nivel uno, por considerar que en él se da una actuación con errores típicos en comparación al cuarto, ya realizado. Al tener los niveles extremos, se procedió a realizar los intermedios (3 y 4) para cada rubro.

 

Validación de contenido por jueces expertos

En cada validación, los jueces utilizaron la rúbrica para ubicar, en un nivel de desempeño, los mensajes de tres estudiantes que participaron en un foro de discusión. A partir de ello, los jueces comentaron sobre la pertinencia y la claridad del instrumento.

 

Primera validación (Los pasos cuatro y cinco de la gráfica 2 corresponden a esta etapa)

Una vez elaborada la rúbrica, se presentó a ocho profesores familiarizados con esta manera de evaluar, o que conocían de cerca la dinámica de los foros de discusión en línea. Los profesores la utilizaron para valorar tres mensajes escritos por estudiantes de medicina, en un foro de discusión sobre sexualidad humana, con el tema de la homosexualidad.

Las instrucciones fueron las siguientes:

En este documento se le presenta una primera versión de un instrumento de evaluación que busca medir el desempeño de la capacidad de argumentar mostrada en foros de discusión en línea que traten sobre una temática que provoque debate entre los estudiantes.

Debido a que, como docentes, tienen un contacto constante con los estudiantes, y a su capacidad de argumentar en debates se les pide que evalúen este instrumento.

El instrumento consta de ocho columnas (de izquierda a derecha: componentes, subelementos, niveles de desempeño, total, y modificaciones). La columna de modificación es donde usted marcará si considera que el rubro necesita modificaciones o no.

Después de atender las recomendaciones sobre la rúbrica, ésta se presentó, en su versión modificada, a dos investigadores (expertos en la construcción de instrumentos) quienes sugirieron modificaciones.

 

Segunda validación (Los pasos seis y siete de la gráfica 2 conforman esta etapa)

Al finalizar los cambios que surgieron de las revisiones de la primera validación se llevó a cabo la segunda, con tres jueces (estudiantes de maestría en psicología escolar). Éstos la utilizaron para valorar los mismos mensajes que revisaron los primeros jueces.

Tras introducirlos, brevemente, a la educación en línea y explicarles el objetivo de los entornos virtuales de aprendizaje para promover competencias, y darles la definición de la competencia argumentativa, se les mostró un ejemplo de mensaje (véase el anexo 1) para que utilizaran las rúbricas con las siguientes instrucciones: 

A continuación se presenta un instrumento de evaluación que busca medir el desempeño de la competencia argumentativa mostrada en foros de discusión en línea que traten sobre una temática que provoque el debate.

El instrumento consta de ocho columnas (de izquierda a derecha: componentes, subcomponentes, niveles de desempeño subdivididos en cuatro) y trece rubros a evaluar (filas).

Instrucciones. Los subcomponentes (por fila: conocimientos de vocabulario, de sintaxis, disciplinarias, habilidades para construir un argumento: tomar posición frente a un tópico, en el desarrollo de una estructura, en el uso de transiciones, al justificar la posición con evidencia, la presencia de contraargumentación, la presencia de refutaciones, y actitudes colaborativa, respetuosa, flexible y crítica) son evaluados mediante las características que se encuentran en cada casilla y usted debe elegir una opción de la fila que corresponda a una columna y marcar, en la escala debajo de cada casilla, el número en que considere que el estudiante muestra esa característica (donde 1 es escaso y 4 abundante), en los casos de estar por encima del nivel 1.

Si le surgen dudas sobre los términos por favor consulte el glosario que se ubica en la parte de anexos.

La actividad consiste en ubicar en cada subcomponente el nivel que muestra el estudiante (columna) y enseguida marcar en la escala del 1 al 4 qué tanto muestra la cualidad.

Después de atender estas recomendaciones, la rúbrica se presentó nuevamente a los dos investigadores.

 

Uso de la rúbrica

Tres codificadores entrenados en el uso de la rúbrica analizaron 93 mensajes escritos en foros de discusión en línea, con ayuda del programa QDAminer. Dado que en un análisis de discurso es fundamental dar contexto a los lectores, se determinó no modificar los foros de discusión ni ordenarlos de manera que se amenazara la integridad de la discusión llevada a cabo en ellos.

Así, después de organizar todos los foros de la secuencia didáctica en archivos de Microsoft Word, se procedió a subdividirlos en archivos independientes. Éstos se etiquetaron con números consecutivos, según el orden y la secuencia de la intervención realizada por los participantes, para después analizar los archivos como mensajes (es decir, las participaciones de cada estudiante) en el programa de análisis cualitativo.

Enseguida, los mensajes se presentaron de manera independiente de los codificadores, para analizarlos con la rúbrica de evaluación (en los 13 rubros divididos en 4 niveles de desempeño). Con la base de datos obtenida se analizó la consistencia interna a través de un alfa de Cronbach, con el programa SPSS.

Para determinar el porcentaje de acuerdo entre codificadores (consistencia externa) por cada rubro y el nivel de desempeño, se utilizó la herramienta de lista de acuerdo entre jueces del programa QDAminer.

 

Resultados

Validación

En la primera validación, los ocho jueces recomendaron modificar criterios en los siguientes rubros: estructura, justificación, contraargumentación, refutación, actividad, respeto, flexibilidad, y crítica. También sugirieron mejorar las instrucciones, la introducción, el vocabulario, y elaborar un glosario.

Realizadas estas modificaciones, los dos investigadores revisaron la nueva versión e hicieron comentarios sobre cuatro criterios de desempeño de los rubros refutación y contraargumentación.

En la segunda validación de contenido, los jueces recomendaron modificar criterios en el nivel de desempeño 3 y 1 de los rubros: flexible, respetuosa y colaborativa. Comentaron que las instrucciones, la introducción y el vocabulario eran claros y que, tanto el ejemplo como el glosario, ayudaban a evaluar los mensajes.

Después de atender estas recomendaciones, la rúbrica se presentó nuevamente a los dos investigadores quienes, a excepción de un criterio del nivel 1 de desempeño de contraargumentación y refutación, la consideraron pertinente y clara.

 

Confiabilidad

Con el fin de medir la consistencia interna de la rúbrica y evaluar la magnitud en que los rubros estaban correlacionados se determinó el alfa de Cronbach (α = .85) para los trece elementos. Este valor se consideró óptimo (Oviedo y Campos-Arias, 2005).

En el cuadro 1 se muestra el porcentaje de acuerdo entre codificadores para cada rubro y nivel de desempeño. Este porcentaje ócon el método de acuerdo porcentual³(determinado por el programa QDAminer), el cual reporta el número de acuerdos en relación al total de decisiones por unidades de análisis categorizadas. Se determinó un acuerdo igual o mayor a 70%, en 38 de 52 indicadores de desempeño.

A partir de estos resultados, la característica de diversas categorías contenidas en la rúbrica, que es, además, un campo en desarrollo, se considera que los rubros que se hallan por encima de 70% reflejan un buen nivel de acuerdo (Gros y Silva, 2006).

A continuación se presentan ejemplos de mensajes⁴valorados con la rúbrica. En ellos, el acuerdo entre codificadores fue superior a 70%.

 

Nivel de desempeño 1.

Yo recalco que la abstinencia es el mejor método anticonceptivo, pero ésta no se puede llevar a cabo por la simple razón de que es una necesidad humana como lo reafirma la pirámide de las necesidades de Maslow, en donde esta práctica cae en las necesidades de tipo fisiológico y de afiliación. Es decir que este "sería" el método ideal y perfecto pero no es posible porque la sociedad en que vivimos no lo permite y me refiero a que a las mujeres que son adolescentes los padres conservadores les impiden y restringen tener vida sexual activa con lo que esta actitud por parte de ellos conduce muchas veces a embarazos no deseados.

 

Nivel de desempeño 2.

Creo que hay dos vertientes en esta pregunta, ya que están aquellos que tienen un embarazo no deseado principalmente por la falta de planeación y madurez, y esta planeación no se ha dado por la situación de la pareja (cuántos casos hay de relaciones sexuales sin que haya afecto de por medio), por la situación económica (ya que no tienen un ingreso o una forma de cubrir sus necesidades económicamente), por la situación de edad (por la falta de educación sexual por parte de los padres).

Creo que la mejor forma de decidir ser padres es planearlo. Yo pongo mi caso: mi esposa y yo estuvimos cinco años casados, sin decidir ser padres, hasta hace dos años, y en lo personal creo que es la mejor forma, nosotros lo decidimos.

En cuanto al mejor anticonceptivo, estoy de acuerdo con Graciela en que el condón es la mejor forma de protegerse, tanto de enfermedades como de un embarazo no deseado. En mis pacientes creo que me podría basar en el tipo de situación en la que se encuentre. Además, creo que nuestra labor es darle y describirles todas las opciones y que ellos decidan cuál es la que más les agrada. Claro, ellos ya de antemano sabrán la efectividad de cada uno.

 

Nivel de desempeño 3.

Estoy de acuerdo contigo en lo que dices en el primer punto, Juan, ya que nuestra labor como médico general es cubrir las tres funciones en cuanto a facilitador de la información de sexualidad. Sin embargo, el segundo punto que mencionas habla de la formación de especialistas en educación sexual, no se refiere a la importancia de la sexualidad en nuestra formación como médicos (Santana, O., Flores, L. y Aguilar, A., La importancia de la formación especializada de los profesores de sexualidad humana), aunque podría relacionarse si enlazamos el tema anterior y consideramos a la sexualidad como una especialidad médica y a la enseñanza de la misma como una temática de tal importancia que requiere de estrategias especiales para su aprendizaje y promoción. Viéndolo así, veo que llegamos a algo.

 

Nivel de desempeño 4.

Buenos días compañeros. Estoy de acuerdo con algunos de mis compañeros que mencionan que es una decisión individual decidir si se quiere ser padre o madre, y también estoy de acuerdo que depende de muchos factores la aceptación de un embarazo (factores socioculturales, educaciones, número de hijos, etcétera), como lo menciona Lalo.

En lo que estoy en desacuerdo es cuando mencionan los métodos anticonceptivos cuya definición es: aquellos que se utilizan para limitar la capacidad reproductiva de un individuo o una pareja, en forma temporal o permanente (Norma Oficial Mexicana nom-005-ssa2-1993, De los servicios de planificación familiar p. 5). También mencionan la abstinencia como el mejor método anticonceptivo, pero la abstinencia, como tal, no es un método anticonceptivo; a menos que se refieran a la conocida como: abstinencia periódica, que es el método por medio del cual se evita el embarazo, planeando el acto sexual de acuerdo con la probabilidad de embarazo, tomando en cuenta los días del ciclo menstrual de la mujer (Norma Oficial Mexicana nom-005-ssa2-1993, De los servicios de planificación familiar p. 6). Este tipo de método no le evita a la pareja tener relaciones sexuales, sólo la abstiene de tener coito durante los periodos de fertilidad (estos días se determinan con base en el ciclo menstrual de cada mujer). En los comentarios de algunos de mis compañeros como: Carolina, América, Elizabeth, Gustavo, mencionan a la abstinencia como el mejor método, pero me gustaría saber en qué basan su comentario y a qué tipo de abstinencia se refieren, pero sobre todo, ¿cuáles son sus fuentes?

Estoy de acuerdo en que el condón masculino y el femenino previene la transmisión de ETS, pero, según la nom-005, no tiene una efectividad del 100% como método anticonceptivo, y con respecto a la abstinencia periódica, su efectividad es del 70-80%.

Me gustaría saber qué opinan con respecto a estos porcentajes que menciona la nom-005, ya que nosotros, como futuros médicos que residimos en México debemos de basarnos en las NOMs.

 

Conclusiones

Para los objetivos de este trabajo (elaborar un instrumento que diferencie los niveles de desempeño de la competencia argumentativa en foros de discusión en línea), la rúbrica de evaluación fue útil. Además, el valor del alfa de Cronbach obtenido sugiere que los rubros que componen la rúbrica guardan correlación entre sí. Por lo tanto, la rúbrica descansa en un constructo válido. Es decir, evalúa la competencia argumentativa. Esta situación refleja una adecuada base teórica del constructo.

Con respecto a los rubros propuestos, se observaron y analizaron en los 93 mensajes; no así los niveles de desempeño de cada uno. Considerando que nos encontramos en un área de desarrollo científico, es importante afinar 23% de los indicadores (los cuales obtuvieron menos de 70% de acuerdo). Ya que, si bien la argumentación parece ser una característica importante en los foros de discusión en línea, en nuestra revisión documental se ubicaron pocas rúbricas, tanto de evaluación como de autoevaluación, con criterios de desempeño bien definidos que pudiesen favorecer su desarrollo en estos escenarios.

Escenarios donde la rúbrica se vuelve un instrumento de variadas potencialidades como fuente para retroalimentar la participación y fungir como soporte de una evaluación formativa.

Es importante reconocer la necesidad de ayudar a los estudiantes a identificar, aclarar, interpretar o sintetizar las ideas; a tener ideas divergentes para construir conocimientos, tal como se hace en una comunidad de práctica. En consecuencia, consideramos importante adaptar la rúbrica como herramienta metacognitiva para los estudiantes, por ser una vía de autoevaluación de recursos movilizados y combinados al escribir un mensaje.

Falta subrayar que, en la elaboración, se requirió el análisis integral de recursos. Por ello, la manifestación de la competencia argumentativa es reflejo de haber considerado en los rubros –con el mismo nivel de relevancia que las nociones disciplinarias– la estructura, la sintaxis, la transición del discurso, el análisis de la evidencia enunciada, y las actitudes involucradas en la construcción de un argumento.

Un problema actual en el campo educativo es la evaluación de competencias (Endrizzi y Rey, 2008). La construcción de la rúbrica utilizada en este trabajo brinda una manera de solucionar esta problemática.

Fue así como, en el presente estudio, la rúbrica de evaluación permitió establecer una trayectoria de desarrollo para valorar la competencia argumentativa en sus elementos esenciales, permitiendo, así, clasificar los mensajes de los estudiantes en uno de los cuatro niveles de desempeño.

Consideramos necesario reconocer el enfoque por competencias acogido en la educación con una visión holística. Ésta demanda una concepción que subraye el elemento social de la competencia en términos de una actuación responsable, basada en valores como compartir y ser solidario (saber convivir).

Seguir investigando bajo este enfoque significa combatir conceptos que perciben la competencia como un saber mecánico, producto de una atomización de aprendizajes limitados, cuya evaluación se considera una mera diligencia asociada a ciertos métodos educativos de la pedagogía activa.

 

Bibliografía

Andrews, R. (2007). Argumentation, critical thinking and the postgraduate dissertation. Educational Review 59(1), 1-18.         [ Links ]

Cazares A., y Cuevas, F. (2008). Las competencias: un invitado sorpresa en el mundo de la educación. En Planeación y evaluación basadas en competencias docentes, desde preescolar hasta posgrado. México: Trillas.         [ Links ]

Zubiría, J. de (2006). Las competencias argumentativas: la visión desde la educación. Bogotá: Aula abierta.         [ Links ]

Endrizzi, L., y Rey, O. (2008). Le traitement scolaire des connaissances apparaît généralement. Dossier d'actualité (ancien titre : Lettre d'information) 39, Recuperado de: www.inrp.fr/vst        [ Links ]

Etkina, E., Van Heuvelen, A., White-Brahmia, S., Brookes, D., Gentile, M., Murthy, M., et al. (2006). Scientific abilities and their assessment. Physical Review special topics: physics education research 2, 1554-9178.         [ Links ]

Fu-Ren, L., Lu-Shih, H., y Fu-Tai, C. (2009). Discovering genres of online discussion threads via text mining. Computers y Education journal Computers y Education 52, 481-495. Recuperado de: www.elsevier.com/locate/compedu        [ Links ]

Gros, B., y Silva, J. (2006) El problema del análisis de las discusiones asincrónicas en el aprendizaje colaborativo mediado. Revista de educación a distancia 16. Recuperado de: http://revistas.um.es/index.php/red/article/view/24251        [ Links ]

Gürsul, F., y Keser, H. (2009). The effects of online and face to face problem based learning environments in mathematics education on student's academic achievement. World Conference on Educational Sciences 2009. Procedia Social and Behavioral Sciences 1, 2817-2824.         [ Links ]

Guzmán Cedillo, Y. (2012). Desarrollo de la competencia argumentativa en foros de discusión en línea. Tesis de doctorado UNAM. México, D. F.         [ Links ]

Guzmán Cedillo, Y. (2010). Une grille d'évaluation pour déterminer le niveau de la compétence argumentative. Celebrada el viernes 6 de mayo 2011 en Montréal, Canadá, Journée mati. Recuperado en junio 2012 de: http://www.matimtl.ca/journeesMati/journee2011/index.jsp        [ Links ]

Hammond M., y Wiriyapinit, M. (2005). Learning through online discussion: A case of triangulation in research. Recuperado de: http://www.ascilite.org.au/ajet/ajet21/hammond.html        [ Links ]

Joiner, R., y Jones, S. (2003). The effects of communication medium on argumentation and the development of critical thinking. International Journal of Educational Research 39, 861-871.         [ Links ]

Jonsson, A., y Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences school of teacher education, Educational Research Review 2(2), 130-144.         [ Links ]

Kanuka, H., Rourke, L., y Laflamme, E.; (2007). The influence of instructional methods on the quality of online discussion. British Journal of Educational Technology 38(2), 260-271.         [ Links ]

Kuhn, D., Iordanou, K., Pease, M., y Wirkala, C. (2008). Beyond control of variables: What needs to develop to achieve skilled scientific thinking? Cognitive development 23, 435-451.         [ Links ]

Kuhn, D., y Park, S. H. (2005). Epistemological understanding and the development of intellectual values. International Journal of Educational Research 43, 111-124.         [ Links ]

Kuhn, D., y Udell, W. (2003). The development of argument skills. Child development 74(5), 1245-1260.         [ Links ]

Kuhn, D. (1992). Thinking as argument. Harvard Educational Review 24, 155-179.         [ Links ]

Oakleaf, M. (2009). Using rubrics to assess information literacy: An examination of methodology and interrater reliability. Journal of the American Society for Information Science and Technology 60(5), 969-983.         [ Links ]

Osana, H. P., y Seymour, J. (2004). Critical thinking in preservice teachers: A rubric for evaluating argumentation and statistical reasoning. Educational Research and Evaluation 46(10), 473-498.         [ Links ]

Oviedo, H. C., y Campo, A. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría 34, 572-580.         [ Links ]

Posada, A. R. (1999). Formación superior basada en competencias interdisciplinariedad y trabajo autónomo del estudiante. Revista Iberoamericana de Educación. Recuperado de: http://web.icfes.gov.co/web/index.php?option=com_docmanytask=doc_viewygid=1415yItemid=307

Reddy, M., y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. Recuperado de: http://www.informaworld.com/openurl?genre=article&id=doi:10.1080/02602930902862859.         [ Links ]

Reznitskaya, A., Kuo, L., Glina, M., y Anderson, R. C. (2009). Measuring argumentative reasoning: What's behind the numbers? Learning and Individual Differences 2(19), 219-224.         [ Links ]

Rovai, A. P. (2007). Facilitating online discussions effectively. Internet and Higher Education 10, 77-88.         [ Links ]

Sadler, T., y Fowler, S. (2006). A threshold model of content knowledge transfer for sociocientific argumentation. Wiley Periodicals, Recuperado de: www.interscience.wiley.com

Sampson, V., y Clarck, D. (2008). Assesment of the ways students generate arguments in science education: Current perspective and recommendations for future directions. Wiley Periodicals 92, 447-472. Recuperado de: www.interscience.wiley.com

Tardif, J. (2006). L'évaluation des compétences: documenter le parcours de développement. Montréal: Chenelière-éducation.         [ Links ]

Topcu, A., y Ubuz, B. (2008). The effects of metacognitive knowledge on the pre-service teachers' participation in the asynchronous online forum. Educational Technology & Society 11(3), 1-12.         [ Links ]

Toulmin, S. E. (2003). The uses of argument. Recuperado de: http://books.google.es/books?hl=esylr=yid=8UYgegaB1S0Cyoi=fndypg=PR7ydq=toulminyots=Xb2-mgyNxTysig=8rs AupLBAmWwTOIB75UvBDmqFZk#PPA2,M1        [ Links ]

Van Eemeren, F., y Houtlooseser, P. (2007). The study of argumentation as normative pragmatics. Pragmatics of cognition 10(1-2), 161-177.         [ Links ]

Weigand, E. (2006). Argumentation the mixed game. Argumentation 20, 59-87.         [ Links ]

Welch, H., Suri, D., y Durant, E. (2009). Rubrics for assessing oral communication in the capstone design experience: Development, application, analysis and refinement. Journal of Engineering Education 25(5), 952-961.         [ Links ]

Ying-Hua, G., Chin-Chung, T., y Fu-Kwun, H. (2006). Content analysis of online discussion on a senior-high-school discussion forum of a virtual physics laboratory. Instructional Science 34(4), 279-311.         [ Links ]

 

Notas

¹ Muestreo que busca observar distintas perspectivas que representen la complejidad del fenómeno. En este caso, se buscaba que la rúbrica contuviera los criterios de desempeño posibles de la competencia argumentativa en los foros de discusión en línea. Tres profesores de bachillerato (dos de ellos de redacción y uno de psicología) y cinco de educación superior con formación diversa, dos investigadores en el campo de la psicología educativa (con experiencia amplia en la elaboración de instrumentos) y tres estudiantes de maestría en psicología escolar (usuarios de foros).

² Programa informático utilizado para codificar datos textuales y gráficos; permite anotar, recuperar y revisar datos sobre los documentos codificados. El programa puede manejar proyectos complejos con gran cantidad de documentos combinados con información categorial y numérica.

³ C_F = 2M/(N₁+N₂), en donde M es el número total de decisiones de categorización en que coinciden los dos evaluadores. N₁=número de decisiones de codificación del evaluador 1. N₂= número de decisiones de codificación del evaluador 2 (Gros y Silva, 2006).

⁴ Se conservan en su forma original y, por razones éticas, los nombres de los estudiantes fueron modificados.

⁵ Las palabras en negritas se encuentran en el glosario.

 

INFORMACIÓN SOBRE LOS AUTORES:

Yunuen Ixchel Guzmán Cedillo. Maestra en Psicología por la Facultad de Psicología, Universidad Nacional Autónoma de México (UNAM). Actualmente cursa el Doctorado en la misma universidad. Su investigación se enfoca en la competencia argumentativa en procesos de formación en línea. Ha realizado estancias de investigación en la CIRT@ (Communauté pour l'Innovation et la Recherche sur les Technologies dans l'Enseignement/Apprentissage) de la Universidad de Montreal, Canadá, y participado en el programa México-Francia (SEP y Ministerio de Educación francés). Ha sido docente la Universidad Iberoamericana, de la Escuela Nacional de Medicina y Homeopatía del Instituto Politécnico Nacional (ENMyH), y del bachillerato en línea de la UNAM.

Rosa del Carmen Flores Macías. Doctora en Educación por la Universidad Autónoma de Aguascalientes, Maestra en Psicología por la Universidad Nacional Autónoma de México (UNAM). Ha participado en proyectos de cooperación internacional con la Universidad de La Laguna, en Tenerife, España. Desde 1990 es docente del posgrado de la Facultad de Psicología de la UNAM. Ha desarrollado investigación enfocada en jóvenes estudiantes con bajo rendimiento y problemas en la fluidez y la comprensión lectoras. Ha publicado diversos artículos de investigación en revistas reconocidas.

Felipe Tirado Segura. Doctor en Educación, programa interinstitucional de la Universidad Autónoma de Aguascalientes; Maestro en Psicología Educativa por la Universidad de Leicester, Reino Unido. Ha realizado estancias de investigación en las universidades de Salamanca y de California, San Diego (UCSD). Es miembro de diversos comités, así como jurado del Reconocimiento Distinción Universidad Nacional para Jóvenes Académicos (RDUNJA). Actualmente se desempeña en la Facultad de Estudios Superiores Iztacala de la UNAM como Profesor Titular, y como docente invitado en la Universidad de Sao Paulo, Brasil. Pertenece al Sistema Nacional de Investigadores y es coordinador del Comité Consultivo del Consejo Mexicano de Investigación Educativa (COMIE). Ha publicado diversos trabajos de investigación en revistas especializadas.