Artículos

 

Propuesta metodológica para la formulación de una conceptualización del constructo de un examen de certificación del inglés como lengua extranjera

 

Methodological Proposal for the Formulation of a Conceptualization of the Language Use of an English Certification Test as a Foreign Language

 

Virginia Velasco Ariza¹, María Luz Anguiano López Paliza² y Norma Larrazolo Reyna¹

 

¹ Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California A.P. 453, C. P. 22830 Ensenada, Baja California, México normal@uabc.mx, vvelasco@uabc.mx.

² Escuela Normal Estatal Rosas y Eucaliptos Fracc. Valle Verde CP 22839 Ensenada, Baja California, México. maanguiano@yahoo.com.

 

Recibido: 14 de febrero de 2007
Aceptado para su publicación: 5 de octubre de 2007

 

Resumen

Este artículo describe el procedimiento utilizado para formular una conceptualización del Dominio de Uso de la Lengua Meta (DULM) para el Examen de Egreso del Idioma Inglés (EXEDII). Los exámenes para el manejo de idiomas parten de la postulación de cuatro habilidades: comprensión auditiva y lectora, discurso hablado y escritura. Existe una controversia acerca de esa forma de conceptualizar el constructo a medir, ya que el uso del lenguaje en el ambiente real no se manifiesta como entidades separadas. Por ello, resulta útil, antes de construir o validar los exámenes, elaborar una conceptualización del dominio a medir. Se consideró la adaptabilidad del uso del lenguaje y la situación en que éste se utiliza para diseñar cuatro actividades concatenadas y recabar información que permitiera formular una conceptualización de su uso. Mediante un grupo de enfoque y entrevistas, se recogieron las opiniones de expertos. Posteriormente, se compararon las descripciones de las competencias correspondientes al nivel intermedio de dominio del inglés utilizadas por organismos internacionales, un centro de enseñanza de lenguas y en exámenes para certificación del inglés como lengua extranjera. La integración de la información produjo la conceptualización utilizada como criterio de comparación en la validación de contenido del EXEDII, que es un examen de certificación del inglés, como lengua extranjera.

Palabras clave: Validación, Inglés (como lengua extranjera), dominio de uso de la lengua, validez de contenido.

 

Abstract

This article describes the procedure followed to formulate a conceptualization of the Target Language Use Domain for the Graduation Test of English (EXEDII). Language tests consider four abilities: listening, reading, speaking and writing, but a controversy exists about the conceptualization of the measured construct since the use of language in the real environment is neither fractioned in separate entities, nor used in a single situation. Thus it seems useful to make a conceptualization of the field before constructing or validating tests. Taking into account the adaptability of language use depending on the situation, four concatenated activities for collecting information were designed. A Focus Group and interviews provided the opinion of experts in teaching. Also, comparisons were made between the descriptions of the intermediate level of proficiency used by international institutions, a centre of language teaching and a couple of English language proficiency tests. The integration of this information produced the conceptualization which will be used as a criterion for the content validation of the EXEDII test.

Key words: Validity, English (Foreign Language), target language use, content validity.

 

Introducción

El Examen de Egreso del Idioma Inglés (EXEDII) es un examen criterial computarizado, que está alineado al nivel intermedio del curso On Target de Scott Foresman English Series (Intermediate Level), de James Purpura y Diane Pinkley(1991), cuyo propósito es la certificación del idioma inglés como lengua extranjera. El examen fue creado por un grupo de investigadores del Instituto de Investigación y Desarrollo Educativo (iide) de la Universidad Autónoma de Baja California (UABC), en México. Se aplica a los estudiantes que egresan de esa universidad y que no pueden demostrar de manera documental su nivel de manejo de la lengua. El EXEDII está integrado por 100 reactivos de opción múltiple, agrupados en tres áreas de medición: comprensión auditiva, gramática y comprensión de lectura.

El EXEDII como otros exámenes estandarizados, puede considerarse de alto impacto por las consecuencias que tiene sobre los estudiantes que lo presentan. Por ese motivo resulta indispensable contar con evidencias de su validez como instrumento de medición. Aunque la validez es un concepto unitario (Messick, 1993), es común encontrar en la literatura de validación de exámenes, la precisión del tipo de evidencias que se busca, de acuerdo con la naturaleza del instrumento y de las interpretaciones que se hacen a partir de los puntajes que obtienen los sustentantes. En el caso del EXEDII, las evidencias de validez deberían referirse al contenido, por ser un examen criterial y de certificación (Popham, 1990), y al constructo por ser esta clase de evidencia la de mayor importancia en cualquier tipo de examen (Anastasi, 1977; Heaton, 1988; Cureton, 1951; Messick, 1993; Bachman & Palmer, 1996).

Tradicionalmente, tanto los cursos de inglés como la evaluación del manejo de lenguas han sido definidos en términos de cuatro habilidades: discurso hablado, (hablar), escritura, comprensión auditiva (escuchar) y comprensión lectora (leer). Las dos primeras se consideran habilidades productivas y las dos segundas, receptivas; se ha considerado que hablar y escuchar relacionan el lenguaje expresado a través del oído; en cambio, leer y escribir lo hacen a través de la vista. Si bien es cierto que, en una conversación es el oído quizá el sentido más importante, una parte del significado del discurso es derivada de claves visuales, como gestos, movimientos de la cara y del cuerpo en general. Por otra parte, cuando alguien lee no está totalmente pasivo, puesto que el significado del mensaje leído es recreado por el lector a través del razonamiento y de su contexto sociocultural. La escritura puede ser entendida como una actividad que produce un mensaje con más de un significado, dependiendo del lector. Widdowson (1978) hace un análisis de la ambigüedad de estas afirmaciones y propone una interpretación más amplia, en la que caben otros elementos que no habían sido considerados en los enfoques anteriores al comunicativo, como la atención a las características de las tareas y las del sustentante en una situación determinada.

 

I. Antecedentes y marco teórico

El lenguaje, como objeto de estudio, ha sido conceptualizado desde diferentes aproximaciones que, en la literatura sobre ese tema suelen conocerse como enfoques. Así, el estudio de la lingüística en general y de la enseñanza y evaluación del lenguaje en particular, estuvieron influidos por el enfoque estructural, centrado en los conocimientos de las reglas gramaticales del idioma.

En la década de los setenta la propuesta de Chomsky dio un giro a la aproximación estructural con los conceptos de competencia y uso. A partir de Chomsky (1970), Hymes (1971) desarrolló el concepto de competencia comunicativa, que supone el conocimiento del uso contextual o sociolingüístico del lenguaje. Los trabajos de Halliday (1982) aportaron los conceptos de nociones y funciones del lenguaje. La integración de las propuestas de estos y algunos otros autores generó otro enfoque llamado comunicativo, que considera al usuario de la lengua, protagonista, con sus necesidades de comunicación en las distintas situaciones en que tienen lugar.

En el ámbito de la psicología, el estudio del lenguaje ha sido abordado desde diferentes puntos de vista, desde la concepción del lenguaje como una conducta sujeta al condicionamiento operante (Skinner, 1957/1981), hasta concebirlo una manifestación del pensamiento (Piaget, 1969), o como herramienta que el ser humano utiliza no solamente para comunicarse con sus congéneres, sino que le permite construir la noción del mundo que le rodea, de acuerdo con la postura de Vygotsky (Hernández Rojas, 2005). Es importante notar la diversidad de planteamientos teóricos sobre el origen, desarrollo y función del lenguaje, que de una u otra forma han influido en la enseñanza y en la evaluación de los idiomas y por ende, en la construcción de los exámenes, como instrumentos de medición de habilidades, destrezas y competencias o dominios.

De acuerdo con el Diccionario de la Lengua Española (2001), certificar es asegurar, afirmar, o dar por cierto algo. Certificar el manejo del lenguaje implica validar la demostración del dominio que una persona tiene de ese idioma, comparando su ejecución contra un criterio establecido. Para realizar esa comparación se requiere la utilización de un instrumento de medición (examen) que permita instrumentar tareas en las que el sustentante use el lenguaje, de manera esencialmente igual a la que encontraría en una situación fuera de la evaluación. El instrumento debe ser diseñado, construido y validado de manera tal, que los resultados que se obtengan puedan ser interpretados como evidencia de que el sustentante tiene o no, las habilidades evaluadas.

En la mayoría de los procedimientos para validar el contenido de un examen, se reporta la comparación de los reactivos u objetivos del instrumento contra un programa o un curso en particular, que representa el contenido que los alumnos deben manejar posterior a la instrucción (Messick, 1993; Popham, 1990). Por otra parte, los exámenes criteriales deben estar alineados a un criterio, el cual con frecuencia está constituido por un currículo o por los objetivos de un curso determinado (Nitko, 1994). Cuando el instrumento tiene propósitos de certificación resulta más complicado elegir un criterio porque por definición, los exámenes de certificación evalúan habilidades de sus sustentantes, independientemente de la forma en la que se hayan adquirido (Heaton, 1988). Si se requiere validar el contenido de un examen criterial cuyo propósito es la certificación del manejo de un idioma, no es adecuado utilizar el mismo criterio que se utilizó para construirlo y para validarlo. El enfoque comunicativo permite salvar el escollo de utilizar los objetivos de un curso como criterio en un procedimiento de validación de un examen criterial de certificación del lenguaje. El argumento es apelar al concepto de Uso del lenguaje (Bachman y Palmer, 1996).

El uso que un individuo hace del lenguaje para comunicarse en el ambiente natural adquiere características específicas, dependiendo de la situación en la que se da. Cada una de estas circunstancias tiene su propio dominio: el Dominio de Uso del Lenguaje (DUL). Para efectos de medición, es posible descomponerlo en tareas específicas del uso del lenguaje, según una situación particular llamada Dominio de Uso de la Lengua Meta (DULM). El DULM es más amplio que el subdominio que cubren los reactivos de una prueba, pero si las tareas del examen son relevantes y pertinentes, podrán representarlo y las interpretaciones que se hagan a partir de los resultados de la prueba, se generalizarán a todo el dominio. Es posible definir el DULM como el conjunto de tareas específicas del uso de la lengua, que el sustentante probablemente encuentre fuera de la situación de prueba y sobre el cual se desea generalizar las inferencias acerca de la habilidad que el sustentante tiene de la lengua (Bachman y Palmer, 1996).

El trabajo que aquí se presenta es una propuesta metodológica, ya que sugiere la realización de una serie de actividades concatenadas para formular la conceptualización del uso del lenguaje que medirá un instrumento. El procedimiento inicia con la recopilación de opiniones de expertos en la docencia en la universidad y/o enseñanza del inglés, mediante un procedimiento que les permita explayarse sin cortapisas. A esto sigue la consulta de los estándares internacionales publicados y la contrastación de ambas fuentes de información para desembocar en la conceptualización del dominio, que funciona como la definición operacional del constructo del examen, para efectos de los estudios de validez del mismo.

La tarea de formular una conceptualización del dominio que mida un examen como el EXEDII, parte de la necesidad de buscar los indicadores más relevantes del uso de la lengua meta, para integrarlos en una descripción operacional de las tareas del dominio a medir, que sean congruentes con las características de los sustentantes, en las situaciones particulares en que probablemente se darían.

Para tener una idea clara del tipo de tareas que enfrentaría una persona que hace uso de la lengua extranjera (por ejemplo, la tarea de comunicarse con el mesero en un restaurante), y poder representarlas en un examen del manejo de ese idioma, es necesario conocer el tipo de situaciones que probablemente enfrenten los sustentantes (por ejemplo, la situación de ordenar el desayuno consistente en huevos fritos y café). Por ello, se consideró necesario recabar las opiniones de dos grupos de personas, uno de ellos debía conocer las características de los sustentantes, así como sus necesidades de uso del inglés y el otro, debía dominar el idioma y tener experiencia enseñándolo a estudiantes con características iguales o similares a las de los sustentantes del examen.

Con ese fin se investigaron las opiniones de docentes universitarios y docentes del idioma inglés a través de dos técnicas: grupo de enfoque (Alvarez-Gayou, 2005) y entrevistas. Posteriormente, se contrastó la información obtenida con los criterios que distintas asociaciones y organismos utilizan para enseñar, evaluar o certificar el uso del inglés. Los organismos o asociaciones consultados son: Consejo Americano de Profesores de Lenguas Extranjeras (American Council of Teachers of Foreign Languages, actfl, por sus siglas en inglés), Asociación de Profesores de Lenguas de Europa (Association of Language Teachers of Europe, alte, por sus siglas en inglés), Universidad de Cambridge, Inglaterra y el programa de Certificación del Inglés como Lengua Extranjera, de la Universidad de Buenos Aires, Argentina (CILE). Las razones por las que se eligieron estos organismos se relacionan con el amplio uso que se hace de los estándares internacionales en los centros de enseñanza y evaluación de lenguas, tanto en América como en Europa y Asia. Asimismo, es notorio el impacto que tiene el sistema de exámenes de la Universidad de Cambridge sobre los criterios de aceptación de estudiantes en las universidades de los tres continentes mencionados. Finalmente, se eligió el cile en un intento de homologar las circunstancias del EXEDII con las de una universidad latinoamericana, ya que en dicha institución de enseñanza y certificación de idiomas, el inglés se enseña como lengua extranjera a estudiantes que tienen como lengua nativa al español.

 

II. Método

Durante la fase del diseño y construcción del EXEDII se generó una definición del constructo del examen. Con esto, se estableció que el EXEDII debería medir el manejo del inglés como lengua extranjera, a nivel intermedio, en los estudiantes que egresan de la UABC. Esta definición funcionó como un marco referencial general en la construcción del examen, que por ser criterial, se alineó al curso On Target, de Purpura y Pinkley (1991). No obstante, el estudio de validación del contenido del EXEDII requería de una definición más específica, a fin de evaluar la relevancia, representatividad y pertinencia de los reactivos del examen, en relación con la definición del contenido y del constructo, así como la autenticidad de las tareas evaluadas por los reactivos.

Se desarrollaron cuatro actividades: a) grupo de enfoque, b) entrevistas a dos expertos, c) análisis comparativo de las descripciones de competencia intermedia del manejo del inglés como lengua extranjera, de cuatro fuentes diferentes y d) conceptualización del DULM del EXEDII.

 

Primera actividad: Grupo de enfoque

Propósito: Recabar las opiniones de una muestra intencional de docentes universitarios acerca de dos tópicos: a) EXEDII, como instrumento de medición y b) los conocimientos y habilidades en inglés que los estudiantes de la UABC deben tener para egresar de la universidad y ejercer su carrera, o continuar estudiando.

Se eligió este método para recabar las opiniones de los participantes debido a que el objetivo era constituir un grupo en el que se plantearan un par de preguntas previamente elaboradas y solicitar a los participantes que las contestaran; se permitía el intercambio de opiniones. De acuerdo con Loera Varela (2000) y Alvarez-Gayou (2005), las respuestas que se darían serían distintas de las que se darían individualmente en una entrevista personalizada, porque se construyen a partir de la interacción con los integrantes del grupo.

Participantes: Se invitó a participar en el Grupo de Enfoque, a 16 docentes en activo y aceptaron 14 distribuidos de la siguiente manera:

• Cuatro docentes de inglés en activo, que hubieran dado, al menos, un curso a estudiantes de nivel intermedio.

• Siete docentes de escuelas o facultades de la UABC, con experiencia profesional en el área de su carrera y que además manejaran el inglés al menos al nivel intermedio. Cada una de las áreas académicas de las carreras de la UABC (económico-administrativas, químico-biológicas, salud, ingeniería, físico-matemáticas, ciencias sociales y humanidades) contó con un profesor que la representara.

• Una lingüista, un psicómetra y una psicóloga. Esta última funcionó como facilitadora en el Grupo de Enfoque, organizó y centró el tema durante la sesión e instrumentó las condiciones para realizar la video grabación de la misma; tomó notas a lo largo de la sesión y realizó el análisis de los datos obtenidos.

Procedimiento: Previo al Grupo de Enfoque, los participantes tuvieron la oportunidad de responder el EXEDII en las mismas condiciones en que lo hacen los estudiantes egresados de la UABC. En la sesión de Grupo de Enfoque se formularon a los panelistas las preguntas: ¿qué debería saber de inglés un estudiante que egresa de la UABC? y ¿cuál es su opinión del EXEDII como instrumento para medir el manejo del inglés en los estudiantes de la UABC? La sesión tuvo una duración de tres horas y fue video grabada para conservar un registro objetivo de las participaciones. De acuerdo con Alvarez Gayou (2005) una vez que todas las ideas expresadas por los panelistas quedaron registradas, se procedió a agruparlas en categorías conceptuales y organizarlas en una tabla.

 

Segunda actividad: Entrevistas

Propósito: Obtener respuestas detalladas sobre la opinión de especialistas en la docencia del inglés, para contar con elementos para construir la conceptualización del DULM.

Participantes: Dos docentes de inglés en activo, uno de ellos en la Normal Estatal y el otro, director de una academia en donde se imparte el idioma inglés, de acuerdo con el programa "Inglés para propósitos específicos".

Procedimiento: Se entrevistó a un profesor que no asistió al grupo de enfoque y a una de las panelistas, quien no tuvo suficiente oportunidad de expresar sus opiniones. El formato de la entrevista fue semiestructurado y se formuló una delas preguntas del grupo de enfoque: ¿qué debería saber de inglés un estudiante que egresa de la UABC?. No se formuló la otra pregunta debido a que uno de los entrevistados no tuvo oportunidad de conocer el EXEDII y la otra entrevistada ya había expresado sus opiniones en el Grupo de Enfoque. La información recabada en las dos entrevistas fue analizada en dos partes: se escuchó la grabación o se leyeron las notas un par de veces; enseguida, se anotaron las ideas generales expresadas y después se conformaron categorías en las que se ubicaron las ideas enunciadas, ejemplificadas con segmentos de lo expresado por los entrevistados. Finalmente, se elaboró una tabla con las categorías de cada entrevistado, misma que se incluye en el apartado de Resultados.

 

Tercera actividad: Comparación de los estándares internacionales que corresponden al nivel que debe medir el EXEDII

Propósito: Comparar los estándares del nivel intermedio de cuatro organizaciones internacionales, para identificar las habilidades, competencias o conocimientos pertinentes al nivel y contexto de los estudiantes de la UABC. Las organizaciones y niveles correspondientes fueron: a) actfl en sus niveles intermedio bajo e intermedio medio; b) alte en sus niveles A1 y B1, en los rubros de habilidades generales, de estudiantes, trabajo y turístico-sociales; c) cile, en cuanto a las competencias mínimas de aprobación del programa de certificación del inglés como Lengua Extranjera, en sus descripciones de las etapas preintermedia e intermedia; d) universidad de cambridge, de acuerdo con los criterios de aprobación de los exámenes Preliminary English Test (PET) y First Certificate in English (FCE).

Procedimiento: Se seleccionaron los estándares americanos (ACTFL) y los europeos (ALTE), con la intención de conocer los criterios provenientes de países angloparlantes. Se eligieron también los criterios utilizados por el programa utilizado por una universidad latinoamericana (CILE) para certificar el dominio del inglés como lengua extranjera y finalmente, considerando que los exámenes de la Universidad de Cambridge (Inglaterra) son ampliamente utilizados como criterios de competencia en programas de enseñanza de la lengua inglesa. Se eligieron el PET y el FCE, ya que corresponden al nivel intermedio de acuerdo con los criterios de los exámenes esol (English for Speakers of Other Languages) de esa universidad (alte, 2007). Con la información obtenida se construyó una tabla de dos entradas que se muestra en el apartado de Resultados.

 

Cuarta actividad: Conceptualización del DULM del EXEDII

Propósito: Redactar la conceptualización del Dominio de Uso de la Lengua Meta, a partir de la integración de los resultados de las tres actividades anteriores.

Procedimiento: Se revisaron cuidadosamente las tablas 5, 6, 7, 8 y 9 con el objeto de tomarlos como base para describir los criterios de competencia del nivel intermedio en términos de tareas. Estas tareas corresponden a una muestra de las que el sustentante enfrentaría en situaciones de la vida real, por lo que deberían estar incluidas en un examen como el EXEDII. Posteriormente se revisaron las Tablas I y III para adaptar el contenido de las anteriores al contexto específico del EXEDII y a las características de sus sustentantes.

El resultado de esta actividad fue un texto en el que se lee la conceptualización del DULM y se presenta en el apartado de Resultados.

 

III. Resultados

Primera actividad. Los temas tratados por los panelistas fueron anotados y organizados en categorías conceptuales que agrupaban varias ideas similares, como se muestra en la Tabla I. El propósito de hacer este tipo de agrupamientos es reducir la información recabada en pocas frases, que puedan ser interpretadas con mayor facilidad. El criterio con el que se agruparon las ideas en categorías fue su similitud temática. En la primera columna aparecen las categorías y en la segunda se incluyen algunas de las ideas que las ejemplifican.

Segunda actividad. La información recabada en las entrevistas fue analizada siguiendo un procedimiento similar al del análisis del Grupo de Enfoque.

Primeramente se anotaron las ideas expresadas en cada opinión de los entrevistados, como puede verse en la Tabla II.

El contenido de las ideas expresadas por los entrevistados fue organizado en categorías conceptuales, agrupando varias ideas similares, como se muestra en la Tabla III. Nuevamente, el propósito de hacer este tipo de agrupamientos es el de reducir toda la información recabada y sintetizarla en pocas frases que pueden ser interpretadas con mayor facilidad. El criterio con el que se agruparon las ideas en categorías fue su similitud temática.

Tercera actividad. La información recabada en los estándares de las organizaciones consultadas se organizó en una tabla, lo que permitió compararlos. En la Tabla V se muestra un fragmento de los estándares consultados, diferenciadas en cursivas las frases que expresan información de acuerdo con dos criterios: a) tareas que sobrepasan el nivel de sobrevivencia y son afines a las características de los sustentantes, y b) tareas que implican habilidades receptivas (lectura y comprensión oral, de acuerdo con la clasificación tradicional) y productivas. Esta selección se hizo con base en las características del EXEDII, que no mide las habilidades productivas (discurso hablado y escritura).

Dado que la descripción de los estándares consultados no está organizada en términos de cuatro habilidades (dos productivas y dos receptivas), las descripciones de la Tabla IV se integraron en las tablas V, VI, VII y VIII, reagrupándolas en las áreas de medición del EXEDII: comprensión auditiva, lectura y gramática, cuando los estándares incluyen esta última.

Acorde con el criterio que animó la selección de indicadores de competencias/habilidades en el contexto de la enseñanza y evaluación del inglés como lengua extranjera para las áreas de comprensión auditiva y lectura, evitando recurrir al currículo al que está alineado el EXEDII, se aceptó la sugerencia de uno de los expertos entrevistados acerca de consultar los indicadores del nivel intermedio de los Spark Charts™ de la editorial Barnes & Noble.

De acuerdo con el experto entrevistado, los SparkCharts™ son una especie de atlas o cartografías elaboradas por expertos de la Universidad de Harvard, donde se incluyen los contenidos relevantes y representativos del tema que tratan y están siendo ampliamente utilizados en las instituciones donde se enseña inglés con propósitos específicos. Es de notar que inglés con propósitos específicos se ha convertido en un término técnico, que alude a una metodología de enseñanza de los idiomas y responde a una necesidad de aprendizaje de grupos de población específicos. Por ejemplo, los estudiantes que tienen necesidad de prepararse para un examen de certificación, los empresarios que deben aprender a hablar inglés para comunicarse en el ambiente de una maquiladora, el empresario que requiere aprender o perfeccionar el manejo de un idioma, para comunicarse en el contexto de las relaciones empresariales internacionales.

Para conocer y evaluar si los SparkCharts™ tenían la calidad académica necesaria para utilizarse como indicadores de los conocimientos gramaticales mínimos necesarios para el nivel intermedio, se preguntó su opinión sobre el particular a la otra experta entrevistada, quien consideró que eran adecuados.

En el anuncio que aparece en el sitio Web de los SparkCharts™, estos se describen de la siguiente manera:

Imagine if the top student in your course organized the most important points from your textbook or lecture into an easy-to-read, laminated chart that could fit directly into your notebook or binder.

SparkCharts™-created by Harvard students for students everywhere-serve as study companions and reference tools that cover a wide range of subjects, including Business, Math, Science, History, Humanities, Foreign Language, and Writing. Titles like Presentations and Public Speaking, Essays and Term Papers, Resumes and Cover Letters, and Test Prep give you what it takes to find success in college and beyond. Outlines and summaries cover key points, while diagrams and tables make difficult concepts easier to digest (SparkNotes, s.f.).

Por lo anterior, el contenido de English Grammar de SparkCharts™ fue utilizado como criterio para contribuir a la conceptualización del DULM, que debe medir el EXEDII. En la Tabla IX se presentan los contenidos derivados de English Grammar.

 

Cuarta actividad

La última actividad seriada del ejercicio para construir una conceptualización consistió en la redacción del DULM.

La literatura sobre validez de los instrumentos de medición enfatiza la importancia de que el constructo que pretende medir un examen sea claramente definido (por ejemplo Messick, 1993; Popham, 1990). Por ello, deben hacerse todos los esfuerzos necesarios para lograr una definición adecuada del constructo a medir. Considerando que la definición del constructo del EXEDII, utilizada para su diseño y construcción es demasiado general para guiar el proceso de validación de contenido, se hizo necesario elaborar una conceptualización de lo que debería medir este examen, a juzgar por los expertos ya que ésta constituye la definición explícita del constructo del EXEDII.

A continuación se presenta la conceptualización y caracterización del Dominio de Uso de la Lengua Meta (DULM) de los sustentantes para el EXEDII, de acuerdo con sus ideas expresadas por los participantes:

• La demostración de habilidades comunicativas en situaciones generales, que pueden incluir tareas en ambientes laborales, escolares, turísticos y sociales.

• En esas situaciones deben ser capaces de mantener una conversación sencilla con interlocutores angloparlantes, ya sean nativos o no nativos, en situaciones cara a cara o en pequeños grupos, cuando los interlocutores hablan relativamente despacio y muestran paciencia para escucharlos.

• En este tipo de situaciones los sustentantes pueden comprender el tema general del que se está hablando, así como algunos detalles cuyo significado e intencionalidad derivan del contexto, apoyándose en sus habilidades en la lengua materna.

• También pueden comprender asuntos abstractos o culturales que les son familiares, particularmente en situaciones de intercambio comunicativo con sus pares, o con personas conocidas donde se expresan diferentes puntos de vista, opiniones y argumentos con respecto al pasado, presente y futuro, siempre que se trate de temas conocidos, pudiendo formular preguntas y realizar intervenciones breves.

• Comprender preguntas de un interlocutor como la solicitud de información sobre su persona, familia y actividades diarias, así como de otros temas que les son conocidos.

• En situaciones como la vida escolar son capaces de entender las instrucciones generales que se dan en la clase y las tareas que deja el profesor.

• Tratándose de situaciones laborales, son capaces de captar la solicitud de un cliente y ofrecer ayuda o consejo en asuntos simples y dentro de su área de trabajo.

• En situaciones de comunicación no interactiva, son capaces de entender la idea general de estímulos tales como anuncios, noticias, radio, televisión y cine o letras de canciones.

• En las diferentes situaciones de comunicación, son capaces de discriminar el registro formal o informal (P. ej. el lenguaje formal de una conferencia o el coloquial entre amigos)

• Las habilidades de comprensión lectora de los sustentantes del EXEDII incluyen la comprensión de la idea general y detalles derivados del contexto en una variedad de textos como por ejemplo informativos, de divulgación, textos de naturaleza descriptiva, narrativa y discursiva con información de rutina y/o de divulgación.

• Si se trata de textos con información no rutinaria, comprenden los relativos a temas que les resultan conocidos, como académicos de su área, pasatiempos, deportes.

• Pueden comprender cartas o notas sobre temas conocidos o predecibles, así como instrucciones y mensajes básicos, como por ejemplo los catálogos computarizados de bibliotecas.

• Comprenden también textos sencillos en periódicos, cartas rutinarias en hoteles y servicios en general, textos sobre opiniones personales y pueden realizar intercambio de notas y solicitudes cortas con colegas o conocidos, en temas de su área de trabajo, personales o escolares.

• En el ambiente escolar entienden la idea general de ensayos, artículos o reportes sobre temas técnicos o académicos, siempre que se refieran a su área de estudio o trabajo. Pueden entender detalles específicos de temáticas que les son conocidas.

• En cuanto a la estructura del idioma, conocen reglas gramaticales que le permiten comunicarse si se trata de eventos del pasado, presente y futuro, aunque pueden cometer errores de sintaxis, precisión, alcance y pronunciación. Su vocabulario es limitado, pero suficiente para la comunicación de temas conocidos.

 

IV. Discusión y conclusiones

El propósito de este trabajo fue ofrecer una metodología que facilitara la tarea de definir el constructo de un examen de idiomas. Los estudios de validación de instrumentos de medición psicológicos y educativos, así como la literatura teórica sobre la validez de los mismos enfatizan la necesidad de definir con claridad el constructo del examen, como el caso de ejemplo Heaton, 1988; Popham, 1990; Messick, 1993; Nitko, 1994; Bachman y Palmer, 1996; Wang, Bachman, Carr, Kamei, Kim, y Llosa, 2000. Posiblemente, el paso más importante, pero también el más difícil al definir el constructo que debe de medir un instrumento psicológico o educativo es la definición misma del constructo.

La propuesta metodológica que aquí se presenta tiene las siguientes cualidades:

• Aborda la tarea de la definición del constructo del examen desde un enfoque comunicativo, sin prescindir de la utilidad de evaluar los conocimientos de la estructura de la lengua.

• Parte de una definición general del constructo del examen, definición que se hace operacional para facilitar una evaluación adecuada del examen.

• Las estrategias de la metodología parten de la consideración del constructo como un Uso del lenguaje.

• Conceptuar el constructo como un Uso del lenguaje disminuye el error de asumir que las palabras tienen un significado fijo, y permite tomar en cuenta las características más importantes del evaluando, así como las de las situaciones de la vida real en las que se hace uso del lenguaje.

• Evita la circularidad en la evaluación de la validez del contenido del examen, al no utilizar el mismo criterio para su construcción y su validación, proporcionando un criterio alternativo, hecho "a la medida".

• Toma en cuenta los contenidos de los estándares internacionales correspondientes al nivel y tipo de lenguaje evaluado.

• Ayuda a acotar y adaptar el contenido de los estándares internacionales de acuerdo con las características de los sustentantes, con base en el conocimiento directo que los expertos elegidos tienen de aquellos, así como de los posibles usos del lenguaje que tendrían en la vida profesional.

• Ayuda a adaptar el contenido de los estándares internacionales, proporcionando el conocimiento de las características socioculturales de los sustentantes y del tipo de usos de lenguaje potenciales.

La metodología propuesta no es original en sus componentes, lo que la hace novedosa es la combinación de los mismos, a fin de facilitar una tarea tan importante como compleja, en la construcción y validación de instrumentos de medición en las ciencias sociales.

 

Referencias

Alvarez-Gayou, J. L. (2005). Cómo hacer investigación cualitativa. México: Paidós.         [ Links ]

American Council of Teachers of Foreign Languages (1985). ACTFL Proficiency Guidelines [Versión electrónica], Hastings-on-Hudson, NY: ACTFL Materials Center. Consultado el 26 de enero de 2007 en: http://www-01.sil.org/lingualinks/LANGUAGELEARNING/OtherResources/ACTFLProfi%20ciencyGuidelines/ACTFLProficiencyGuidelines.htm        [ Links ]

Anastasi, A. (1977). Tests psicológicos (3^a. ed.). México: Aguilar.         [ Links ]

Association of Language Testers in Europe (2006). Overall general ability, Social & Tourist typical abilities, Work typical abilities, Study typical abilities. En: Framework and Can-Do. Consultado el 26 de enero de 2007 en: http://www.alte.org/cando/general.php        [ Links ]

Association of Language Testers in Europe (2007). University of Cambridge Examinations (Cambridge ESOL). Consultado el 3 de octubre de 2007 en el sitio Web: http://www.alte.org/members/english/index.php        [ Links ]

Bachman, L. & Palmer, A. (1996). Language testing in practice. Oxford:Oxford University Press.         [ Links ]

Chomsky, N. (1970). Aspectos de la teoria de la sintaxis (Trad. C.P. Otero). Madrid: Aguilar. (Trabajo original publicado en 1965).         [ Links ]

Cureton, E. E. (1951). Validity. En: Ward, A. W., Stoker, H. W., Murray-Ward, M. (Eds., 1996). Educational Measurement: Origins, Theories and Explications: Basic concepts and theories (Vol.1) (pp. 133-178). NY: University Press of America.         [ Links ]

Halliday, M. A. K. (1994). El lenguaje como semiótica social. México: FCE (Trabajo original publicado en 1978).         [ Links ]

Heaton, J. B. (1988). Writing English Language Tests. Nueva York: Longman.         [ Links ]

Hernández Rojas, G. (2005). La comprensión y la composición del discurso escrito desde el paradigma histórico-cultural. Perfiles educativos [online], 27 (107), 85-117. Consultado el 5 de octubre de 2007. Disponible en: <http://scielo.unam.mx/scielo.php?script=sci_arttext&pid=S0185-26982005000000005&lng=es&nrm=iso>. ISSN 0185-2698.

Hymes, D. (1971). Competence and performance in linguistic theory. En: R. Huxley y E. Ingram (Eds.) Language Acquisition: Models and Methods (pp. 3-24). Nueva York: Academic Press.         [ Links ]

Loera Varela, A. (2000). Los grupos de enfoque en la investigación cualitativa. INDES-BID. Disponible en: http://www.google.com.mx/search?hl=&q=grupos+enfoque&metaLinks ]google.com.mx/search?hl=&q=grupos+enfoque&meta=www-01.sil.org/lingualinks/LANGUAGELEARNING/OtherResources/ACTFLProfi%20ciencyGuidelines/ACTFLProficiencyGuidelines.htm">=

Messick, S. (1993). Validity. En R. L. Linn (Ed.). Educational Measurement (pp. 13-103). Phoenix: AmericancCouncil on Education & The Orix Press, American Council on Education.         [ Links ]

Nitko, A. J. (1994, julio). A Model for Development Curriculum-Driven Criterion-Referenced and Norm-Referenced Examination for Certification and Selection of students. Documento presentado en la Conference of Education, Evaluation and Assessment for the Association Studies of Educational Evaluation in Sudafrica (ASEESA). Sudáfrica.         [ Links ]

Piaget, J. (1984). El lenguaje y el pensamiento del niño pequeño. (Traducción de Elba Mendolia). Barcelona: Paidós. (Trabajo original publicado en 1924).         [ Links ]

Popham, W. J. (1990). Modern Educational Measurement: A practitioner's Perspective. Washington: Allyn & Bacon.         [ Links ]

Purpura, J. E. & Pinkley, D. (1991). On Target 2. Scott Foresman English, Intermediate level. (2^a. ed.). EUA: Pearson Education        [ Links ]

Real Academia Española (2001). Diccionario de la lengua española (22^a. ed.). Consultado el 2 de octubre de 2007 en: http://buscon.rae.es/drae        [ Links ]

Skinner, B. F. (1957/1981). Conducta Verbal. México: Trillas.         [ Links ]

SparkNotes (s.f.). English Grammar SparkCharts^TM. Barnes & Noble. Consultado el 3 de octubre en: http://search.barnesandnoble.com/booksearch/isbninquiry.asp?z=y&cds2Pid=6678&isbn=1586636456        [ Links ]

Wang, L., Bachman, L. F., Carr, N., Kamei, G., Kim, M. & Llosa, L. (2000, march). A cognitive-psychometric approach to construct validation of Web-based language assessment. Work-in-progress. Documento presentado en el 22th Annual Language Testing Research Colloquium, Vancouver, BC, Canada.         [ Links ]

Widdowson, H. G. (1978). Teaching Language as Communication. Oxford: Oxford University Press.         [ Links ]