Resumen de Oral-based rubrics design: a case study with undergraduate Spanish students in ESP settings

Carolina Girón García, Claudia Llopis-Moreno

• español

  Durante varias décadas se ha prestado mucha atención a los procedimientos de evaluación de exámenes orales. Posiblemente, la razón de este énfasis radique en las dificultades que existen al tratar el tema de la evaluación de exámenes orales y en el tipo apropiado de evaluación (Campbell et al., 2001; Stoynoff, 2013; Schwartz & Arena, 2013). El principal objetivo de este artículo es analizar hasta qué punto las competencias orales de los estudiantes (tales como su competencia en lengua inglesa y su fluidez) afectan la producción oral en inglés de sus compañeros. Más concretamente, pretendemos estudiar procedimientos efectivos para evaluar la producción oral en contextos de ESP. Para evaluar a nuestros estudiantes, hemos diseñado una rúbrica para evaluar competencias orales como instrumento principal (llamada “Test de diagnóstico de orales”), basada en investigaciones previas (Wilson, 2006; Spandel, 2006). Un total de 10 participantes fueron seleccionados en el primer curso académico de la “Universitat Jaume I” (España). Para llevar a cabo nuestra investigación se utilizaron dos instrumentos distintos para la recogida de datos: (1) Un “Cuestionario del Estudiante” para reflejar las preferencias de los estudiantes hacia la realización de un examen oral con sus compañeros, y (2) Un “Test de Diagnóstico Oral” para evaluar la producción oral en inglés de los estudiantes en referencia a las siguientes variables: fluidez, vocabulario, gramática, pronunciación, coherencia, y habilidad comunicativa. Los resultados obtenidos de ambos cuestionarios nos ayudará a identificar hasta qué punto las preferencias de los estudiantes hacia trabajar con otros compañeros influencian su producción oral en inglés y por tanto hasta qué punto estos resultados podrían conducirnos a una reformulación y modificación de los métodos de evaluación.

• English

  During several decades, considerable attention has been paid to speaking assessment procedures. Probably, the reason for this relevance lies in the difficulties in dealing with oral assessment and in determining the adequate type of assessment (Campbell, Mothersbaugh, Brammer & Taylor, 2001; Stoynoff, 2013; Schwartz & Arena, 2013). The main aim of this article is to analyze to what extent students’ oral competences (such as their English competence and fluency) affect their peers’ English oral production. More precisely, we intend to study effective procedures to assess oral production in ESP contexts. In order to assess our students, we have designed a speaking-based rubric as the main instrument (called ‘Speaking Diagnostic Test’), based on previous research (Wilson, 2006; Spandel, 2006). A total number of 10 participants were selected in the 1st year course at Universitat Jaume I (Spain). In order to carry out our investigation two different instruments were used for data collection: (1) A ‘Student Questionnaire’ to reflect students’ preferences towards taking an oral exam with their peers; and a (2) ‘Speaking Diagnostic Test’ so as to assess students’ oral production in English concerning the following variables: fluency, vocabulary, grammar, pronunciation, coherence, and communicative ability. The results obtained from both questionnaires will help us identify to what extent students’ preferences in working with other classmates influence their English oral production and therefore to what extent these results could lead to the reformulation and modification of the assessment methods.

• français

  Depuis plusieurs décennies, elle a prêté beaucoup d'attention aux procédures d'évaluation de l'examen oral. Peut-être, la raison Styx en raison des difficultés qui existent pour traiter la question de l'évaluation des examens oraux et le type d'évaluation approprié. (Campbell et al, 2001;. Stoynoff, 2013; Schwartz & Arena, 2013). L'objectif principal de cet article est d'analyser la mesure dans laquelle les compétences orales des élèves (et leurs compétences linguistiques en anglais et maîtrise) affectant la production orale en anglais de leurs collègues. Plus précisément, nous visons à étudier des procédures efficaces pour l'évaluation de la production orale dans des contextes ESP. Pour évaluer nos élèves, nous avons conçu une grille pour évaluer les compétences orales comme instrument principal (appelé "test diagnostique oral"), basé sur des recherches antérieures (Wilson, 2006; Spandel, 2006). Un total de 10 participants ont été sélectionnés dans la première année académique de la "Universitat Jaume I" (Espagne). Pour mener à bien notre recherche deux instruments ont été utilisés: (1) Un «Questionnaire de l'élève» afin de refléter les préférences des étudiants vers l'achèvement d'un examen oral avec leurs pairs, et (2) «test de diagnostic Oral "pour évaluer la production orale en anglais des étudiants concernant les variables suivantes: compétences fluidité, vocabulaire, grammaire, la prononciation, la cohérence et de la communication. Les résultats des deux enquêtes permettront d'identifier comment les préférences des étudiants concernant travailler avec d'autres collègues influencent leur production orale en anglais et donc la mesure dans laquelle ces résultats pourraient conduire à une reformulation et de modification des méthodes évaluation.

• català

  Durant varies dècades s’ha prestat molta atenció als procediments d’avaluació d’exàmens orals. Possiblement, la raó estigi deguda a les dificultats que existeixen al tractar el tema de l’avaluació d’exàmens orals i el tipus d’avaluació apropiat. (Campbell et al., 2001; Stoynoff, 2013; Schwartz & Arena, 2013). El principal objectiu d’aquest article és analitzar fins a quin punt les competències orals del estudiants (com la seua competència en llengua anglesa i la fluïdesa) afecten a la producció oral en anglès del seus companys. Més concretament, el que pretenem és estudiar procediments efectius per avaluar la producció oral en contextos ESP. Per avaluar els nostres estudiants, hem dissenyat una rúbrica per avaluar competències orals com instrument principal (anomenada “Test de diagnòstic d’orals”), basada en investigacions prèvies (Wilson, 2006; Spandel, 2006). Un total de 10 participants van ser seleccionats en el primer curs acadèmic de la “Universitat Jaume I” (Espanya). Per portar a terme la nostra investigació dos instruments foren utilitzats: (1) Un “Qüestionari del Estudiant” per reflectir les preferències dels estudiants cap a la realització d’un examen oral amb els seus companys, i (2) Un “Test de Diagnòstic Oral” per avaluar la producció oral en anglès dels estudiants en referència a les següents variables: fluïdesa, vocabulari, gramàtica, pronunciació, coherència, i habilitat comunicativa. Els resultats obtinguts d’ambdós qüestionaris ens ajudaran a identificar fins a quin punt les preferències dels estudiants respecte de treballar amb altres companys influeixen la seua producció oral en anglès i per tant fins a quin punt aquests resultats podrien suposar una reformulació i modificació dels mètodes d’avaluació.