Resumen de Focusing on Short-term Achievement Gains Fails to Produce Long-term Gains

David W Grissmer, John A. Beekman, David R Ober

• español

  El énfasis de corto plazo generada por la ley NCLB ha centrado principalmente la investigación en desentrañar las complejidades e incertidumbres en la evaluación de resultados a corto plazo, en lugar de desarrollar métodos y evaluación de los resultados a más largo plazo. En este artículo nos centramos en la estimación de ganancias a largo plazo y tratamos cuestiones importantes para la evaluación de las escuelas y la identificación de las políticas y prácticas educativas que producen mejoras sostenidas a largo plazo. Se realizan estimaciones de los índices de aprobación en exámenes estatales anuales utilizando modelos de efectos fijos para los seis años en los grados 3 , 6, 8 y 10 con índices de aprobación.  Se determinaron los índices de aprobación de los porcentajes de escuelas con mejoras estadísticamente significativas, mejoras, empeoramiento y empeoramiento estadísticamente significativo. Las estimaciones se contrastaron utilizando modelos que incluyen y no incluyen características demográficas. Los porcentajes de las escuelas con las mejoras estadísticamente significativas variaron notablemente 38-6 en los grados 6 y 10 respectivamente , y el porcentaje de escuelas con empeoramientos estadísticamente significativos varió de menos del 8 por ciento en los grados 3, 6 y 8 , hasta 23 por ciento en el grado 10. Incluyendo datos demográficos se aumentó los porcentajes de las escuelas con mejoras estadísticamente significativas y se disminuyó los porcentajes con empeoramiento estadísticamente significativos. Los resultados sugieren que las escuelas con mayores proporciones de estudiantes que reciben subsidios de almuerzo y con estudiantes de minorías son más propensos a tener ganancias estadísticamente significativas con los controles demográficos. Las estimaciones de la evolución del tipo de paso se realizan utilizando simulaciones de Monte Carlo, a partir de estas simulaciones se determinan los porcentajes de las escuelas que pueden ser mal identificadas como teniendo ganancias y pérdidas significativa . Incluso con seis años de datos sobre tendencias, los resultados sugieren que el azar todavía puede jugar un papel significativo en la medición del rendimiento escolar, especialmente en los grados que tienen tendencias generales de mayor debilidad

• português

  O foco no curto prazo gerado pela NCLB fez que a pesquisa seja focada principalmente para desvendar as complexidades e incertezas na avaliação de resultados de curto prazo, em vez de desenvolver métodos e avaliação de resultados no longo prazo. Neste artigo vamos nos concentrar na estimativa de ganhos a longo prazo e tratar questões importantes para a avaliação das escolas e a identificação de políticas e práticas educacionais que produzem melhorias sustentaveis a longo prazo. Estimativas dos índices de aprovação foram realizadas em testes anuais estaduais, utilizando modelos de efeitos fixos para os seis anos nas classes 3, 6, 8, e 10  com índices de aprovação. Foram determinadas os índices de aprovação do percentual de escolas com melhorias estatisticamente significativas, melhorias, retrocessos, e retrocessos estatisticamente significativos. As estimativas foram comparadas com modelos que incluem e excluem características demográficas. Os percentuais de escolas com melhorias estatisticamente significativas variaram acentuadamente de 38 a 6 nas classes 6 e 10, respectivamente, bem como a percentagem de escolas com retrocessos significativos variou de menos de 8 por cento em notas 3, 6 e 8-23 por cento no grau 10. Incluindo dados demográficos os percentuais de escolas com melhorias estatisticamente significativas foram aumentados e percentagens retrocessos estatisticamente significativos diminuíram. Os resultados sugerem que as escolas com maior proporção de estudantes que recebem subsídios de almoço e estudantes de minorias são mais propensos a ter ganhos estatisticamente significativos com controles demográficos. As estimativas da evolução da etapa são realizadas por meio de simulações de Monte Carlo, e com base nessas simulações o percentual de escolas que podem ser erroneamente identificado como tendo ganhos e perdas significativas foram determinados. Mesmo com seis anos de tendência de dados, os resultados sugerem que a sorte ainda pode desempenhar um papel significativo na medição de desempenho escolar, especialmente nas series que tem tendências gerais a serem mais fracas.

• English

  The short-term emphasis engendered by No Child Left Behind (NCLB) has focused research predominantly on unraveling the complexities and uncertainties in assessing short-term results, rather than developing methods and assessing results over the longer term. In this paper we focus on estimating long-term gains and address questions important to evaluating schools and identifying educational policies and practices that produce long-term sustained gains. Estimates are made of annual pass rates on state exams using fixed effect models for six years of pass rates at grades 3, 6, 8 and 10; the percentages of schools making statistically significant gains, gains, losses, and statistically significant losses in pass rates are determined. Estimates are contrasted using models that include and exclude demographic characteristics. The percentages of schools with statistically significant gains varied markedly from 38 to 6 at grades 6 and 10, respectively; the percentage of schools with statistically significant declines ranged from less than 8 percent at grades 3, 6, and 8, to 23 percent at grade 10. Including demographics increased the percentages of schools with statistically significant gains and lowered the percentages with statistically significant declines. The results suggest that schools with higher proportions of free-reduced lunch and minority students are more likely to have statistically significant gains with demographic controls. Estimates of pass rate trends are made using Monte Carlo simulations; from these simulations the percentages of schools that may be mislabeled as having statistically significant gains and losses are determined. Even with six years of trend data, results suggest that chance can still play a significant role in mislabeling school performance, especially in grades having weak overall trends.