Resumen de The failure of the U.S. education research establishment to identify effective practices: Beware effective practices policies
- español
Uno de los más grandes éxitos de los métodos cuantitativos avanzados han sido su aparente capacidad de proveer determinaciones imparciales de cuáles son las prácticas educativas eficaces para la educación y para mejorar el rendimiento académico y las oportunidades de los estudiantes más necesitados. Tal como se aplica en las revistas de investigación de la educación más destacadas, el poder ha resultado en la implementación federal y estatal de póliticas de prácticas efectivas. En tales políticas, el gobierno o su representante determinan qué programas son efectivos y después requieren que las escuelas gasten sus fondos exclusivamente en programas científicamente comprobados. Por ejemplo, una iniciativa federal requiere que aquellos que solicitan subvención del gobierno hayan tenido su intervención validada como efectiva por el What Works Clearinghouse (WWW). Al momento algunos están proponiendo que todos los fondos federales se restrinjan a los programas que la investigación ha demostrado ser efectivos. Mientras parece ser una pólitica racional, entre 1998 y 2002 produje una serie de artículos que demuestran que el programa más validado para desarrollar las habilidades de lectura de los estudiantes nacidos en pobreza no era realmente efectivo en práctica. ¿Sera que esta dicotomía que dice que las investigaciones publicadas y científicamente comprobadas que han demostrado ser efectivas son el estándar de oro en el mundo real, es una anomalía única o será una manifestación más perversiva? Este artículo (a) analiza en un lenguaje fácil de entender la validez de la metodología científica estandarizada y utilizada por las revistas principales de investigación y el WWC para determinar si las prácticas son efectivas, y (b) examina el historial de póliticas de prácticas efectivas y su eficacia real y actual. Concluyo que los métodos cuales son cada vez más sofisticados utilizados para evaluar la eficacia de las prácticas (a) son defectuosos y exageran la efectividad real, y (b) no proporcionan el tipo de información que necesitan los profesionales. Como resultado, la investigación sobre prácticas engaña en lugar de informar a la práctica y son una de las razones principales por las que los esfuerzos para reformar las escuelas de alta pobreza han tenido un éxito limitado. Por lo tanto, concluyo que las póliticas de prácticas efectivas no deben ser implementadas y sugiero ideas para reformar el proceso científico utilizado para evaluar la eficacia de las intervenciones educativas.
- English
One of the major successes of advanced quantitative methods has been its seeming ability to provide unbiased determinations of which education practices are effective for education in general and for improving the educational achievement and opportunity of the neediest students. The power of this methodology as applied in the top education research journals has led to periodic implementation of federal and state effective practices policies. In such policies the government or its proxy determines which programs are effective and then requires or encourages schools to spend its funds exclusively on those proven programs. For example, the federal Investing in Innovation (i3) initiative requires those applying for its largest dissemination grants to have had their intervention validated as effective by the What Works Clearinghouse (WWC). Some are now even advocating that all expenditures of federal funds by school districts be restricted to purchasing research validated programs. While this seems like rational policy, between 1998 and 2002 I produced a series of articles that showed that the most research validated program to develop the reading skills of students born into poverty was not actually effective in practice. Was this dichotomy between published research proving something to be effective and what was happening in the real world an anomaly or a more widespread problem? This article (a) analyzes the validity of the gold standard scientific methodology used by the top research journals and WWC to determine whether practices are effective, and (b) examines the history of effective practices policies and their actual effectiveness. I conclude that the increasingly sophisticated methods used to assess the effectiveness of practices (a) are flawed and exaggerate actual effectiveness, and (b) do not provide the type of information practitioners need. As a result, research on effective practices tends to mislead rather than inform practice and are a major reason why efforts to reform high-poverty schools have had limited success. I therefore conclude that effective practices policies should not be implemented. I then suggest ideas for reforming the scientific process used to assess the effectiveness of education interventions.
- português
Um dos maiores sucessos de métodos quantitativos avançados têm sido sua aparente capacidade para fornecer determinações imparciais de que práticas educacionais eficazes para a educação e para melhorar o desempenho académico e oportunidades para os alunos mais necessitados. Quando aplicado em periódicos da educação mais notável de pesquisa, poder resultou na implementação de políticas federais e estaduais de práticas eficazes. Em essas políticas, o governo ou o seu representante determinar quais programas são eficazes e, em seguida, exigem que as escolas de gastar os seus fundos exclusivamente em programas cientificamente comprovados. Por exemplo, uma iniciativa federal exige aqueles que procuram subsídio do governo foram validados tão eficaz a sua intervenção pelo o What Works Clearinghouse (WWW). Quando alguns estão propondo que todos os fundos federais são restritas a programas que a investigação tem demonstrado ser eficaz. Embora pareça uma política racional entre 1998 e 2002, produziu uma série de artigos que mostram que a validado para desenvolver as habilidades de leitura dos estudantes nascidos no programa de pobreza não foi muito eficaz na prática. Será que esta dicotomia que diz pesquisa publicada e comprovado cientificamente que provaram ser eficazes são o padrão ouro no mundo real, é uma anomalia única ou ser um perversiva manifestação? Este artigo (a) analisa em uma linguagem fácil de entender a validade da metodologia científica padronizada e utilizado pelos principais revistas científicas e WWC para determinar se as práticas são eficazes, e (b) examina a história das políticas de práticas eficazes ea sua eficácia real e atual. Concluo que os métodos que são cada vez mais sofisticados utilizados para avaliar a eficácia das práticas (a) são defeituosos e exagerar a eficácia real, e (b) não fornecem o tipo de informação necessária por profissionais. Como resultado, a investigação sobre a prática engana ao invés de informar a prática e são uma das principais razões pelas quais os esforços para reformar as escolas de alta pobreza tiveram sucesso limitado. Portanto, concluo que as políticas eficazes não deve ser implementado práticas e sugerir ideias para a reforma do processo científico utilizado para avaliar a eficácia das intervenções educativas.
