Resumen de Trajectories and regimes in research versus knowledge evaluations: Contributions to an evolutionary theory of citation

Loet Leydesdorff, Lin Zhang, Paul Wouters

• español

  El análisis de citas puede proporcionarnos modelos de la dinámica evolutiva en la comunicación académica y científica. Proponemos distinguir entre la evaluación de la investigación institucional (generalmente, ex post) y la evaluación del conocimiento ex ante, en relación con la direccionalidad en el análisis de citas. Discutimos la bibliografía teórica sobre los sistemas de comunicación que distingue entre información y significado, en la que el concepto de redundancia juega un papel importante como medida del potencial de un sistema de comunicación. Esta es la base de un modelo de dinámica del conocimiento que diferencia entre la variación observable y los entornos de selección latente. Utilizamos indicadores a nivel de revista y analizamos los entornos de citación de las revistas tanto en la dirección citada como en la citante. Entre las revistas, la dirección de citación puede analizarse por co-citación e indica la integración de conocimientos de diferentes campos. La dirección citada puede analizarse de manera análoga por acoplamiento bibliográfico y representa la medida en que la revista citada se ha vuelto relevante para diferentes disciplinas, por lo tanto, indica la difusión del conocimiento. Aplicamos este análisis en tres estudios de casos diferentes de relaciones entre revistas: un estudio a pequeña escala de la revista Public understanding of science, una muestra aleatoria de 100 revistas y un análisis a gran escala del conjunto de revistas de los JCR 2016. Combinados, los resultados parecen confirmar la hipótesis de que la interdisciplinariedad no puede ser capturada por un análisis de citas unidimensional. Tanto las direcciones citantes como las citadas son relevantes para las evaluaciones de conocimiento e investigación, respectivamente. Planteamos la pregunta de si se pueden desarrollar indicadores de interdisciplinariedad combinando ambas direcciones en el análisis de citas, indicamos más investigaciones y discutimos las implicaciones normativas de nuestros resultados preliminares.

• English

  Citation analysis can provide us with models of the evolutionary dynamics in scholarly and scientific communication. We propose to distinguish between institutional research evaluation (usually, ex post) and knowledge evaluation ex ante, in relation to directionality in citation analysis. We discuss the theoretical literature on communication systems which distinguishes between information and meaning, in which the concept of redundancy plays an important role as measure of the potential of a communication system. This is the basis for a model of knowledge dynamics which differentiates between observable variation and latent selection environments. We use indicators at the journal level and analyze the citation environments of journals in both the cited and citing directions. Among journals, the citing direction can be analyzed by co-citation and indicates the integration of knowledge from different fields. The cited direction can analogously be analyzed by bibliographic coupling and represents the extent to which the cited journal has become relevant for different disciplines, hence indicates knowledge diffusion. We apply this analysis on three different case studies of journal-journal relations: a small scale study of the journal Public Understanding of Science, a random sample of 100 journals, and a large-scale analysis of the set of JCR 2016 journals. Combined, the results seem to confirm the hypothesis that interdisciplinarity cannot be captured by one-dimensional citation analysis. Both citing and cited directions are relevant for knowledge and research evaluations, respectively. We raise the question whether indicators of interdisciplinarity can be developed by combining both directions in citation analysis, indicate further research, and discuss the normative implications of our preliminary results.