Le peer review à l’ère de l’open science : enjeux et évolutions

Publié le par

Argumentaire

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

La journée d’étude n’est pas filmée.

Programme

8h45-9h : accueil des participants

9h-9h15 : allocution de bienvenue, Nicolas Roussel, directeur du Centre Inria Bordeaux-Sud-Ouest

« Peer Community in : un système de recommandation public et gratuit de preprints » ; Thomas Guillemaud (Inra)

9h15-10h

« Pour offrir une alternative au système actuel de publication – qui est notamment coûteux et peu transparent – nous avons initié le projet Peer Community in (PCI). PCI repose sur la publication d’évaluations critiques et de recommandations d’articles non encore publiés, mais déposés – et gratuitement accessibles – sous forme électronique dans des archives ouvertes disponibles sur internet. Ces évaluations et recommandations sont réalisées bénévolement par les chercheurs sans aucun lien avec des éditeurs privés.

Les frais de publication disparaissent : PCI offre la possibilité de valider, diffuser et consulter gratuitement les articles qui lui sont soumis. Les délais d’accès à l’information sont nuls : les articles scientifiques évalués sont déposés dans les archives ouvertes dès la fin de leur écriture. Le système devient transparent : les critiques, les décisions éditoriales, les réponses des auteurs et les recommandations sont publiées sur le site de la communauté scientifique concernée. » D. Bourguet, T. Guillemaud

10h-10h15 : échanges avec le public

10h15-10h35 : pause café

Valoriser le travail des reviewers : retours d’expérience autour du dépôt en accès libre des avis (Publons, etc.) ; chercheurs invités : Florence Débarre (Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS). Animateur de la table-ronde : Hervé Maisonneuve (médecin et consultant, rédacteur du blog « Rédaction médicale et scientifique »).

10h35-11h15

Publons a pour ambition de valoriser l’activité des reviewers, encore peu reconnue dans l’évaluation des chercheurs. Chaque rapporteur peut ainsi rendre publique son activité. La plateforme est interfacée avec Orcid pour que l’ensemble de l’activité de recherche soit documentée de manière centralisée. D’autres solutions seront également évoquées.

11h15-11h30 : échanges avec le public

« Le futur du peer review en sciences du vivant et de la santé » ; Hervé Maisonneuve (médecin et consultant, rédacteur du blog « Rédaction médicale et scientifique »)

11h30-12h

« Le peer review est accusé de tous les maux (lent, inefficace, biaisé), mais il n’y a pas mieux ! Le peer review ouvert semble satisfaire certaines communautés, mais il est refusé par d’autres. Valoriser le travail de relecture pourrait améliorer la qualité du peer review, mais cela doit être démontré. Des revues utilisent un modèle appelé ‘Registered Reports’ : les chercheurs soumettent l’introduction et les méthodes et le comité de rédaction donne une acceptation sous réserve. Le chercheur conduit ses expériences, et que les résultats soient positifs ou négatifs, ils seront publiés, après une relecture pour s’assurer de la cohérence de l’article avec les objectifs initiaux. Ce modèle a des variantes. A long terme, l’intelligence artificielle pourrait remplacer des relecteurs, et faire aussi bien voire mieux. » H. Maisonneuve

12h-12h15 : échanges avec le public

12h15-14h : buffet sur place offert

« Emergent Scientist : une initiation par la pratique à la publication scientifique » ; Arnaud Raoux (Ecole Normale Supérieure, Ulm)

14h-14h30

« La publication scientifique est très largement absente des formations universitaires, et les étudiants qui achèvent leurs études avant le doctorat n’ont presque aucune occasion de se familiariser avec la lecture, l’écriture ou l’évaluation d’articles de recherche. Pourtant, il est indispensable de connaitre le fonctionnement de la publication scientifique pour comprendre le fonctionnement des sciences sur lesquelles reposent nos sociétés.

Emergent Scientist (EmSci) est un journal open access créé par la Société Française de Physique et EDP Sciences pour répondre à ce besoin. Lancé en Septembre 2017, EmSci reprend la structure classique d’un journal à comité de lecture, en adaptant ses procédures et critères d’évaluation pour permettre à des étudiants de publier leurs travaux et de s’impliquer à toutes les étapes du journal, de la lecture à l’édition.

Dans cet exposé, je présenterai ce journal, depuis sa conception jusqu’à son lancement, en soulignant les préoccupations pédagogiques de ce projet. » D. Suchet, A. Raoux

14h30-14h45 : échanges avec le public

« Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication » ; Isabel Bernal (Unit of Information Resources for Research, Spanish National Research Council)

14h45-15h05

« DIGITAL.CSIC, the Open Access repository of the Spanish National Research Council, launched an Open Peer Review Module in April 2016. The module falls within the range of the repository’s activities to advance Open Science and has contributed to open a debate as to opportunities for institutional repositories in a new scholarly evaluation and communication system. The talk will give an overview of how the module has been used thus far and perceptions by scientific community about current peer review crisis. » I. Bernal  

15h05-15h15 : échanges avec le public

15h15-15h30 : pause

« Voir, cacher, se cacher, être vu… Politiques de l’anonymat dans le journal peer review » ; David Pontille (CNRS, CSI-I3) et Didier Torny (CNRS, CSI-I3)

15h30-16h

« Faut-il rendre les auteurs et les évaluateurs d’articles anonymes afin de garantir l’objectivité des jugements ? Faut-il au contraire lever toute forme d’anonymat au nom de la transparence du processus d’évaluation ? Ou bien encore, faut-il que les évaluateurs sachent l’origine des articles afin d’en apprécier la pertinence et la qualité ? Dans cette communication, nous questionnerons l’évaluation par les pairs dans les revues à partir d’une approche diachronique des pratiques en vigueur dans différentes disciplines. Nous verrons que les politiques d’anonymat n’arbitrent pas uniquement les relations de visibilité entre auteurs et évaluateurs, mais revendiquent des valeurs morales contrastées du jugement scientifique.  » D. Pontille et D. Torny

16h-16h15 : échanges avec le public

Synthèse et conclusion de la journée par Nicolas Rougier (Inria)

16h15-16h30

Sources

  • Kovanis, Michail, Raphaël Porcher, Philippe Ravaud, and Ludovic Trinquart.  2016     The Global Burden of Journal Peer Review in the Biomedical Literature: Strong Imbalance in the Collective Enterprise. Lutz Bornmann, ed. PLOS ONE 11(11): e0166387.
  • Lawrence, Bryan, Catherine Jones, Brian Matthews, Sam Pepler, and Sarah Callaghan.  2011     Citation and Peer Review of Data: Moving Towards Formal Data Publication. International Journal of Digital Curation 6(2): 4–37.
  • Souder, Lawrence.  2011     The Ethics of Scholarly Peer Review: A Review of the Literature. Learned Publishing 24(1): 55–72.
  • Tennant, Jonathan P., Jonathan M. Dugan, Daniel Graziotin, et al.  2017     A Multi-Disciplinary Perspective on Emergent and Future Innovations in Peer Review. F1000Research 6: 1151.

Informations pratiques

Les commentaires sont fermés.