Évaluation par les pairs

Évaluation d'une proposition de financement par un spécialiste du NIH américain

Dans les disciplines scientifiques, l'évaluation par les pairs désigne l'activité collective des chercheurs qui jaugent de façon critique les travaux d'autres chercheurs (leurs « pairs »). Ces évaluations peuvent porter sur une recherche précise soumise pour publication dans une revue scientifique ou destinée à être présentée à une conférence mais elles peuvent aussi couvrir l'ensemble des travaux du chercheur ou du groupe de chercheurs évalués, notamment lors du recrutement d'un candidat à un poste ou lors de l'évaluation de projets de recherche par des institutions publiques (comme le CNRS) ou privées (comme une fondation). Pour les revues scientifiques, l'évaluation par les pairs est menée par des comités de lecture qui décident si le compte-rendu d'un travail de recherche soumis pour publication est acceptable ou non.

Présentation

L'évaluation par les pairs est un principe fondamental de la recherche scientifique, que ce soit pour les sciences dites « exactes » ou les sciences humaines et sociales. Elle est utilisée aussi bien pour ce qui concerne la publication d'articles dans des revues que pour le recrutement et l'avancement des enseignants-chercheurs. En France, la remise en cause de ce procédé d'évaluation par la loi LRU (2007) et ses décrets d'application est l'une des causes majeures de la mobilisation universitaire.

Les comités de lecture

Dans les sciences dites « exactes », les comités de lecture font partie intégrante de la démarche scientifique. Le parcours normal d'un nouveau résultat depuis sa découverte jusqu'à sa reconnaissance par la communauté scientifique passe en effet par la publication des travaux qui ont permis d'y aboutir dans des revues scientifiques où ils seront soumis à la critique des chercheurs travaillant dans le même domaine. Traditionnellement, la diffusion des travaux scientifiques se fait essentiellement au travers de conférences et de compte-rendus écrits qui, afin d'être acceptés, doivent d'abord faire l'objet d'une critique attentive par un nombre restreint d'experts nommés par l'organisateur de la conférence ou le comité éditorial de la revue scientifique. La même évaluation a lieu en ce qui concerne les revues scientifiques des sciences humaines et sociales. Néanmoins, une part plus importante du travail en ces domaines échappe aux revues, étant donné que celui-ci peut utiliser d'autres supports, en particulier les livres.

Certaines revues scientifiques ont poussé le système du comité de lecture jusqu'à inviter un très grand nombre voire l'ensemble des chercheurs du domaine à critiquer les articles qu'elles publient : c'est le commentaire ouvert aux pairs (anglais : open peer review). Seules les critiques jugées les plus intéressantes sont finalement publiées avec l'article original ainsi que, souvent, une réponse des auteurs à leurs critiques. C'est, par exemple, le cas de la revue Behavioral and Brain Sciences^[1].

L'apparition des systèmes de publications à accès ouvert a légèrement changé la donne en matière de diffusion scientifique. En effet, selon ce système, les articles soumis sont directement publiés et sont librement accessibles aux autres chercheurs sans avoir au préalable été évalués par un comité de lecture. Toutefois, ce système est parfois associé à un système de commentaires ouverts. Voir par exemple le site arXiv (prononcer archive). Dans le cas de l'arXiv cependant il existe quelques règles restreignant légèrement la soumission: en effet un article doit être soumis depuis une adresse électronique hébergée par une institution scientifique et un auteur publiant pour la première fois doit voir sa soumission endossée par une personne ayant déjà soumis avec succès un article.

Fonctionnement

Dans le cas d'une publication dans un journal scientifique, le manuscrit proposé par un ou plusieurs chercheurs est reçu par un des éditeurs du journal. Les éditeurs sont des personnalités du monde de la recherche, souvent bénévoles, dont le rôle est de choisir les membres du comité de lecture et d'assurer la communication entre ces relecteurs et les auteurs de l'article.

À la réception du manuscrit, l'éditeur décide, après une lecture rapide, si l'article est potentiellement publiable dans le journal. En fonction des critères de publication propres à chaque revue, la pertinence de la question évoquée et l'intérêt des résultats pour les lecteurs du journal sont évalués. La proportion de manuscrits renvoyés aux auteurs au cours de cette première phase est fortement dépendante de la sélectivité des journaux ; des journaux multidisciplinaires comme Nature ou Science par exemple disent rejeter 90% des articles à ce stade.^{[réf. nécessaire]}

Dans le cas où l'éditeur décide de poursuivre le processus, il contacte plusieurs (le plus souvent deux) spécialistes mondialement reconnus, dont le profil correspond aux thèmes et aux techniques abordés dans l'article. Ces spécialistes disposent alors de quelques semaines pour lire le manuscrit de manière approfondie et rédiger un rapport, abordant leur impression générale sur l'article, ainsi que leurs commentaires précis sur d'éventuelles erreurs ou imprécisions.

L'éditeur prend alors connaissance des rapports des membres du comité de lecture, et fait part aux auteurs de sa décision de publier ou non l'article. L'éditeur suit fréquemment l'avis des relecteurs, mais sa décision reste indépendante. En cas de doute (par exemple si les rapports sont manifestement contradictoires), l'éditeur peut faire appel à un troisième, voire un quatrième avis. Dans tous les cas, il transmet aux auteurs une lettre d'explications sur sa décision, ainsi qu'une copie des rapports. Outre l'acceptation et le rejet sans conditions, la décision peut être plus nuancée (acceptation sous réserve de corrections, ou encouragement à resoumettre une nouvelle version). Traditionnellement, les rapports sont anonymes, seul le nom de l'éditeur est connu des auteurs. Cependant, de plus en plus de journaux encouragent une gestion transparente du processus, et autorisent, voire imposent, la divulgation des noms des membres du comité de lecture.

Critiques

Une des critiques les plus courantes au sujet du processus d'évaluation par les pairs est qu'il est lent, et qu'il faut généralement plusieurs mois,  voire plusieurs années, dans certains domaines, pour qu'un article finisse par être publié^{[citation nécessaire]}. En fait, une grande partie des communications, dans certains domaines comme l'astronomie et l'économie, ne se fait plus à travers l'évaluation par les pairs, mais plutôt par « preprints » (prépublications) soumises sur des serveurs électroniques tels qu'arXiv.org ^{[citation nécessaire]}. Réciproquement, il arrive que des prépublications qui ont également été soumises à des revues à comité de lecture réussissent à passer par le processus d'évaluation et soient acceptées avant la « pré »-publication.^{[citation nécessaire]} 

Drummond Rennie, rédacteur en chef adjoint du Journal of the American Medical Association et organisateur du Congrès international sur l'évaluation par les pairs et la publication biomédicale (International Congress on Peer Review and Biomedical Publication), qui a lieu tous les quatre ans depuis 1986^[2] déclare, au sujet du contrôle par ce processus éditorial de ce qui est publié :

« Il semble qu'il n'y ait pas d'étude trop fragmentée, d'hypothèse trop triviale, de propos trop partiaux ou trop égoïstes, de protocoles d'études trop déformés, de méthodologies trop bâclées, de présentations des résultats trop imprécises, obscures et contradictoires, aucune analyse trop complaisante, aucun argument trop circulaire, aucune conclusion trop mince ou trop injustifiée, et pas de grammaire ou de syntaxe trop offensives. »^[3]

Richard Horton, rédacteur en chef de la revue médicale britannique The Lancet, a déclaré que 

« L'erreur, bien sûr, était de penser que l'évaluation par les pairs était plus qu'un moyen grossier de découvrir l'acceptabilité - pas la validité - d'une nouvelle découverte. Les éditeurs et les scientifiques insistent sur l'importance cruciale de l'évaluation par les pairs. Nous la dépeignons au public comme si c'était un processus quasi-sacré qui aide à faire de la science notre accès le plus objectif à la vérité. Mais nous savons que le système d'évaluation par les pairs est biaisé, injuste, non fiable, incomplet, facilement truqué, souvent insultant, souvent ignare, parfois bête, et souvent erroné »^[4]. 

Notes et références

1. ↑ Voir son site ici
2. ↑ Rennie D, Flanagin A, Smith R, Smith J, « Fifth International Congress on Peer Review and Biomedical Publication: Call for Research », dans JAMA, vol. 289, n^o 11, March 19, 2003, p. 1438 [texte intégral, lien DOI] 
3. ↑ Rennie D, Flanagin A, Smith R, Smith J, « Fifth International Congress on Peer Review and Biomedical Publication: Call for Research », dans JAMA, vol. 289, n^o 11, March 19, 2003, p. 1438 [texte intégral, lien DOI] . « There seems to be no study too fragmented, no hypothesis too trivial, no literature too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print. »
4. ↑ Horton, Richard, « Genetically modified food: consternation, confusion, and crack-up », dans MJA, vol. 172, n^o 4, 2000, p. 148–9 [texte intégral, lien PMID] . « The mistake, of course, is to have thought that peer review was any more than a crude means of discovering the acceptability — not the validity — of a new finding. Editors and scientists alike insist on the pivotal importance of peer review. We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller. But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong »

Voir aussi

• Revue scientifique
• Objectivité

Liens externes

• (en) Nature peer review debate June 2006
• (en) Fifth International Congress on Peer Review and Biomedical Publication
• (en) The Maharishi Caper: Or How to Hoodwink Top Medical Journals, The Newsletter of the National Association of Science Writers
• (en) Peer review and the acceptance of new scientific ideas (Warning: 469 kB PDF)
• (en) Sense About Science: Peer Review Features the PDF pamphlet "I don't know what to believe..."
• (en) "Measuring the quality of peer review" Journal of the American Medical Association 287: 2786–2790 (2002).
• (en)Peer review – process, perspectives and the path ahead
• (en) Something Rotten at the Core of Science?
• (en) Malice's Wonderland: Research Funding and Peer Review
• (en) Is agreement between reviewers any greater than would be expected by chance alone?
• (en) Peer Review as Scholarly Conformity
• (en) Science and Politics: An Uneasy Mix
• (en) The case against peer-review
• (en) Peer review: the Holy Office of modern science
• (en) The end of the Peer Show - scientists’ misguided attempt to solve a non-existent problem
• (en) The philosophical basis of peer review and the suppression of innovation
• (en) Peer review is broken.
• (en) Suppressing Dissent in Science
• (en) Hampering the progress of science by peer review and by the 'selective' funding system
• (en) A Case Study of Data Suppression and Misrepresentation
• (en) "A Difficult Balance: Editorial Peer Review in Medicine"
• (en) A STUDY IN SUPPRESSION OF INFORMATION
• (en)Suppression of Dissent in Science
• (en) Refereed Journals: Do They Insure Quality or Enforce Orthodoxy? Frank J. Tipler
• (en) Stevan Harnad :
  • 2003 : (en)PostGutenberg Peer Review
  • 2002 : (en) Self-Selected Vetting vs. Peer Review: Supplement or Substitute?
  • 2001 : (en) A Note of Caution About "Reforming the System"
  • 1999 : (en) Peer Review Reform Hypothesis-Testing
  • 1998 : (en) The Invisible Hand of Peer Review Nature version; Exploit Interactive version
  • 1997 : (en) Learned Inquiry and the Net: The Role of Peer Review, Peer Commentary and Copyright
  • 1996 : (en) Implementing Peer Review on the Net: Scientific Quality Control in Scholarly Electronic Journals
  • 1985 : (en) Rational disagreement in peer review
  • 1984 : (en) Commentaries, opinions and the growth of scientific knowledge
  • 1982 : (en) Peer commentary on peer review : A case study in scientific quality control
  • 1979 : (en) Creative disagreement
• 1978 (en) Behavioral and Brain Sciences (BBS) editorial