Bibliométrie Et Scientométrie

Bibliométrie et scientométrie

La bibliométrie peut être définie comme « l'application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Pritchard, 1969 ^[1]): il s'agit de quantifier la communication d'un individu ou d'un groupe, non seulement en termes de volume, mais en termes de portée sur une population ciblée. La scientométrie est l'application de ces techniques au champ des études de la science et de la technologie, en comptabilisant les publications scientifiques. L'exploitation statistique de ces publications permet de justifier de l'activité des acteurs de l'information scientifique tant d'un point de vue quantitatif que qualitatif.

Histoire et méthodes bibliométriques

C'est en 1958 qu'Eugene Garfield crée l'Institute for Scientific Information (ISI), avec le soutien de l'administration américaine de la recherche et celui de sociologues comme Merton. Le premier volume du Science Citation Index voit le jour en 1963, tandis que la revue Scientometrics est fondée en 1978 ^[2].

Peuvent être pris en compte: le nombre de publications, l'« impact » de la revue dans laquelle elles sont publiées (c'est-à-dire le nombre potentiel de citations d'un article qui y est publié) et le nombre effectif de publications ultérieures citant chacune. En 2005, Jorge Hirsch, un physicien, a aussi développé l'indice h, qui vise à « mesurer la productivité » individuelle, selon le même système que le facteur d'impact (c'est-à-dire en fonction des citations).

Un autre indicateur célèbre est le classement de Shanghai, qui se fonde sur le nombre de publications dans deux revues scientifiques et le nombre de prix Nobel attribués aux équipes pédagogiques pour établir un palmarès universitaire mondial, lequel reste fortement contesté.

En France, l'École des mines de Paris a élaboré un indicateur basé sur un seul critère: le nombre d'anciens étudiants figurant parmi les dirigeants exécutifs des 500 plus grandes entreprises mondiales. Classée au 13e rang mondial selon le classement de Shanghai, la France passe ainsi au 3e selon ce classement, HEC dépassant Oxford, l'ENA, le MIT et Polytechnique ^[3]. Cet autre classement, tout aussi contestable, démontre la relativité de ces critères quantitatifs.

En France, le rapport Bourdin soulignait ainsi le privilège national accordé aux universités britanniques par le classement britannique, et inversement pour le classement néerlandais ^[2]. Le chercheur québecois Yves Gingras soulignait le manque de fiabilité du classement de Shanghai, qui fait varier de 100 rangs la position de l'université Humboldt de Berlin, en 2008, en raison de la publication en 1922 du Prix Nobel d'Einstein ^[2].

Enfin, l'« index de reconnaissance » s'intéresse à la reconnaissance manifestée dans les articles à tel ou tel individu, groupe économique ou institution ^[4].

Différents indicateurs

De plus en plus utilisé pour évaluer les chercheurs, et non seulement les revues, ces indicateurs quantitatifs se heurtent à des problèmes de cohérence. Si le facteur d'impact développé par l'Institute for Scientific Information, une entreprise privée rachetée par Thomson Reuters, est l'un des plus utilisés, d'autres facteurs sont disponibles. Or, d'évidence, un même chercheur reçoit des mesures d'impact différentes selon les indicateurs et les bases de données bibliographiques utilisés (Google scholar, Web of Science, Scopus - développé par Elsevier, Citeseer, DBLP) ^[5].

Utilisation de la scientométrie

Elle est utilisée par les organismes finançant la recherche comme outil d'évaluation. En formant des indicateurs de recherche et développement, elle est utilisée, de manière controversée, comme aide à la décision en ce qui concerne les politiques de recherche: en France, ces indicateurs occupent ainsi une place importante dans la LOLF (Loi organique relative aux lois de finances) ^[6].

L'European Science Foundation a récemment mis en place un classement contesté des revues, soutenu en France par l'AERES. Utilisé pour l'évaluation de la recherche, ce classement n'utilise cependant pas des méthodes bibliométriques, étant établi par un panel d'« experts » et dépendant de leurs appréciations subjectives ^[2].

La critique des indicateurs quantitatifs

Certaines des personnes qui élaborent ces critères en soulignent eux-mêmes les limites. Ainsi, les auteurs du classement de Shanghai concèdent l'existence d'un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales ^[7]. Le rapport de l'INRIA (Institut national de recherche en informatique et en automatique) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l'évaluation par les pairs, qualitative, et souligne un certain nombre d'effets pervers de ceux-ci dès lors qu'on leur accorde trop d'importance (p.5):

« si les indicateurs peuvent donner des tendances sur un nombre réduit d'aspects de la vie scientifique, il convient d'être très circonspect dans leur usage en raison de la possibilité d'interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d'établir dans l'urgence toutes sortes de statistiques, sans se préoccuper d'en analyser la qualité et le contenu, et en occultant l'examen d'autres éléments de la vie scientifique comme, par exemple, l'innovation et le transfert intellectuel et industriel.

Les constatations et les recommandations les plus importantes sont les suivantes :

1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (...). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s'attacher, au plus, aux ordres de grandeur des indicateurs.

2. nous recommandons d'utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.

3. les indicateurs ne donnent qu'une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l'ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s'ils sont utilisés dans le cadre d'une évaluation ou d'une prise de décision.

4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.

5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l'innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l'innovation.

6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d'autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l'on peut corréler à l'effet croissant de l'influence des indicateurs » ^[8]

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d'un article, processus de filtrage qui passent par l'évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs. » ^[5]

« Publier ou mourir »

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le danger est ici que les chercheurs se préoccupent plus d'étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d'augmenter le nombre de publications, par exemple:

• le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n'ont pas lu leurs travaux précédents
• le saucissonage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément ^[5][8]
• l'auto-citation malicieuse ^[8].
• le frein à la prise de risque et la pénalisation de la recherche de pointe ^[8][6]

Variabilité du nombre de publications chez les scientifiques célèbres

Notons l'extrême variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie ont, dans l'ensemble, peu publié, mais certaines de leurs publications étaient de toute première importance et ont eu une influence considérable sur la science. De même, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Ecrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A… » ^[9] À l'opposé, un autre scientifique de premier plan, Paul Erdös, a été très prolifique.

Que mesure le « facteur d'impact » ?

Article détaillé : Facteur d'impact.

L'usage du « facteur d'impact » des journaux pour l'évaluation de la qualité des chercheurs est très sujet à caution. Ce facteur d'impact est censé mesurer l'importance d'un journal pour la communauté scientifique.

Il est cependant faux de conclure qu'un « papier » dans un journal à fort « facteur d'impact » est forcément de meilleure qualité qu'un papier dans un journal à « facteur d'impact » plus faible. D'une part, parce que le « facteur d'impact » dépend énormément du nombre de chercheurs dans le domaine considéré : plus une communauté scientifique sera grande, plus les articles seront cités. Par ailleurs, la politique éditoriale de certains journaux renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d'une publication. Ainsi, l'évaluation de la qualité d'une revue diffèrera selon que l'on en juge par son « facteur d'impact », par l'avis des experts ou par d'autres indicateurs, tels que CiteSeer en informatique ^[6].

Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l'objet d'un plus grand nombre de citations que les articles originaux eux-mêmes. Les revues de sciences humaines et sociales accordent une large place à de tels recensions bibliographiques.

De plus, l'usage du nombre de citations favorise les publications « dans l'air du temps ». Une publication sur un sujet original mais qui ne serait pas « à la mode » est défavorisée. De même, un nouveau journal créé pour couvrir un sujet émergeant sera mécaniquement mal noté pendant plusieurs années, ce qui peut suffire à détruire la carrière d'un scientifique s'intéressant à ce sujet (si on utilise ce critère comme méthode d'évaluation de sa « productivité ») ^[6]. Il arrive que des idées de premier plan soient ignorées au moment où elles sont publiées, et sont redécouvertes ensuite. L'impact réel de la publication n'est alors sensible qu'à une échelle de temps supérieure à celle utilisée pour les calculs des divers index de citations. Cela est particulièrement vrai pour le « facteur d'impact » développé par l'ISI, dans la mesure où celui-ci ne prend en compte que les citations ayant eu lieu dans une durée de 2 ans après la publication de l'article ^[6]. Dès lors, cela peut désavantager la recherche de pointe, où l'importance de l'article n'est reconnue que tardivement ^[6].

Pour ces raisons, certains considèrent que la bibliométrie ne doit être utilisée que pour évaluer des chercheurs déjà bien installés, ayant une certaine carrière derrière eux ^{[réf. nécessaire]}.

Enfin, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu'il le souhaiterait pour des raisons de confidentialité.

Le coût

Le coût des outils payants est méconnu - on ne connaît pas le coût du contrat passé entre le CNRS et des organismes subsidiaires avec Thomson Reuters, qui a repris l'Institute for Scientific Information, en charge de l'évaluation du facteur d'impact des revues ^[5]. L'INRIA (Institut national de recherche en informatique et en automatique) dépense 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu'aux articles de 1991) et au Journal of Citation Report ^[8]. Le rapport de l'INRIA conclut donc, à ce sujet, que « L'accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l'INRIA l'étude préliminaire (...) montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l'aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation. » ^[8]

L'AERES et la bibliométrie

Article détaillé : Mouvements universitaires de 2007-2009 en France.

En France, l'AERES a mis en place un classement bibliométrique des revues, suscitant des critiques de la part de chercheurs d'horizons divers ^[9]. Ainsi, le médiéviste Olivier Boulnois affirme qu'on « confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue » ^[9]. La philosophe Barbara Cassin est aussi extrêmement critique vis-à-vis du facteur-h et du classement des revues ^[10].

Le classement de l'AERES favorise en outre les revues généralistes (auxquelles on attribue le rang A) au détriment des revues spécialisées (rang B voire C) - ce qui conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées, jugés de moindre importance du fait du lieu de leur publication ^[11].

Par exemple, le classement de la Revue des études slaves, une revue transdisciplinaire et à rayonnement international, mais spécialisée sur l'étude du monde slave, dans l'ERIH (European Reference Index for the Humanities), et aussi dans la liste de l'AERES de juillet 2008, a fait l'objet d'un certain nombre de critiques. En effet, malgré son caractère internationalement reconnu, la revue n'a été classée, dans l'ERIH et par l'AERES, que dans la catégorie C, dans la section consacrée aux revues de linguistique ^[12].

En matière de sciences politiques, par exemple, l'European Reference Index for Humanities utilisé par la Fondation européenne de la science n'a pas été utilisé par les « experts » chargés par l'AERES de classer les revues de sciences politiques (qui n'étaient pas présentes dans le classement de l'AERES de juillet 2008), « pour la raison principale que très peu de revues françaises pourraient être classées selon ces derniers critères [de visibilité internationale] et qu’il serait alors impossible de réaliser une évaluation raisonnable de la production scientifique effective des politistes français. » ^[11]

Les différents classements possibles utilisés par l'AERES apparaissent ainsi largement à géométrie variable ^[13].

Fondation européenne de la science

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la Fondation européenne de la science a d'ailleurs décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement utilisé pour le European Reference Index for Humanities, qui seront remplacées par des descriptions écrites ^[14].

Voir aussi

• loi de Bradford
• Palmarès universitaire
• h-index

Références

1. ↑ Pritchard A., "Statistical Bibliography or Bibliometrics", Journal of Documentation, 25, 4, pp. 348-349, 1969
2. ↑ ^{a , b , c  et d} Yves Gingras, La fièvre de l'évaluation de la recherche, Centre universitaire de recherche sur la science et la technologie, mai 2008
3. ↑ Face à Shangaï, les Mines dégainent leur classement, L'Express, 18 septembre 2008
4. ↑ C. Lee Giles et Isaac G. Councill. Who gets acknowledged: Measuring scientific contributions through automatic acknowledgment indexing. In Proceedings of the National Academy of Sciences 101(51):17599–17604, 21 décembre 2004.
5. ↑ ^{a , b , c  et d} Laurence Coutrot, Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique, Bulletin de méthodologie sociologique, octobre 2008, n°100, p.45-50
6. ↑ ^{a , b , c , d , e  et f} Que disent les indicateurs ?, entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d’évaluation de l’INRIA, Lettre d'information de l'INRIA, n°59, mai 2007
7. ↑ N. C. Liu et Y. Cheng, « Academic Ranking of World Universities – Methodologies and Problems », Higher Education in Europe, 30, 2, 2005 ainsi que M. Zitt et G. Filliatreau, « Big is (made) Beautiful », Première Conférence internationale sur les universités de classe mondiale, Shanghai, juin 2005.
8. ↑ ^{a , b , c , d , e  et f} Que mesurent les indicateurs bibliométriques ?, document d'analyse de la Commission d'évaluation de l'INRIA, Préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du 12 septembre 2007.
9. ↑ ^{a , b  et c} Olivier Boulnois, L’évaluation automatisée en sciences humaines, 22 octobre 2008.
10. ↑ Barbara Cassin, "On classe les chercheurs comme Google classe les sites", Rue 89, 9 février 2009
11. ↑ ^{a  et b} Note sur le classement des revues AERES en science politique, ANCMSP (Association nationale des candidats aux métiers de la science politique), 5 septembre 2008
12. ↑ Liste de l'AERES en linguistique au 28 juillet 2008, sur le site de l'Institut de Linguistique Française
13. ↑ Olivier Ertzscheid (maître de conférences en sciences de l'information), On a perdu la 71ème section !!, 2 octobre 2008
14. ↑ L’ERIH retire son classement par lettres des revues (22 janvier 2009), Sauvons l'Université (avec lien vers Index of journals scraps controversial grades, The Times of Higher Education, 22 janvier 2009)

Bibliographie

• INRIA, Commission d’évaluation de l’.Que mesurent les indicateurs bibliométriques ?, 2007. Document d'analyse préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du 12 septembre 2007.
• Godin B., Pour une sociologie de la statistique sur la science et l'innovation, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper n°26, 2004.
• Godin B., La science sous observation : cent ans de mesure sur les scientifiques, 1906-2006, Presses de l’Université Laval, 2005.
• Godin B., Measurement and Statistics on Science and Technology: 1920 to the Present, Routledge, 2005
• Godin B., On the Origins of Bibliometrics, Project on the History and Sociology of S&T Statistics, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper n° 33, 2006.
• Okubo, Y. (1997), Indicateurs bibliométriques et analyse des systèmes de recherche : Méthodes et exemples, Documents de travail sur la science, la technologie et l'industrie, 1997/1, Éditions OCDE. doi:10.1787/233811774611

Lien externe

• Aux sources de la scientométrie (1995)
• Site d'information et d'évaluation sur la bibliométrie en SHS
• Observatoire des sciences et des techniques (Fra)
• Science, technologie et innovation (Can)

Ce document provient de « Bibliom%C3%A9trie et scientom%C3%A9trie ».