Scientométrie

La scientométrie est la science de la mesure et l'analyse de la science. Elle a souvent partie liée avec la bibliométrie et peut être considérée à la fois comme une réduction et une extension de celle-ci. Réduction puisqu’elle n’applique les techniques bibliométriques qu’au champ des études de la science et de la technologie, en comptabilisant les publications scientifiques. Extension puisqu’elle n’analyse pas seulement les publications mais également des financements, ressources humaines, brevets, etc.

Histoire de la discipline

Article détaillé : Histoire de la scientométrie.

Les premiers travaux de bibliométrie et de scientométrie remontent au début du XXe siècle. Alfred Lotka, Samuel Bradford ou George Kingsley Zipf, énoncent leur lois entre 1926 et 1935. Mais ce n’est qu'à partir de 1950 que Derek John de Solla Price fonde véritablement la discipline en théorisant et mettant en pratique l’utilisation des articles scientifiques comme indicateurs quantitatifs de l’activité de recherche^[1]. Dans la même période, Eugene Garfield développe l’idée d’utiliser les citations présentes dans les articles scientifiques, c’est-à-dire les renvois faits à d’autres articles, pour lier les articles entre eux^[2]. Le premier volume du Science Citation Index voit le jour en 1963.

Les principaux indicateurs

Les indicateurs décrits ci-dessous peuvent s’appliquer à différentes échelles : micro (un chercheur, un groupe), meso (un département, une université) ou macro (une région, un pays, un continent). Ces différentes catégories sont comprises sous l’appellation « unité ».

Les indicateurs de production

Dans la plupart des sciences dures, les chercheurs communiquent les résultats de leur travail par des articles dans des journaux scientifiques et certains y voient « le but essentiel de leur activité^[3] ». La mesure du nombre d’article publiés constitue donc souvent le premier indice de productivité d’une unité. Dans les domaines plus proche du développement, le nombre de brevets est une mesure plus pertinente. Dans un domaine comme l’informatique, les actes de conférences sont plus pertinents. Tandis que dans les sciences humaines et sociales, les livres et chapitres de livres prennent une importance beaucoup plus grande.

Ces différents types de publications (outputs) sont toutefois plus ou moins facile à compter. Si les articles publiés dans de nombreuses revues scientifiques sont systématiquement référencés dans les bases de données Web of Science ou Scopus, le référencement des livres pose plus de difficultés. De même, il est nécessaire de définir de manière univoque ce qui relève de la production scientifique de ce qui ne l’est pas, ce qui comporte toujours une part d’arbitraire.

Aux niveaux meso et macro, le nombre de doctorats délivrés est également une mesure intéressante de l’activité scientifique.

Les indicateurs d'impact

Les indicateurs d’impact se fondent essentiellement sur les citations entre articles, considérées comme représentatives de l’activité scientifique en action. Cette idée se base notamment sur la sociologie structuro-fonctionnaliste de Merton, pour qui la science se caractérise par son universalisme, sa justice et son auto-régulation. Dans ce champ et cette communauté, les scientifiques « qui ont le mieux rempli leur rôle » sont récompensés (reward system) en étant reconnus par leurs pairs. Cette reconnaissance passe notamment par les citations que les chercheurs font du travail de leurs pairs, signes d’une dette intellectuelle mue par l’auto-régulation de la communauté.

Cette vision du rôle intrinsèquement lié à l’activité scientifique des citations se retrouve aussi chez le sociologue des sciences Bruno Latour, qui met l’accent sur les stratégies rhétoriques de l’écriture scientifique et le rôle central des citations venant appuyer et confirmer le discours :

La présence ou l’absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d’un texte que l’on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références^[4].

Dans ces deux visions, mais aussi dans la vision communément admise de la science, celle-ci fonctionne en réseau, lequel passe par les citations et références qui permettent de relier les articles entre eux et par là, les chercheurs, les programmes, les institutions.

Ces explications viennent légitimer le constat du fondateur du Science Citation Index Eugene Garfield :

Presque tous les articles, notes, revues, corrections et correspondances publiésdans les journaux scientifiques contiennent des citations. Ils citent (généralement par titre, auteur, date et lieu de publication) les documents qui soutiennent, précèdent, illustrent ou élaborent ce que l’auteur a à dire^[5].

Le nombre de citations reçues, mesuré au niveau micro, meso ou macro, a longtemps été l’indicateur roi de la bibliométrie en ce qu’il permet simplement d’estimer l’impact ou l’influence d'une unité, et donc d’objectiver sa valeur. Il est également à la base de l’algorithme du moteur de recherche Google, le PageRank (basé sur les liens hypertextes reliant les pages web), lequel sert aujourd’hui à des classements d’impact des institutions de recherche sur internet comme le Ranking Web of World Universities.

Aujourd’hui, d’autres indicateurs d’influence se développent à partir de l’usage qui est fait des articles (nombre de consultations ou de téléchargements). Cette notion d’usage est moins équivoque que celle d’impact, voire d’influence qui est aujourd'hui au centre de l’attention. La notion de reconnaissance émerge également comme alternative^[6].

Le facteur d'impact

Article détaillé : Facteur d'impact.

Le facteur d’impact est une mesure d’impact à l’échelle d’une revue : il quantifie le nombre moyen de citations reçues par un article de cette revue dans les deux ans suivant sa publication. Cet indicateur est la propriété de Thomson Reuters, qui le calcule chaque année depuis plusieurs décennies pour plus de 5 000 revues scientifiques de la base Science Citation Index, allant de l’astronomie à la géologie en passant par les mathématiques et la recherche médicale. Les sciences humaines sont concernées par deux autres bases de données du même éditeur, le Arts and Humanities Citation Index et le Social Sciences Citation Index. Celles-ci sont pourtant beaucoup moins utilisées en bibliométrie parce que leur couverture est plus discutable et parce que dans ces disciplines, les articles scientifiques jouent un rôle moins prépondérant que dans les sciences dites dures.

Les indicateurs composites

L'indice h

Article détaillé : Indice h.

En 2005, Jorge Hirsch, un physicien, a proposé l’indice h comme indicateur composite de la production scientifique et de la visibilité. Un chercheur aura un h-index égal à N s’il a publié au moins N articles cités au moins N fois. Cette définition donne un faible indice aux chercheurs qui publient énormément d’articles mais ne sont presque jamais cités ainsi qu’aux chercheurs qui ont publié de manière exceptionnelle un article extrêmement cité. En conséquence, l’indice h d’un chercheur ne peut jamais diminuer, même si sa production a chuté ou s’est arrêtée.

Selon Yves Gingras, l’indice h a peu d’utilité au niveau individuel car « il est en fait fortement corrélé au nombre total d’articles et est ainsi redondant^[7] ». Il note toutefois que son utilisation de plus en plus courante est avant tout le fait des chercheurs eux-mêmes.

Les indicateurs de moyens

Les indicateurs de moyens (inputs) sont des indicateurs scientométriques non bibliométriques. Ils s’appuient sur des données de budgets et de ressources humaines obtenues à l’échelle meso ou macro, en particulier sous l’égide de l’OCDE.

DIRD et DNRD

La DIRD est la dépense intérieure de recherche et développement. La DIRD correspond à la R&D exécutée en France quelle que soit l’origine des financements (publics ou privés, français ou étrangers). On note DIRDA la R&D exécutée par les administrations, DIRDE celle par les entreprises.

La DNRD est la dépense nationale de recherche et développement en France. Elle correspond au financement, par des entreprises ou des administrations françaises, des travaux de recherche réalisés en France ou à l’étranger. On note DNRDA les dépenses des administrations, DNRDE celles des entreprises.

La différence entre la DNRD et la DIRD correspond au flux de financement vers l’étranger : organisations internationales telles que l'Organisation européenne pour la recherche nucléaire (CERN) ou l’Agence spatiale européenne (ESA), Programme-cadre pour la recherche et le développement technologique (PCRD).

Crédits budgétaires publics de R&D

Les crédits budgétaires publics de R&D (CBPRD) sont la part du budget de l’État affectée à la R&D. Cette mesure est utilisée dans les pays de l’OCDE. Elle est définie de la manière suivante :

Les CBPRD couvrent non seulement la R&D financée par l’État et exécutée dans des établissements publics, mais également la R&D financée par l’État et exécutée dans les trois autres secteurs nationaux (entreprises, institutions privées sans but lucratif, enseignement supérieur) et aussi à l’étranger (y compris les organisations internationales)^[8].

Utilisation de la bibliométrie et de la scientométrie

Ces deux disciplines gagnent de l’importance sous l’effet de plusieurs facteurs : la disponibilité de base de données de plus en plus complètes, l’utilisation accrue des outils de management dans l’administration de la recherche, la mondialisation du « marché » de l’enseignement supérieur.

Évaluation de la recherche

Article détaillé : Évaluation de la recherche scientifique.

Elle est utilisée par les organismes finançant la recherche comme outil d’évaluation et comme aide à la décision en ce qui concerne les politiques de recherche.

Gouvernance de l'enseignement supérieur

La bibliométrie est utilisé par les universités ou les gouvernements pour déterminer leurs forces et faiblesses dans le domaine de la recherche et orienter ainsi leurs actions.

Les liens que tissent la statistique avec la politique sont multiples. Ils vont de la compréhension des phénomènes sur lesquels on veut intervenir (théorique) à l'évaluation des actions gouvernementales (pratique), sans oublier la promotion des efforts nationaux (symbolique)^[9].

Les classements d'universités

Article détaillé : palmarès universitaires.

S’appuyant sur un ou plusieurs des indicateurs énoncés auparavant, les classements d’universités sont sans doute l’application la plus visible de la scientométrie. Les deux classements internationaux les plus médiatiques sont :

• le classement académique des universités mondiales par l'université Jiao Tong de Shanghai,
• le classement du journal Times Higher Education.

La sociologie des sciences

La bibliométrie est utilisée par les sociologues des sciences pour étudier l’activité des scientifiques, l’apparition et l’autonomisation de disciplines, l’importance temporelle de certains champs ou encore les liens que différentes disciplines tissent entre elles.

Les acteurs

Les bases de données

Les trois principales bases de données bibliométriques sont la propriété d’acteurs privés : Thomson Reuters, Elsevier et Google. Les deux premiers, ainsi que des tiers, ont développé plusieurs outils d’analyse autour de ces bases de données^[10]

Thomson Reuters (ISI Web of Science)

Article détaillé : Institute for Scientific Information.

L’Institute for Scientific Information (ISI) créé en 1960 par Eugene Garfield a été acquis par Thomson Scientific & Healthcare en 1992 et a porté le nom de Thomson ISI. Suite à la fusion avec Reuters en 2008, la compagnie fait maintenant partie de la Thomson Reuters Corporation.

L’ISI a développé son activité autour de sept bases de données de publications scientifiques et de leurs citations. Les trois premières recensent les articles et leurs citations : Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (A&HCI). Ensemble, ce sont plus de 9 700 journaux qui sont entièrement couverts, dont 70% dans les sciences naturelles, et autant qui sont partiellement couverts^[11]. Les citations remontent à 1900. Les critères de sélections des revues sont assez restrictifs et se basent sur le nombre de citations reçus. De par ses critères de sélection, ces bases de données ont un fort biais anglophone.

Les actes de conférences sont couverts par deux bases de données : Conference Proceedings Citation Index - Science (CPCI-S) et Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Enfin, deux bases de données sont consacrées à la chimie : Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).

ISI a développé de nombreux produits destinés à l’exploitation de ses bases de données :

• Web of Science : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal,
• Journal Citation Report : classement des journaux par facteur d'impact, différentes métriques sur les journaux,
• Essential Science Indicators et ScienceWatch : classements d’institutions, d’auteurs, de pays ou de journaux, liste des articles les plus cités, liste des sujets les plus « chauds », etc.
• InCites : outils de benchmarking à l’usage des institutions,
• ResearcherID : un numéro unique par auteur, pour distinguer les travaux de personnes ayant une homonymie ou pour suivre le travail d’une personne ayant changé de nom.

Elsevier (Scopus)

Article détaillé : Scopus (Elsevier).

L’éditeur Elsevier a lancé, en 2004, une base de donnée concurrente à celles d’ISI, sous le nom de Scopus. Celle-ci a rapidement rattrapé son retard et référence maintenant 16 500 journaux scientifiques (y compris plus d’un millier en accès livre), 600 publications industrielles, 350 collections d’ouvrages, ainsi que plusieurs millions d'actes de conférences^[12]. Les citations remontent à 1996 seulement pour la moitié des articles référencés. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des Sciences Humaines et Sociales et des journaux non anglophones^[13].

Elsevier a développé deux produits destinés à l’exploitation de ses bases de données :

• Scopus.com : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal;
• SciVal Spotlight : outils de benchmarking (analyse comparative) à l’usage des institutions.

Par ailleurs, en se basant sur Scopus, Scimago ou eigenfactor.org sont des sites web libres d’accès qui permettent de classer des journaux ou des pays.

Google (Google Scholar)

Article détaillé : Google Scholar.

Filiale du géant Google, et basé sur le même principe, Google Scholar a été lancé en version beta fin 2004 et référence les articles scientifiques. D’accès libre, Google scholar semble plus complet que ses compétiteurs mais il est actuellement impossible de savoir ce qui est inclus ou non dans cette base de données. De nombreuses erreurs ou doublons ont été relevés^[14].

À partir de Google Scholar, le logiciel Publish or Perish permet de calculer quelques indicateurs bibliométriques par auteur, journal ou article. Il existe également un plugin au navigateur Firefox qui a des fonctions relativement identiques : Tenurometer.

Autres

D’autres bases de données, souvent financées par de l’argent public et libre accès, sont souvent utilisées dans des domaines spécialisés :

• Spires pour la physique,
• Medline pour les sciences de la vie et les sciences biomédicales,
• CiteSeer pour l’informatique et les sciences de l'information.

Les acteurs publics

Les articles scientifiques ne constituent pas le canal de diffusion principal dans les Sciences Humaines et Sociales (SHS) où les monographies par exemple prennent une importance beaucoup plus grande que dans les sciences naturelles. Les méthodes bibliométriques actuelles sont donc peu adaptées à ces disciplines. La volonté d’évaluer les performances des acteurs de la recherche en SHS a donc conduit des organismes publics à chercher des alternatives à la bibliométrie.

La fondation européenne de la science

Article détaillé : Fondation européenne de la science.

Crée en 1977, La fondation européenne de la science (en anglais European science foundation, ESF) est une association regroupant 77 organisations scientifiques de 30 pays européens. Son objectif est de promouvoir la recherche scientifique et d’améliorer la coopération européenne dans ce domaine, d’émettre des avis sur des questions scientifiques stratégiques, d’encourager la mobilité des chercheurs, d’améliorer la mutualisation des moyens.

Dans ce cadre, l’ESF a mis en place en 2007 un classement des revues dans le domaine des humanités^[15]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement est établi par un panel d’experts. Il classe les revues en trois catégories en fonction de leur importance perçue.

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement. Celles-ci seront remplacées par des descriptions écrites^[16].

La critique des indicateurs quantitatifs

Certaines des personnes qui élaborent les indicateurs décrits ci-dessus en soulignent les limites. Par exemple, les auteurs du classement de Shanghai concèdent l’existence d’un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales^[17]. Le rapport de l’Institut national de recherche en informatique et en automatique (INRIA) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative, et souligne un certain nombre d’effets pervers de ceux-ci dès lors qu’on leur accorde trop d'importance :

Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel. Les constatations et les recommandations les plus importantes sont les suivantes :

1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (…). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s’attacher, au plus, aux ordres de grandeur des indicateurs.
2. nous recommandons d’utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.
3. les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l’ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.
4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.
5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l’innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l’innovation.
6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l’on peut corréler à l’effet croissant de l’influence des indicateurs^[18] »

Critique de l'évaluation individuelle des chercheurs par la bibliométrie

De plus en plus utilisés pour évaluer les chercheurs, les indicateurs quantitatifs se heurtent à une forte critique due à leur manque de cohérence lorsqu’ils sont appliqués au niveau individuel. Le fait qu’un même chercheur puisse recevoir des mesures d’impact différentes selon les indicateurs et les bases de données bibliographiques utilisés^[19] pose de nombreux problèmes quant à leur utilisation et à la définition d’une norme de qualité.

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d’un article, processus de filtrage qui passent par l’évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs^[19]. »

Par ailleurs, la bibliométrie ne peut prétendre qu’à l’analyse d’une des facettes du métier de chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications. Par exemple, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait pour des raisons de confidentialité.

« Publier ou mourir »

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le risque est ici que les chercheurs se préoccupent plus d’étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d’augmenter le nombre de publications, par exemple :

• le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n’ont pas lu leurs travaux précédents ;
• le saucissonnage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément^[19],[18] ;
• l’auto-citation malicieuse^[18] ;
• le frein à la prise de risque et la pénalisation de la recherche de pointe^[18] ;
• le plagiat et la falsification de résultats^[20].

Comme toute technique de mesure, la bibliométrie devient sujette à manipulation, d’autant plus facilement que son fonctionnement est connu.

Variabilité du nombre de publications chez les scientifiques célèbres

Les critiques de la bibliométrie mettent parfois en avant une grande variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie n’auraient, dans l’ensemble, que peu publié, malgré leur influence considérable sur la science. Ceci viendrait démontrer le peu de fiabilité des indicateurs bibliométriques. Il importe de considérer ce qui est cité de l'auteur de son vivant ou après son décès. Ainsi, concernant Einstein, « voici ce que dit le ISI web of knowledge : Environ 160 articles, h-index = 49, nombre de citations proche des 20 000 », mais le nombre de ces citations date, lui... de 2009^[21].

L'évaluation est plus délicate encore dans les sciences humaines et sociales. Par exemple, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A…^[22] » Cette critique montre que la mesure de la science doit suivre au plus près les pratiques de recherche et publications scientifiques et évoluer avec elles (les exemples donnés ici appartiennent en effet à un contexte scientifique différent de celui d’aujourd'hui).

Critique du « facteur d'impact » ?

Article détaillé : Facteur d'impact.

L’usage du « facteur d’impact » des journaux pour l’évaluation de la qualité des articles et des chercheurs est très sujet à caution.

Si le facteur d’impact est censé mesurer l’importance d’un journal pour la communauté scientifique, il est erroné de conclure qu’un article publié dans un journal à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans un journal à facteur d’impact plus faible. Étant donné la distribution très asymétrique des citations, le facteur d’impact (qui est une valeur moyenne) d’un journal est un mauvais prédicteur du nombre de citations que recevra un article publié dans ce journal.

D’autre part, le facteur d’impact, comme tout indicateur basé sur les citations, dépend énormément des habitudes de citations et du nombre de chercheurs dans le domaine considéré. Ainsi, la longue demi-vie des citations en mathématiques désavantage fortement les journaux de cette discipline par rapport à d’autres où les citations se font beaucoup plus rapidement. En informatique, les compte-rendus de conférence prennent une grande importance. Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l’objet d'un plus grand nombre de citations référencées que les ouvrages eux-mêmes.

Par ailleurs, la politique éditoriale de certains journaux renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d’une publication. L’usage du nombre de citations favorise les publications « dans l’air du temps ». D’une manière générale, un journal dédié à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé par la fenêtre de mesure de deux ans^[18].

Enfin, de nombreuses revues ont été accusées de gonfler artificiellement leur facteur d’impact, en augmentant le nombre de recensions ou encore en incitant fortement leurs auteurs à citer d’autres articles de la même revue.

Le coût

Le coût d’accès aux outils payants est élevé et varie d’une institution à l’autre en fonction du nombre d’utilisateurs ou du nombre d’articles référencés. On ne connaît pas le coût du contrat passé entre le CNRS et des organismes subsidiaires avec Thomson Reuters^[19]. L’INRIA (Institut national de recherche en informatique et en automatique) dépense 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu’aux articles de 1991) et au Journal of Citation Report^[18]. Le rapport de l’INRIA conclut donc, à ce sujet, que « L’accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l’INRIA l’étude préliminaire […] montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l’aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation^[18]. »

Voir aussi

• Palmarès universitaires
• Indice h
• Évaluation de la recherche
• Bibliométrie

Références

1. ↑ Xavier Polanco, « Aux sources de la scientométrie » sur biblio-fr.info.unicaen.fr
2. ↑ E. Garfield, Citation indexes for science: a new dimension in documentation through association of ideas, Science, 1955;122:108-111
3. ↑ Bruno Latour et Steve Woolgar, La Vie de laboratoire. La production des faits scientifiques, Paris : La Découverte, 1996
4. ↑ Bruno Latour, La Science en action, Paris : Gallimard Folio, p. 87
5. ↑ E. Garfield, 1979 Citation Indexing - Its Theory and Application in Science,Technology, and Humanities. Publisher John Wiley & Sons, Inc. 1979. Reprinted by ISI Press, Philadelphia, USA. 1983
6. ↑ C. Lee Giles et Isaac G. Councill. Who gets acknowledged: Measuring scientific contributions through automatic acknowledgment indexing. In Proceedings of the National Academy of Sciences 101(51):17599–17604, 21 décembre 2004
7. ↑ Yves Gingras, La fièvre de l’évaluation de la recherche, Centre universitaire de recherche sur la science et la technologie, mai 2008
8. ↑ Manuel de Frascati, Définition 485, p. 161 de l'édition 2002
9. ↑ Godin B., Pour une sociologie de la statistique sur la science et l'innovation, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper n°26, 2004.
10. ↑ [PDF] Bibliometrics - an introduction, University College Dublin Library, 2009
11. ↑ (en) Description de la base de donnée ISI
12. ↑ Informations sur Scopus
13. ↑ J. Schöpfel et H. Prost, « Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative », in Psychologie française 54 (2009) 287–305
14. ↑ Péter Jacsó, « Google Scholar’s ghost authors », dans Library Journal, vol. 134, n^o 18, 2009, p. 26 - 27 
15. ↑ Présentation de l'ERIH
16. ↑ L’ERIH retire son classement par lettres des revues (22 janvier 2009), Sauvons l'Université (avec lien vers Index of journals scraps controversial grades, The Times of Higher Education, 22 janvier 2009)
17. ↑ N. C. Liu et Y. Cheng, « Academic Ranking of World Universities – Methodologies and Problems », Higher Education in Europe, 30, 2, 2005 ainsi que M. Zitt et G. Filliatreau, « Big is (made) Beautiful », Première Conférence internationale sur les universités de classe mondiale, Shanghai, juin 2005.
18. ↑ ^{a, b, c, d, e, f et g} [PDF]Que mesurent les indicateurs bibliométriques ?, document d'analyse de la Commission d'évaluation de l'INRIA, Préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du 12 septembre 2007.
19. ↑ ^{a, b, c et d} Laurence Coutrot, Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique, Bulletin de méthodologie sociologique, octobre 2008, n°100, p.45-50
20. ↑ (en) Jane Qiu, « Publish or perish in China », dans Nature, vol. 463, 2010, p. 143-143 [lien DOI] 
21. ↑ Le h-index d'Albert Einstein sur rachelgliese.wordpress.com
22. ↑ Olivier Boulnois, « L’évaluation automatisée en sciences humaines », 22 octobre 2008

Bibliographie

• Godin B., La science sous observation : cent ans de mesure sur les scientifiques, 1906-2006, Presses de l’Université Laval, 2005.
• Godin B., Measurement and Statistics on Science and Technology: 1920 to the Present, Routledge, 2005
• Godin B., On the Origins of Bibliometrics, Project on the History and Sociology of S&T Statistics, Canadian Science and Innovation Indicators Consortium (CSIIC), Working Paper n° 33, 2006.

Lien externe

• Aux sources de la scientométrie (1995)
• Site d'information et d'évaluation sur la bibliométrie en SHS
• Observatoire des sciences et des techniques (Fra)
• Science, technologie et innovation (Can)
• Okubo, Y. (1997), Indicateurs bibliométriques et analyse des systèmes de recherche : Méthodes et exemples, Documents de travail sur la science, la technologie et l'industrie, 1997/1, Éditions OCDE. doi:10.1787/233811774611