Mise en valeur de la recherche

Malgré certaines limites, le nombre de citations reçues est l'un des indicateurs acceptés pour mesurer l'impact d'un article. Un nombre élevé de citations est associé à un impact plus grand.

Il est souvent utile, pour un chercheur, de mettre de l'avant le nombre de citations reçues par ses articles afin de démontrer l'impact qu'il a eu dans son domaine.

Les pratiques de citations varient beaucoup d'un domaine à l'autre : un article en biologie sera en moyenne beaucoup plus cité qu'un article en mathématiques. On ne peut donc pas comparer l'impact de deux articles provenant de deux domaines différents sur la base du nombre absolu de citations reçues.

Plusieurs bases de données permettent de trouver les citations reçues par un article :

• Web of Science : Principale et plus ancienne base de données bibliographiques multidisciplinaire pour l'analyse des publications de recherche et des citations. (accès à plusieurs tutoriels)
• Scopus : Lancé au début des années 2000, un concurrent direct de Web of Science. La Bibliothèque de Polytechnique Montréal n'est pas abonnée à cette ressource.
• IEEE Xplore : Ne permet pas l'analyse de citations, mais permet de retrouver les citations à un article spécifique. Particulièrement utile pour les articles et conférences IEEE qui ne sont pas toujours répertoriés dans Web of Science.
• Google Scholar : Gratuit, mais le nombre de citations est souvent surestimé (doublons, sources non académiques, etc.).

À noter : la couverture de chaque base de données est différente. Le nombre de citations varie donc d'une base de données à l'autre.

Le h-index est une mesure développée par J.E. Hirsch en 2005. C'est un indicateur unique qui tient compte de la productivité (nombre d'articles publiés) et de l'impact (nombre de citations reçues) d'un chercheur. Le h-index est le nombre de publications "n" qui a été citées au moins "n" fois.

Tout comme les autres indicateurs, le h-index a certaines limites :

• Il varie beaucoup entre les disciplines, on ne devrait donc pas l'utiliser pour comparer des chercheurs provenant de disciplines différentes;
• Il varie beaucoup selon l'âge et la durée de la carrière d'un chercheur, étant fortement corrélé à la production d'articles;
• Il ne tient pas compte de l'ordre des auteurs, ou du nombre d'auteurs d'un article;
• Les citations excédentaires au h-index sont ignorées (un auteur ayant publié un seul article avec 300 citations aura tout de même un h-index de 1).

Le h-index peut être déterminé en utilisant la base de données Web of Science. Google Scholar peut aussi être utilisé pour trouver un h-index. Par contre, un comité d'experts mandaté par le Conseil des Académies canadiennes a affirmé que "Google Scholar ne devrait pas être utilisé dans le cadre d’évaluations bibliométriques rigoureuses" (Source : Éclairer les choix en matière de recherche : indicateurs et décisions, 2012, p. 66).

Pour trouver manuellement un h-index, il faut placer les articles en ordre décroissant de citations, et trouver le moment où le rang de l'article est plus élevé que le nombre de citations. Le h-index sera le rang précédent. Dans l'exemple ci-dessous, le h-index est de 7.

Figure 1: h-Index calculé à partir d'un nombre décroissant de citations. (2008) Issue du domaine public.

Le comptage fractionnaire peut être utilisé pour faire le décompte des publications d'un auteur. Avec cette méthode, chacun des articles est compté pour 1 ÷ (nombre d'auteurs). Le comptage fractionnaire peut aussi être utilisé pour les citations.

Il peut également être pertinent d'évaluer le nombre ou le pourcentage d'articles qu'un auteur a écrit en collaboration. Cette collaboration peut être interinstitutionnelle, internationale ou intersectorielle. L'outil "Analyze results" de Web of Science est l’une des façons d’évaluer la collaboration.

L'impact relatif des citations (IRC) compare les citations reçues à la moyenne de citations globales pour un domaine. Cet indicateur peut être utilisé pour les citations reçues par un article en particulier, bien qu'il soit souvent utilisé pour comparer la moyenne de toutes les citations reçues par un auteur, une institution ou même un pays avec la moyenne mondiale. Cette façon de mesurer les citations est plus appropriée pour comparer des chercheurs dans des domaines différents.

Plusieurs chercheurs ont élaboré des indicateurs qui servent de complément d'information au h-index. Les plus connus sont le g-index et le e-index, qui donnent des informations sur les citations qui excèdent le h-index. Il a aussi été proposé de donner le h-index sur 5 ans, ce qui permettrait de comparer plus facilement des chercheurs qui ne sont pas au même point de leur carrière.

Aussi, les altmetrics sont de plus en plus utilisés pour mesurer l'impact.

Cette formation présente comment configurer des alertes de citation de 59:30 à 1:00:55.

Assurez-vous d'avoir un compte Web of Science. Sur la notice du document, cliquez « Create citation alert », puis paramétrez l'alerte selon vos besoins. 

• Guide Mise en valeur de la recherche  
• La déclaration de San Francisco sur l’évaluation de la recherche (DORA) : « La Déclaration s’articule autour du principe général de l’appréciation de la qualité de la production scientifique autrement qu’avec les facteurs d’impact attribués à certaines revues scientifiques […] DORA demande aux différents acteurs de l’écosystème de la recherche […] de s’impliquer pour arriver à une évaluation rigoureuse de la production scientifique, spécifiquement en ce qui a trait aux articles publiés dans des revues révisées par les pairs » (https://frq.gouv.qc.ca/les-fonds-de-recherche-du-quebec-adherent-a-la-declaration-de-san-francisco-sur-levaluation-de-la-recherche/) Les FRQ, les IRSC, le CRSH et le CRSNG ont tous signé DORA
• Leiden Manifesto : dix principes pour l’amélioration de l’évaluation de la recherche formulés par un groupe d’experts en 2015. Voir aussi Bibliometrics: The Leiden Manifesto for research metrics
• Metrics Toolkit : ensemble de fiches informatives ayant pour objectif d’aider les universitaires et les évaluateurs de la recherche à utiliser certains indicateurs bibliométriques de manière responsable pour l’évaluation de la recherche.