Evaluer la recherche : un exercice difficile

Evaluer est un exercice difficile.
Le travail d’un universitaire s’évalue sur l’enseignement et la recherche. La recherche prend de multiples facettes : articles, conférences, chapitres d’ouvrages, suivi de thèse et/ou de HDR, direction de centres de recherche, participation au rayonnement du laboratoire…
A l’heure actuelle, l’évaluation se fait essentiellement au travers de revues dites classées par la FNEGE, le CNRS ou l’HCERES. Il ne faut pas oublier que ces classements ne sont que la résultante d’un processus qui remonte en 1958 lorsque qu’Eugène Garfield créé en 1958 l’ISI (Institute for Scientific Information). Par la suite plusieurs autres bases ont été constituées comme la SCI (Science Citation Index) en 1963 et le SSCI (Social Science Citation index) en 1973. Ces bases étaient initialement dévolues à la recherche bibliographique. Plus récemment d’autres bases ont été créées : Scopus en 2004 puis plus récemment Google Scholar. SCI et Scopus sont constituées de revues académiques, la dernière (Goocle Scholar) prend en compte les conférences.
Ce rappel historique n’a pour but que « planter le décor ». On voit aisément que ces bases sont des moyens faciles à mettre en œuvre pour engager un processus d’évaluation. Plusieurs mesures ont été développées : le facteur d’impact et les indices synthétiques.

il faut aussi développer des actions plus qualitatives dont les contours restent à construire.

E. Sevérin Rime Lab

Le facteur d’impact est le rapport entre le nombre de citations se référant à une revue sur le nombre d’articles publiés par celle-ci. Cette mesure permet donc d’évaluer non pas des chercheurs mais la revue elle-même. Elle n’est pas exempte de défauts. On peut en citer au moins deux. C’est une mesure à court terme puisque l’on prend en compte le plus souvent les deux ou trois dernières années. Par ailleurs, elle ne prend pas en compte les différents rythmes de publications des domaines scientifiques (le facteur d’impact des revues médicales est par exemple bien supérieur à celui des revues de mathématiques).

Les indices synthétiques sont connus au travers du NTC (nombre total de citations), de l’indice H ou encore de l’indice M. Le NTC repose sur une idée simple. Si un chercheur est cité, c’est que ses travaux sont novateurs et dignes d’intérêt. Les indices H et M mesurent le nombre total de publications et de citations d’un chercheur. D’autres indices existent comme le RG Score développés par le Research Gate. Ce score reflète la qualité et la quantité des recherches scientifiques menées par la personne. Ce score d'une personne est basé sur les interactions qu'elle a avec d'autres personnes inscrites (téléchargements d'articles, questions, réponses à des questions). Là encore, ces « mesures » restent sujettes à caution. Premièrement, une note synthétique ne permet pas de juger de la qualité des écrits. Si vous n’avez qu’un seul excellent article cité fréquemment, vous aurez un très bon NTC mais un faible indice H. Deuxièmement, ces indices ne prennent pas en compte les spécificités des méthodes (quantitative ou qualitative) qui influent sur l’importance quantitative des papiers présentés ou publiés. Enfin, ces indices posent le problème de la co-écriture et de l’homonymie. Dans certains domaines la co-écriture fait ressortir des papiers avec 5 ou 6 auteurs (computer science) alors qu’en maths ou en gestion, la norme se situe entre 1 et 3 auteurs.

Tous ces éléments rendent l’évaluation difficile. La raison en est simple. Les outils développés dans ce qu’il convenu d’appeler la bibliométrie n’arrivent pas à prendre en compte les spécificités de chaque domaine et des méthodes utilisées. C’est la raison pour laquelle, si ces outils restent utiles, il faut aussi développer des actions plus qualitatives dont les contours restent à construire. A titre d’illustration, il faut rappeler l’idée exprimée le 22 novembre 2006 par Jean-Marc Monteil, président de l’AERES à compter de 2007 : « Il conviendrait, c’est bien le moins, que dans l’évaluation par les pairs, on n’oublie pas que l’évaluation la plus scientifique, la plus sérieuse, et la plus objective réclame que l’on lise les papiers à partir desquels on porte un jugement ». En effet, aucune mesure, si fine soit-il, ne permet de mesurer le temps de travail d’un chercheur et son obstination.

En guise de conclusion, on peut avancer, en rebondissant sur notre première phase, « qu’évaluer » est un sport complet. Un bon évaluateur doit bien maîtriser les outils bibliométriques qu’il utilise mais aussi comprendre les spécificités des disciplines et le contexte dans lequel la recherche se réalise.