Recherche

Essai Économie

Dossier : La recherche est un bien commun

L’évaluation et les listes de revues


par Florence Audier , le 15 septembre 2009


Télécharger l'article : PDF

L’évaluation, et la place qu’y occupe la bibliométrie, sont au cœur des débats actuels. Les enjeux sont majeurs : seront dotées en crédits les universités considérant la bibliométrie comme l’indicateur suprême de l’activité et de la qualité de la recherche. Or, comme le montre Florence Audier, les Français ont désigné comme cible d’excellence des revues auxquelles ils n’accèdent pas, sauf réseaux particuliers.

Voir en annexe : Place des français et des européens parmi les « publiants » des revues dépouillées dans le cadre de cette note (tableau récapitulatif )

Depuis longtemps, les économistes et les gestionnaires, s’inspirant en cela des pratiques de communautés scientifiques appartenant aux « sciences dures », comme celles de physique ou de chimie, ont érigé la publication d’articles dans des revues internationales « à comité de lecture » comme étant le meilleur critère « d’excellence », avec à la clé une hiérarchisation plus ou moins explicite de ces revues, dont la plupart sont anglo-saxonnes.

Plus récemment, une « liste de revues », cette fois clairement hiérarchisée, a été construite par et pour la section 37 du Comité national (qui est en charge de l’économie et de la gestion), dans le double but d’être une « aide à la décision et non pas un moyen de classement aveugle et automatique qui se substituerait eo ipso à une instance d’évaluation et de jugement scientifique » [1]. Plus précisément, il s’agissait pour ses initiateurs de mettre sur pied, avec la communauté concernée, une liste devant « servir aux évaluateurs à mieux repérer les revues reconnues et considérées comme de référence ». Avec aussi le souci, « dans un contexte où la bibliométrie gagne du terrain […] de ne pas se faire imposer de l’extérieur un classement moins soucieux de représenter les divers domaines de l’économie et de la gestion ». L’enjeu était donc de donner en quelque sorte un même thermomètre à tous, de fournir des points de repères sur des disciplines ou sous-disciplines que les évaluateurs (qu’ils soient d’ailleurs des pairs ou des nommés) ne connaissent pas forcément, voire réduire les conséquences des nombreuses idées préconçues qui circulent dans le milieu.

Ce système est à présent en œuvre, et la bibliométrie, assortie de toutes ses sophistications, se généralise à l’insu de la plupart de nos collègues ; pire, l’AERES (l’Agence d’évaluation de la recherche et de l’enseignement supérieur) prétend évaluer en classant sur de tels critères externes les unités, voire les personnes, et imposer ses « diagnostics » à l’ensemble de la communauté scientifique, allant même jusqu’à préconiser, outrepassant ainsi son mandat, des modifications de structures. Le moment nous semble donc propice à un examen plus attentif du sens que revêtent les « listes », en particulier la liste en question ; il convient de décrire, par une étude précise, quels sont les contributeurs aux revues que la communauté française des économistes et gestionnaires a placées en tête de liste.

Car l’utilisation de ces « outils » dépasse largement celle qui leur était initialement dévolue, et à travers eux se jouent la conception du travail scientifique et son éventuelle fécondité. Aussi, c’est sur ces critères d’évaluation et les pièges qu’ils recèlent que nous voudrions apporter des éléments de discussion, surtout grâce aux données empiriques que cet article contient. En effet cet indicateur, via l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) et la DPA du CNRS, tend à envahir toute la sphère de l’évaluation et à éclipser tous les autres, bref, à se généraliser partout et peut-être pour toujours, en dépit des très nombreuses critiques qui émanent de toutes parts, des laboratoires comme des « sociétés savantes » et même des éditeurs de revues [2]. Car les choses vont très loin : faut-il rappeler que certains, membres du CNU, évoquent ces classements de revues pour décerner – ou non – la « qualification aux fonctions de maître de conférence », exigeant que des jeunes qui viennent d’achever leur thèse aient déjà deux publications, si possible comme premiers signataires ; et que certains (parfois les mêmes d’ailleurs) souhaitent voir décerner des primes aux heureux accédants… aux revues « top niveau » ! Dans d’autres disciplines, notamment en sciences humaines et sociales mais aussi en astronomie, par exemple, des communautés de scientifiques, et non des moindres, se sont levées pour récuser cette « dictature de la publication » résumée par le célèbre « publish or perish », et le European Reference Index for the Humanities a d’ailleurs renoncé à la notation des revues en A, B ou C, pour s’en tenir à des listes indifférenciées.

Contribution aux revues et qualité des recherches

Rappelons tout d’abord que l’idée de se référer à des listes de revues hiérarchisées se veut évidemment en conformité avec les « meilleures pratiques internationales », c’est-à-dire les pratiques anglo-saxonnes, ou du moins croit l’être. En vérité, loin d’adouber cette « monoculture » en sciences humaines et sociales, et même en économie, les Américains semblent encore aujourd’hui poursuivre un effort exceptionnel en matière de publications académiques et de publications d’ouvrages, via notamment leurs « presses universitaires », alors que cet effort a quasi totalement disparu depuis longtemps en France. L’emprunt aux pratiques anglo-saxonnes n’est donc en l’occurrence que partiel et peut-être n’a-t-on pas pris chez eux ce qu’il y a de mieux. En témoigne un examen rapide du Journal of Economic Literature (JEL). En 2007, par exemple, en quatre numéros, le JEL a édité 1 256 pages de revue. Mais celles-ci sont loin d’être toutes consacrées à des articles puisque le JEL a publié des recensions longues (souvent de plusieurs pages) d’un nombre considérable d’ouvrages : 84 livres ont été critiqués cette même année. À quoi s’ajoutent 1 604 notices d’ouvrages (annotated listings), chacun des ouvrages retenus étant commenté sur un espace allant de 15/20 lignes de colonne jusqu’à une page entière. L’index des auteurs de « new books  » (la très grande majorité sont américains et, en tout cas, anglo-saxons), qui récapitule les publications de livres mentionnées au cours de l’année, contient près de 2 600 noms, et cet index occupe à lui seul 25 pages très denses de la revue. Tout est référencé (selon la nomenclature du JEL) pour que les lecteurs potentiels s’y retrouvent en fonction de leurs centres d’intérêt ou leurs thèmes de recherche. Pour être complet autant que possible, il faut sans doute ajouter à cet impressionnant appel à la prise en considération des livres, la liste intégrale des « doctoral dissertations », qui occupe également une place importante de la revue. À noter que le JEL n’est évidemment pas seul à valoriser les livres : d’autres supports, où la place consacrée aux livres est sans doute plus restreinte, publient au moins plusieurs pages d’« annonces » en provenance des principaux éditeurs, en particulier des nombreuses presses universitaires, annonces certes de nature publicitaire, mais en même temps très instructives quant à la production académique. Sans doute faut-il aussi mentionner les revues spécialisées dans la présentation des « new books », dont une part relève des sciences humaines et sociales.

Pour autant, écrire des articles et les faire publier revêt-il un intérêt secondaire ? Distinguons les points de vue.

Si l’on se place du côté de la diffusion des connaissances ou plus largement de la mise à disposition des résultats de travaux, voire de l’expression de points de vue, le vecteur « revue » semble a priori bien adapté à la diffusion large et rapide, qu’il s’agisse d’ailleurs de revues en support papier comme de revues électroniques, avec ou sans « comité de lecture ». Animer les débats, émettre des hypothèses théoriques ou des pistes d’interprétation d’évènements factuels, interroger les politiques, voire lancer des préconisations : le format « article » est non seulement adapté ou utile, il peut paraître irremplaçable, notamment en raison de son côté « non-pérenne ». Dans un article, on devrait pouvoir se risquer, se lancer, se tromper, on aura des « réponses », on ajustera ou non son propos, on pourra passer à autre chose. Les numéros des revues s’enchaînent, la prochaine chassera la précédente… D’autant que dans des disciplines que je qualifierais volontiers de « non-cumulatives », c’est-à-dire où l’on n’est pas obligé de connaître les travaux de tous les collègues pour apporter valablement sa pierre, s’exprimer où travailler – même si c’est évidemment souhaitable d’être à jour de la bibliographie – le caractère éventuellement fugace des revues ne pose pas de problèmes majeurs, chaque auteur étant à même, lorsqu’il le souhaite, de reprendre ses articles pour les synthétiser sous forme d’ouvrage.

Au contraire des articles, un ouvrage (il ne s’agit pas ici des essais) demande maturation et distance, et l’auteur y sera jugé pour sa culture, la solidité et la cohérence de ses raisonnements et de la thèse qu’il défend, sa capacité à répondre ou même à anticiper les objections, et surtout sur ses apports spécifiques, compte tenu de l’état de l’art… Sans espérer le « chef d’œuvre », on attendra, voire exigera de l’ouvrage un certain niveau d’exhaustivité, on jugera ses référents théoriques et ses applications, la pertinence des données et de leur traitement, etc. Bref, un ouvrage étant destiné à durer, à rejoindre des bibliothèques, le niveau d’exigence vis-à-vis de l’auteur et du contenu s’en trouve de facto majoré. Et les critiques – positives ou négatives – pourront intervenir des années après sa publication. D’ailleurs, n’est-ce pas ce qui permet de dire qu’un livre ou qu’une thèse a « fait date » ? Sauf rares exceptions, chacun de nous le sait, en économie, ce sont bien les ouvrages qui font date. Les articles « fondateurs » sont bien rares ! Alors, pourquoi offrir, dans le cadre de l’évaluation, tout l’espace aux articles, plus précisément à certains articles, et rien aux autres modes d’expression et de transmission ?

Écartons provisoirement le business que représentent les revues pour certains éditeurs et les enjeux qu’il y a, pour eux, à être nominés : toute revue écartée de la liste patentée n’aura plus de contributeurs et va mourir ; toute revue « nouvelle » ne pourra survivre que si elle trouve des défenseurs suffisamment puissants pour la faire entrer dans le club sélect, par exemple un groupe de presse déjà bien implanté dans la discipline. D’où sans doute l’empressement qu’elles marquent à indiquer leur ranking, leur citation index, etc., bref à se vendre, d’où aussi l’exceptionnel travail de marketing que nombre d’entre elles déploient, qui n’a absolument rien à voir avec la qualité des contributions.

Si l’on réfléchit à présent aux incidences de ces choix sur la recherche elle-même et son devenir, il faut tout d’abord noter quelques points « positifs » : l’examen des sommaires et des abstracts permet en effet d’identifier relativement rapidement quels sont les sujets traités – à un moment donné – par les chercheurs (du monde entier ? on reviendra plus loin sur le sujet de l’accès à ces titres et de leur diffusion), et de dialoguer éventuellement avec eux, de les contacter (et plus si affinités), de se repérer dans cet univers complexe qu’est notre « communauté scientifique ». Cela permet en même temps de savoir quels sont les sujets « à la mode » – c’est-à-dire ceux qui ont été retenus par les revues patentées –, ce qui peut être d’un grand secours pour postuler auprès des diverses « agences de moyens ». Enfin, dans le même ordre d’idées, cela permet de se repérer dans le maquis des supports, pour identifier sans risque « ce qu’on fait de mieux » et tenter de s’y conformer pour y accéder ou y faire accéder nos doctorants.

Pourtant, ce système recèle de graves défauts qui sont l’exact envers de ces avantages, mais qui vont bien au delà. On voudrait ici insister sur un aspect insuffisamment évoqué, et qui ne se retrouve pas – ou moins – dans les sciences « exactes » : le conformisme que ce type d’évaluation génère concernant les thématiques, les paradigmes, l’origine et le type de données mobilisées, les plans d’expositions et d’argumentation, et donc les façons de réfléchir, d’écrire et de convaincre, défauts qui annihilent largement les avantages potentiels de la forme « article ». Les exemples pullulent : pour avoir une chance d’être publié, il faut tout d’abord lire attentivement les conseils aux auteurs et s’imprégner des articles des autres, pour identifier puis entrer dans le moule. Si l’on est européen, et singulièrement issu d’un pays du Sud, pour avoir une chance d’être publié, mieux vaut trouver un co-auteur anglo-saxon, ayant déjà publié dans une des revues répertoriées dans la « top list », ou, mieux encore, appartenant à un board (ce sont d’ailleurs souvent les mêmes). Ce sera de préférence un universitaire qu’on a connu lors de son post-doc, ou bien que son « patron » a fait venir comme professeur invité (ou réciproquement) ou qu’on a croisé dans un colloque où votre équipe vous a fait la faveur de vous propulser (et de vous financer). Pour avoir une chance d’être publié, mieux vaut être supporté en affichant que le papier soumis a déjà été de multiples fois présenté lors des cérémonies que sont les grands colloques ou congrès rituels aux États-Unis, qu’il a été lu et relu – donc que l’auteur a été adoubé – par des personnalités prestigieuses (dont on cite abondamment les noms et qualités sous forme de remerciements, généralement en note de première page pour être sûr que ce sera lu), que la recherche ici publiée a bénéficié de grants dont les donateurs sont aussi remerciés, et a été formidablement améliorée par les pertinentes remarques des rapporteurs, etc., bref, qu’en jugeant – et éventuellement en refusant – un papier, c’est toute cette communauté susnommée qui est jugée. Non pas seulement parce qu’elle est supposée avoir contribué à « améliorer » le texte, comme il est souligné en exergue, mais parce qu’elle s’est en quelque sorte engagée en le patronnant.

Lorsque la trouée est faite, on peut amortir ses efforts, déjà soi-même, en publiant plusieurs articles de suite, et en facilitant l’accès à d’autres (à charge de réciprocité ?), d’où parfois des publications « en grappe » de membres des mêmes équipes dans les mêmes revues, sans que des raisons, par exemple thématiques, semblent déterminantes.

D’où le sentiment – très partagé – de voir ainsi annulés les avantages inhérents à la publication d’articles : l’absence de fraîcheur (les articles sortent très longtemps après leur conception), de spontanéité et de prise de risque dans les papiers publiés. Ceux qui sont refusés répondaient-ils davantage aux critères ? Mystère, par définition !

En aval de ces remarques à caractère plutôt général, se pose la question concrète des revues sélectionnées ou non, et de leur classement. On entre là dans un autre univers, puisqu’il s’agit d’offrir ou non une visibilité, de mettre en avant (ou à la queue) certains domaines, certaines langues, certains paradigmes. Ce faisant, il s’agit aussi de faire prévaloir sans pour autant l’expliciter et le discuter, une conception de la discipline et de son devenir. Car on ne fait pas que classer les revues les unes par rapport aux autres, on les classe par domaines, donc on choisit qui va entrer en compétition avec qui, etc. C’est ainsi que par exemple il a été choisi de mêler plus ou moins la gestion et l’économie : plus ou moins au sens où certains domaines ne relèvent que de la gestion, alors que d’autres, et pas seulement les « généralistes », apparaissent plus « transversaux ».

Les choix de la section « économie-gestion » du comité national de la recherche (section dite « 37 ») en matière de supports de publication

Après une large consultation et nombre d’allers-retours, la section 37 a retenu une liste de 705 revues reconnues comme « valables » et donc susceptibles de recevoir légitimement des articles d’économistes ou de gestionnaires. Ces revues ont fait l’objet d’un double classement : par « domaines » (économie de l’agriculture, finances, santé, développement, travail, etc.) et par « niveaux » synthétisant leur supposée qualité avec pour signal leur notoriété. Les domaines retenus sont au nombre de vingt, qui complètent le domaine dit « généraliste » ; les niveaux sont au nombre de quatre (notés de façon décroissante de 1 à 4), auxquels s’ajoute un niveau 1* réservé aux seules revues généralistes (huit d’entre elles bénéficient de ce supplément d’estime).

Parmi les 705 revues listées, 58 (soit 8 %) sont de langue française, toutes les autres sont en anglais. Dans la première version de la liste, c’est-à-dire celle datée d’octobre 2007, aucune des revues de langue française n’avait été classée en « 1* » ou en « 1 », deux seulement classées en « 2 », tandis que quinze apparaissaient en « 3 » et la grande majorité en « 4 » (40 des 58 revues concernées). Dans la version de juin 2008, une revue en français a été ajoutée en « 1 », Les Annales, la revue fondée par Marc Bloch et Lucien Febvre, ainsi d’ailleurs qu’une autre revue, certes de langue anglaise, mais toutefois « européenne », le European Journal of the History of Economic Though. Mais quel que soit leur classement, ces revues de langue française sont concentrées dans un nombre limité de domaines : dix d’entre elles sont des revues dites généralistes (parmi les 72 revues listées sous cette catégorie), sept sont en histoire de la pensée économique (parmi 29) ainsi qu’en stratégie et management (sur 42), six en économie spatiale et géographique (sur 34), quatre en développement et transition (sur 41). Précisons encore qu’un des domaines n’a aucune revue de langue française (recherche opérationnelle), tandis que neuf domaines n’en ont qu’une seule, et trois n’en mentionnent que deux.

Cette réflexion sur la langue des revues reconnues comme valables ne relève pas seulement d’une lubie. Elle pose au moins trois questions : celle du mode d’expression, car la langue dans laquelle on écrit a une certaine influence sur la structuration de la pensée ; celle de la diffusion dans l’espace public, et donc de la capacité à intervenir dans les débats de la cité ; enfin celle de l’appropriation de recherches par nos étudiants, dont le déficit de lecture est notoire. Sur cette marginalité des revues de langue française retenues dans la liste, les « attendus » de la liste proposée par la section 37 précisent qu’il s’agit en fait d’un progrès : « l’ignorance de la langue française conduit les classements internationaux à prendre peu en compte les revues publiant des articles en français ». Rappelons que, concernant les revues dans d’autres langues que l’anglais et le français, les mêmes attendus de présentation précisent aussi que « la section [37] a estimé ne pas disposer des compétences nécessaires pour procéder à l’évaluation de telles revues » (p. iii). Quoi qu’il en soit, il est de notoriété publique que les articles émanant de Français, mais plus généralement d’Européens, sont moins lus et moins cités par les Américains du Nord que ceux émanant de leurs collègues, même s’ils sont publiés dans les mêmes supports (cette remarque concerne y compris et peut-être surtout des sciences exactes, où la concurrence est plus vive).

C’est en ayant tous ces éléments à l’esprit que nous avons entrepris de nous intéresser spécifiquement, dans ce texte, à la fréquence d’accès des auteurs français aux revues classées (par la communauté des économistes français) comme les meilleures dans chacun des domaines spécifiques retenus par la section 37, soit au total 88 revues sur les 705 mentionnées. Toutefois, pour le moment, notre investigation n’a pas pris en compte certains domaines très particuliers comme l’économie de l’agriculture, de l’environnement et de l’énergie ; la comptabilité et le contrôle de gestion ; l’innovation et l’entreprenariat ; la logistique et la production ; la recherche opérationnelle ainsi que les systèmes d’information et le domaine « stratégie et management ». De même, nous n’avons délibérément conservé que les revues classées en 1* pour les revues généralistes, sélectionnant ainsi les quelques revues « top » de chacun des domaines [3].

Méthodologie de notre étude sur les auteurs des articles publiés dans les revues

Quelles revues prendre en compte ?

Répétons-le ici, notre démarche a conduit à écarter de notre étude les six domaines que nous venons d’énumérer. Nous avons considéré que, vu leur extrême spécialisation et l’extrême spécialisation des unités où ils étaient abordés, ils ne pouvaient entrer de façon simple dans une réflexion sur « la situation générale » des unités de recherche liées au CNRS (ou assimilées). Pour les autres domaines, comme il a été déjà précisé, tous les titres classés « 1 » (« 1* » pour les revues généralistes) ont été analysés.

Combien d’articles ?

Le nombre d’articles à prendre en compte est un problème délicat. En effet, on ne possède aucun critère pour guider dans ces choix, hormis la capacité de travail de celle qui dépouille. Pour le moment, le choix empirique qui a prévalu est le suivant : prendre dans chacun des domaines un nombre d’articles « non négligeable », à partir des numéros les plus récents. Concrètement, cela a consisté à analyser le dernier numéro disponible, puis à remonter dans le temps, jusqu’à avoir au moins une vingtaine d’articles par titres, une centaine par domaines, dans la période bornée par 2007/2008. On a donc dépouillé un nombre variable de numéros parus durant ces deux années, en raison de l’extrême variété de fréquence de parution et « d’épaisseur » de leur contenu. Cette démarche pourra, certes, être ultérieurement complétée, mais on peut considérer avoir déjà réuni, avec cet échantillonnage, une image pertinente des « publiants », car évidement l’idée n’est pas de construire une base de données, encore moins de faire de la statistique. À ce stade, il s’agit déjà de pointer des ordres de grandeur, et on verra que ceux-ci sont particulièrement instructifs.

Les éditeurs

Compte tenu de la méthode retenue, les éditeurs n’ont pas fait l’objet de choix spécifiques, puisqu’on s’est calé sur les titres des revues ; on s’est donc contenté de les noter. Par contre, force est de constater, comme on l’a déjà souligné, la forte concentration des éditeurs. Par exemple, les quinze revues d’Elsevier classées en « 1 » ou « 1* » ont évidemment des « proximités », ne serait-ce que parce que l’abonnement des bibliothèques à ces revues se fait par « package ».

Les boards

Ils sont soit composés de façon homogène de chercheurs américains voire anglo-saxons, soit (rarement) parcimonieusement ouverts aux européens et asiatiques. La composition des boards joue évidemment un rôle majeur à plusieurs titres, tout d’abord en insufflant « l’esprit de la revue » et ses normes, ensuite en « référant » et choisissant les « referees ». À cette phase de l’étude, on s’est contenté d’observer systématiquement la nationalité et l’origine universitaire des « membres ».

Présentation globale des résultats

Avertissement

En recensant l’origine des articles parus dans les revues classées « top », nous n’entendons en aucun cas stigmatiser la recherche française, comme l’a fait le président de la République lors de son célèbre discours du 22 janvier 2009. Il s’agit au contraire d’attirer l’attention sur la non-pertinence de l’indicateur qui a été choisi, en méconnaissance de cause, et de mettre en évidence le fait que les revues mises en exergue dans la liste des publications retenues par la section 37 et reproduite pour l’essentiel par l’AERES sont avant tout, et sans doute pour longtemps, des revues américaines, gérées et référées par des Américains ou en tout cas des Anglo-Saxons, et qui publient, sauf exceptions, des textes issus de leurs propres rangs, laboratoires et unités, ou bien signés par des auteurs ayant des connexions avec leurs centres de recherche.

Les auteurs français [4] accèdent très peu aux revues que la communauté scientifique française a pourtant placées en tête du point de vue de la qualité et de la notoriété

Pour tenter d’évaluer l’accès des « Français » aux revues cibles – en tant qu’objectifs à atteindre – fixées par la commission économie/gestion du comité national, nous avons dépouillé 1 636 articles, signés par 3 191 auteurs (ou co-auteurs) dans 57 titres de revues. Quelle place ont occupée les Français parmi cet ensemble ?

Sur l’ensemble des 57 titres de revues dépouillées, seules 31 ont accueilli ne serait-ce qu’une fois durant la période étudiée (c’est-à-dire dans les numéros parus durant cette période) un papier signé d’un auteur travaillant dans une institution française [5]. Certains domaines sont particulièrement étanches : en « droit et économie » et en « gestion des ressources humaines », aucune signature (y compris co-signature) française ; en « Finance et assurance », une seule revue. Mais même dans les domaines davantage « ouverts », force est de constater que l’accès des Français est réduit, voire exceptionnel. Ainsi, sur les 1 636 articles dépouillés, seuls 62 (3,8 %) sont signés (ou co-signés) par au moins un Français. Compte tenu des possibilités de co-signatures, le nombre d’auteurs ayant signé au moins un article dans une des revues de rang 1 (1* pour les revues généralistes) s’établit à 93, soit 2,9 % des signataires. La communauté des économistes et gestionnaires français a donc placé en tête du classement des revues qu’elle lit (peut-être) mais auxquelles elle n’accède quasiment pas en tant qu’auteur !

D’importants contrastes selon les domaines

Cette présence française évaluée entre 3 et 4 % (selon qu’il s’agit des articles ou des auteurs) recèle en fait de très fortes disparités selon les domaines, et aussi selon qu’il s’agit, en dominante, de l’économie ou de la gestion. Trois domaines sont nettement plus « francisés » que les autres : il s’agit de l’histoire de la pensée économique, et, dans une moindre mesure, de l’économie publique et de l’économétrie. Dans les dix autres domaines étudiés, la part des Français tombe à 0,2 % lorsqu’il s’agit des articles et à 1,6 % lorsqu’on prend en compte l’origine des auteurs.

Une domination absolue de quelques grandes universités américaines, qui se reflète dans l’homogénéité des éditeurs

Les éditeurs des revues classées en 1 (1* pour les revues généralistes) sont les grands éditeurs anglo-saxons bien connus (même s’ils sont néerlandais). Ils se partagent inégalement entre des éditeurs « commerciaux » et des Presses universitaires. Ainsi, Elsevier édite 15 des 57 revues analysées, Blackwell 9 d’entre elles et Springer 4, soit au total la moitié des titres. L’autre moitié se répartit entre quelques Presses universitaires majeures comme Oxford Journal, Chicago University Press, ou Cambridge University Press. Il est évident que nombre de revues « universitaires », qui accueillent plus que les contributions de leurs propres départements, reflètent néanmoins les travaux qui s’y développent ou du moins les paradigmes qui les sous-tendent.

L’absence de pluralisme des « boards » en est une illustration

Avant de revenir plus en détail sur cet aspect, notons simplement que, de façon très générale, on constate une domination quasi exclusive des chercheurs et enseignants américains d’une part, canadiens, britanniques voire australiens d’autre part. De-ci de-là, on trouve quelques Européens non anglo-saxons, dont les CV montrent souvent des liens passés ou encore actuels avec telle ou telle grande université américaine. Par ailleurs, on note quelques participations « croisées » à différents « boards ». À cet égard, de façon générale, on note que tous les membres sont soit américains (l’écrasante majorité) soit éventuellement canadiens ou britanniques, très exceptionnellement israéliens ou européens, et, dans ces rares cas, belges, néerlandais, ou encore asiatiques, de Hong Kong par exemple. Mais à y regarder de plus près, il s’agit presque toujours de chercheurs ayant effectué une partie de leur cursus dans une université américaine, et certains signent d’ailleurs encore avec une adresse e-mail se terminant par « .edu ». Lorsqu’on repère des Français dans les boards, ce sont le plus souvent des gestionnaires (de l’INSEAD qui a un « look » américain et en tout cas une filiale à Singapore) ou des économètres. Cette homogénéité américaine incontestable n’implique pourtant pas nécessairement que les grandes universités dominent tout le staff : de très nombreuses universités, plus ou moins connues et plus ou moins prestigieuses, sont représentées dans ces boards, assurant peut-être un certain pluralisme universitaire. De plus, il est intéressant de noter que les co-signatures impliquent très souvent des chercheurs travaillant dans des universités différentes, implantées dans des États différents, ce qui témoigne de l’existence d’un réseau de relations qui résulte sans doute largement de l’importante mobilité des chercheurs américains avant qu’ils obtiennent la tenure.

L’influence de la composition des boards est confirmée, s’il en était besoin, par le fait que les rares revues où les Français placent des articles sont toutes animées par des boards ayant laissé une place non totalement négligeable à des Européens ou en tout cas à des non-Anglo-Saxons. En témoigne évidemment le Journal of Mathematical Economics qui affiche dans notre dépouillement onze auteurs français ayant signé cinq articles. Son board est significativement différent de celui des autres revues et marqué par son histoire puisque la revue a été fondée par un Français (Debreu) et est actuellement dirigée par un rédacteur en chef français appartenant à la fois à Paris (CES) et à une université américaine (où il a ensuite été recruté). À cela s’ajoute, élément capital, outre deux autres Français, un panel de chercheurs particulièrement cosmopolite : israéliens, suisse, néerlandais, danois, allemands, japonais, espagnols, asiatiques, russes etc. Au total, les Américains ne représentent qu’à peine plus de la moitié du board (23/43 membres) de cette revue spécialisée.

Des publications de « volume » très différent

Les opportunités de publication dépendent, faut-il le rappeler, du nombre d’articles que les différentes revues décident de publier dans chacun de leurs numéros. C’est ainsi que certains titres publient un nombre très important d’articles, tandis que d’autres, au contraire, sont beaucoup moins volumineux et paraissent avec une moindre fréquence. La « capacité d’accueil » des différents supports s’en trouve évidemment affectée. Par exemple, le total de pages publiées dans The Journal of Econometrics atteint pour l’année 2007 le volume astronomique de 4 796 pages (il tomberait à 2 806 pages en 2008 !). Au contraire, l’Administrative Science Quaterly ne fait au total que 704 pages en 2007, tandis que le Journal of Economic Growth ne présente, quant à lui, pour toute l’année 2007, que 387 pages (et même 313 pages en 2008). Certes, les « communautés » scientifiques susceptibles de présenter des contributions aux différentes revues ne sont pas de même taille, et on ne sait rien du rapport entre les papiers soumis et les papiers retenus. Par ailleurs, il est possible voire probable que, selon les domaines, la pondération entre les formes « article » et « ouvrage » soient très différentes, les recherches utilisant les mathématiques et les statistiques s’orientant vraisemblablement davantage vers des supports « revues » que celles en philosophie économique. Reste que la probabilité de se voir accepté a nécessairement quelque chose à voir avec l’ampleur des supports susceptibles d’être mobilisés.

Retour sur les revues de rang « 1 » ou « 1* » où les chercheurs français « placent » quelques articles

De notre étude, il ressort que 6 revues sur les 57 analysées concentrent environ la moitié des contributions françaises, qu’il s’agisse du nombre d’articles ou du nombre d’auteurs. Il s’agit, classées par ordre décroissant du nombre d’articles signés par des Français, des titres suivants : European Journal of the History of Economic Thought, Management Science, History of Political Economy, Journal of Public Economics, Journal of Mathematical Economics, Social Choice and Welfare. Soit deux revues d’histoire de la pensée économique, deux d’économie publique, une de gestion et une d’économétrie. Ces six revues représentent en effet 49 % des supports de publication des auteurs français et 51 % de leurs articles, alors qu’ils ne rassemblent seulement que 11 % des auteurs et des articles recensés.

Quelques réflexions en guise de conclusion

Cet exercice d’observation des contributeurs français s’est focalisé à dessein sur les revues considérées comme les meilleures par la communauté des économistes et gestionnaires. Certes, les revues qui viennent en dessous dans la liste (celles en B, C, D ou 2, 3, 4) reçoivent davantage de textes (on ne les a pas décomptés), qui sont moins valorisés au sens où ils interviennent avec une moindre pondération dans les notes attribuées par l’AERES. Sans parler des revues qui sont cataloguées comme appartenant à d’autres disciplines, et n’entrent pas dans les décomptes. Car c’est évidemment la revue, c’est-à-dire le support, qui fait la qualité d’un texte. Et donc, in fine, c’est bien le board et les referees qui jugent de la qualité d’un chercheur, d’un laboratoire, du bien fondé d’une orientation théorique ou appliquée, puisque l’accès aux revues constitue non seulement un indicateur synthétique de qualité, mais il décide de la visibilité des travaux, c’est-à-dire de leur existence même, voire, si l’on n’y prête attention, de la survie des thématiques et des équipes qui les mettent en œuvre.

Cette situation peut inciter à déployer diverses stratégies aux conséquences contrastées. Ou bien, en bons agents rationnels, nous devrions tous nous replier vers les « niches » où les Français peuvent faire surface, c’est-à-dire nous convertir et convertir nos étudiants soit à l’histoire de la pensée économique, soit à l’économie publique, soit à l’économétrie, afin de satisfaire enfin les critères qui nous seront appliqués pour juger de la qualité de notre recherche et donc notre droit de la poursuivre. Ou bien nous changeons radicalement de critères d’évaluation et nous dégageons de cette dictature de la publication telle qu’elle se traduit dans les faits, et telle qu’elle sert à orienter la recherche tant théorique qu’appliquée. Car à n’en pas douter, au delà des enjeux de distinction et éventuellement d’intéressement matériel – des primes sont déjà parfois à la clé –, c’est de l’orientation de la recherche en économie et de son attractivité qu’il s’agit. C’est aussi des dotations en moyens de travail et donc d’avenir, via les « notes » attribuées aux unités, aux laboratoires, aux écoles doctorales et aux universités elles-mêmes par l’AERES. Dès lors, le « publish or perish » est-il déjà dépassé ? Était-ce tout simplement la préfiguration de la lutte de tous contre tous, où les critères s’ajustent en fonction des rapports de force ? Souhaitons que notre communauté dans son ensemble en prenne conscience.

Annexe : Place des français et des européens parmi les « publiants » des revues dépouillées dans le cadre de cette note

Domaine

Nombre d’articles

Nombre d’auteurs

Nombre d’auteurs français

Taux d’auteurs français

Nombre d’articles signés par des français

Nombre d’articles signés par des européens

Taux d’articles signés par des français

Taux d’articles signés par des européens

Revues Généralistes 316 630 18 2.9 12 38 3.8 12
Développement et transition 153 290 7 2.4 4 27 2.6 17.6
Droit et économie 91 166 0 0 0 19 0 20.9
Finance et assurance 167 345 1 0.3 1 13 0.6 7.8
Gestion des R H 56 118 0 0 0 2 0 3.6
HPE Histoire économique 99 124 15 12.1 12 17 12.1 17.2
Macro économie, Economie Inter. 108 208 4 1.9 4 23 3.7 21.3
Organisation industrielle 97 185 4 2.2 3 26 3.1 26.8
Economie publique 115 216 16 7.4 10 37 8.7 32.2
Economie de la santé 112 329 3 0.9 2 14 1.8 12.5
Economie spatiale, transports 73 139 3 2.2 2 15 2.7 20.5
Théorie économique, économétrie, jeux 179 308 21 6.8 11 47 6.1 26.3
Economie du travail 70 133 2 1.5 2 5 2.9 7.1
Ensemble des revues classées 1 ou 1*

1636

3191

94

2.9

63

283

3.9

17.3

Photo (cc) : svenwerk

par Florence Audier, le 15 septembre 2009

Aller plus loin

 Enquête(s) sur une science politique en devenir, enquêtes à propos des pratiques de publication des politistes français, Congrès international des associations francophones de science politique, 7-9 septembre 2009.

Pour citer cet article :

Florence Audier, « L’évaluation et les listes de revues », La Vie des idées , 15 septembre 2009. ISSN : 2105-3030. URL : https://laviedesidees.fr/L-evaluation-et-les-listes-de-revues

Nota bene :

Si vous souhaitez critiquer ou développer cet article, vous êtes invité à proposer un texte au comité de rédaction (redaction chez laviedesidees.fr). Nous vous répondrons dans les meilleurs délais.

Notes

[1« Objectifs et principes », Catégorisation des revues en Economie et en Gestion, Section 37 du Comité national, Octobre 2007.

[2Voir le texte intitulé « Les revues prises dans le piège de l’évaluation », lancé par un collectif de 31 revues de sciences humaines parmi les plus prestigieuses.http://www.slru.ehess.org/index.php?post/2009/03/15/Les-revues-prises-dans-le-pi%C3%A8ge-de-l-%C3%A9valuation2

[3Les revues généraliste notées 1* sont déjà au nombre de 8. Quant aux autres domaines, ils ne décernent généralement le classement en « 1 » qu’à trois ou quatre titres, exceptionnellement à six titres.

[4Les chercheurs dits « français » sont non pas des nationaux, mais des chercheurs qui signent leurs articles en mentionnant leur appartenance à une institution située en France (il peut évidemment s’agir de chercheurs de nationalités diverses, travaillant dans une institution française à titre permanent ou transitoire). La réciproque est également vraie : des Français travaillant à titre permanent ou transitoire dans une institution étrangère et signant leur contribution à ce titre ne sont pas comptés parmi les contributeurs français.

[5Il va sans dire qu’il s’agit d’articles rédigés en langue anglaise.

Nos partenaires


© laviedesidees.fr - Toute reproduction interdite sans autorisation explicite de la rédaction - Mentions légales - webdesign : Abel Poucet