Les données cachées entravent l’évaluation des livres. L’analyse des ISBN dans le Registre mondial des éditeurs permet de disposer d’un outil puissant pour la bibliométrie, l’élaboration de stratégies et de métriques précises sur les livres.
L’évaluation des publications universitaires donne souvent la priorité au « prestige », ce qui aboutit à des résultats incohérents et injustes. Mes recherches antérieures montrent que ces systèmes ne tiennent compte ni de la qualité intrinsèque de la recherche ni de l’accessibilité de l’ouvrage lui-même. C’est pourquoi j’ai mis en garde contre le fait de juger les livres en fonction de leurs éditeurs dans de nombreux articles ici, ici (en anglais) et ici (en lituanien).
Après tout, quel est l’impact des découvertes révolutionnaires si elles restent enfermées derrière des paywalls coûteux ou des formats non accessibles ? Cette disparité exige des mesures innovantes et responsables qui évaluent à la fois la qualité et la disponibilité, favorisant ainsi une évaluation plus juste et plus efficace de la recherche.
Pour relever ce défi, je me suis lancée dans un voyage de recherche pour comprendre qui publie les livres soumis à évaluation dans différents pays, y compris mon pays d’origine, la Lituanie.
Plus exactement, je voulais savoir si les décideurs politiques lituaniens avaient atteint leurs objectifs en encourageant financièrement la publication auprès d’éditeurs étrangers « prestigieux » pendant des décennies. Pour ce faire, j’ai dû identifier les activités principales des éditeurs de livres ainsi que les pays dans lesquels les chercheurs ont publié leurs travaux.
Je voulais également comparer les résultats lituaniens avec ceux d’autres pays. J’ai donc obtenu du Conseil de la recherche de Lituanie les listes des livres soumis aux évaluations annuelles de la recherche, ainsi que leur ISBN (International Standard Book Numbers).
Deux autres sources de données étaient nécessaires : les listes de livres soumis à l’évaluation de la recherche dans un autre pays, à des fins de comparaison, et une source de métadonnées fiables pour ces livres.
Mais il s’est avéré difficile de trouver des données appropriées. Tout d’abord, aucune base de données ne couvre l’ensemble des publications dans tous les pays. Deuxièmement, tous les pays ne disposent pas d’une liste complète des résultats nationaux. Heureusement, les soumissions REF (Research Excellence Framework) du Royaume-Uni peuvent être téléchargées et explorées librement.
C’est alors que j’ai découvert la puissance des codes ISBN et de leurs métadonnées dans le Registre mondial des éditeurs, tenu par l’Agence internationale de l’ISBN. En utilisant les données de ce registre, j’ai non seulement trouvé des métadonnées pour chaque ISBN dans mes ensembles de données, mais j’ai également obtenu des informations précieuses sur les paysages éditoriaux et les habitudes de publication des chercheurs au Royaume-Uni et en Lituanie.
Avant de plonger plus avant dans le défi que représente l’évaluation des livres universitaires, examinons d’abord le potentiel des ISBN et du Registre mondial des éditeurs pour répondre aux questions sur les normes et les tendances en matière de publication scientifique.
Découvrir le monde de l’édition avec les ISBN
Conçus à l’origine pour les chaînes d’approvisionnement en livres, les ISBN présentent un potentiel surprenant pour l’évaluation de la recherche, car ils intègrent un préfixe d’éditeur (figure 1). Ce préfixe agit comme une empreinte digitale et nous permet d’identifier le véritable éditeur du livre, contrairement aux informations parfois trompeuses figurant sur les pages de copyright.
Figure 1. Structure d’un code ISBN, dont les trois premiers éléments identifient l’éditeur.
Par exemple, un livre peut mentionner une marque éditoriale spécifique sur la page des droits d’auteur, mais le préfixe ISBN révèle qu’il appartient à un groupe d’édition plus important. Si les experts jugent les livres en fonction de leurs éditeurs, ces informations cachées peuvent s’avérer cruciales pour évaluer avec précision les résultats de la recherche et garantir l’équité entre les institutions.
Et le plus beau ? Les informations sur l’éditeur sont facilement accessibles grâce au Registre mondial des éditeurs, une base de données gratuite qui rassemble les données ISBN de plus de 150 agences dans 200 pays. En tant qu’utilisateur enregistré, tout le monde peut accéder aux détails des principales activités des éditeurs, ce qui était crucial pour ma recherche.
Lorsque j’ai examiné les données ISBN pour les livres britanniques et lituaniens de mon ensemble de données, j’ai découvert un monde complexe d’éditeurs et de marques éditoriales multiples qui était souvent en contradiction avec les déclarations figurant sur la page des droits d’auteur. Par exemple, un éditeur unique comme HarperCollins peut utiliser le même préfixe ISBN pour des douzaines de noms différents, ce qui rend difficile de savoir qui est vraiment derrière le livre.
La dynamique commerciale du monde de l’édition ajoute une couche supplémentaire d’intrigue à l’histoire. Les éditeurs fusionnent et acquièrent des concurrents, et certaines marques passent d’un éditeur à l’autre. La même maison d’édition peut changer de mains plusieurs fois et même être transformée en société indépendante. Ce paysage changeant met en évidence les limites des méthodes d’évaluation traditionnelles qui reposent uniquement sur la réputation de l’éditeur.
Mais qu’est-ce que cela signifie pour une évaluation plus juste et plus efficace de la recherche ? Mon analyse des données ISBN révèle des informations surprenantes sur les éditeurs de livres et leurs relations avec les chercheurs.
Un terrain de jeu inégal : Libre accès vs. prestige dans l’évaluation des livres savants
Les métadonnées des ISBN de livres provenant du Royaume-Uni et de Lituanie ont révélé une disparité entre les politiques nationales et les pratiques d’édition. Alors que le Royaume-Uni donne la priorité à l’ « open access », promouvant l’accessibilité plutôt que le prestige des éditeurs, certaines universités continuent de mettre l’accent sur les éditeurs reconnus pour les soumissions REF. Cette contradiction entre la politique et la pratique pourrait expliquer pourquoi le REF revendique la neutralité à l’égard de la réputation des éditeurs. Étant donné que mon étude s’est concentrée uniquement sur le comportement des éditeurs, il serait utile de poursuivre les recherches sur l’accessibilité des livres afin d’étudier la proportion de livres REF en libre accès.
La Lituanie, quant à elle, encourage explicitement la publication auprès d’éditeurs universitaires étrangers prestigieux en offrant des incitations financières. Les décideurs politiques partent du principe que les éditeurs prestigieux garantissent une large diffusion. Aucune politique ne mentionne l’accessibilité. Cependant, mes recherches montrent que ces incitations n’ont pas été efficaces. Au contraire, de nombreux universitaires lituaniens ont du mal à accéder à ces éditeurs de premier plan tant convoités, et une grande partie de leurs ouvrages sont publiés au niveau national ou par le biais de l’autoédition.
Les données ci-dessous illustrent l’inégalité des règles du jeu :
- Pour les livres REF du Royaume-Uni, la concentration d’éditeurs renommés limite potentiellement l’accessibilité en raison de paywalls, malgré la politique nationale de libre accès (figure 2).
- Pour les ouvrages lituaniens, les petits éditeurs indépendants publient collectivement plus d’ouvrages que les dix premiers, mais une partie d’entre eux n’a pas forcément les ressources nécessaires pour garantir l’accessibilité des ouvrages sous différents formats (figure 3).
Figure 2. Livres britanniques publiés, par éditeur
Figure 3. Livres lituaniens publiés, par éditeur
Qui publie ces livres ? Les universitaires britanniques s’appuient sur des éditeurs universitaires reconnus, tandis que les Lituaniens se tournent vers les universités, l’autoédition et les entreprises ou institutions dont le cœur de métier n’est pas l’édition (figures 4 et 5). Cela semble indiquer qu’il est difficile pour les Lituaniens de s’assurer les services d’un éditeur prestigieux, malgré l’incitation financière à le faire.
Figure 4 : part des livres publiés au Royaume Uni par type d’éditeur
Figure 5 : part des livres publiés en Lituanie par type d’éditeur
Où publient les chercheurs ? L’analyse des données ISBN montre que les chercheurs britanniques publient principalement en Europe, surtout auprès d’éditeurs nationaux (figure 6). En revanche, les chercheurs lituaniens publient actuellement davantage d’ouvrages à l’étranger, les publications nationales étant en baisse puisque seuls les éditeurs étrangers peuvent se voir attribuer le label « prestigieux » (figure 7). Cela peut sembler indiquer que les décideurs lituaniens ont réussi à encourager le prestige des éditeurs, mais la figure 5 montre que les éditeurs universitaires n’ont produit qu’un quart des livres lituaniens en 12 ans, ce qui jette un doute sur l’efficacité de la politique.
Figure 6. Part des livres britanniques par pays d’édition.
Figure 7. Part des livres lituaniens par pays d’édition.
Les deux pays présentent un décalage entre la règlementation et la pratique. Toutefois, le REF britannique impose l’open access à partir de 2024. Cette mise à jour de la réglementation devrait être une aubaine pour l’accessibilité de l’édition scientifique au Royaume-Uni. Elle offre également un cadre à la Lituanie et à d’autres pays pour donner la priorité à l’accessibilité et au mérite des ouvrages scientifiques.
Faire progresser l’évaluation de la recherche : Le potentiel scientométrique des données ISBN
Recommandations stratégiques
Sur la base de mes conclusions, je recommande une approche à plusieurs volets pour résoudre les problèmes identifiés dans le système d’évaluation des livres en Lituanie.
Tout d’abord, étant donné que la plupart des livres lituaniens ont été produits par des universités et des éditeurs universitaires non professionnels, les décideurs politiques lituaniens devraient cesser d’encourager uniquement le prestige de l’éditeur. Au lieu de cela, ils peuvent piloter une politique d’open access pour les résultats de la recherche, similaire au REF britannique, afin d’assurer une plus grande accessibilité en même temps qu’une évaluation basée sur le mérite. Malgré les préoccupations potentielles liées au coût ou à la complexité de la mise en œuvre, les avantages à long terme en termes de transparence et d’efficacité devraient être soigneusement pris en compte.
Deuxièmement, l’étude de l’adoption d’un système utilisant les codes ISBN et le Registre mondial des éditeurs pour les métadonnées des livres pourrait rationaliser la collecte des données et fournir des informations précieuses sur le paysage de l’édition.
Contribution à la scientométrie
En libérant le potentiel d’une source de données importante mais sous-utilisée, mon travail ouvre de nouvelles voies pour la scientométrie, l’élaboration de stratégies et le développement de métriques sur les livres.
Les chercheurs en scientométrie peuvent désormais accéder à des métadonnées fiables et complètes sur les livres, ce qui leur permet d’effectuer des analyses plus précises et plus nuancées des résultats de la recherche dans chaque pays. Les décideurs politiques, quant à eux, peuvent découvrir les aspects pratiques de l’industrie du livre, ce qui les aidera à élaborer des pratiques d’évaluation de la recherche plus efficaces. Les concepteurs de métriques sur les livres peuvent s’appuyer sur ces résultats pour créer des indicateurs nouveaux et améliorés qui reflètent le paysage diversifié de l’édition universitaire.
Recherches futures
Mon travail suggère également plusieurs questions-clefs de recherche afin d’affiner notre compréhension des pratiques d’évaluation et d’édition des livres savants.
Tout d’abord, une analyse complète de l’accessibilité des livres actuellement soumis en Lituanie est nécessaire. Il s’agirait d’identifier les formats et les plateformes disponibles pour accéder à ces livres et d’évaluer les obstacles éventuels.
Deuxièmement, il est essentiel d’étudier la disponibilité et les sources potentielles de métadonnées supplémentaires pour les résultats de la recherche nationale. Cela pourrait impliquer d’étudier les données des bibliothèques nationales, des dépôts d’archives et d’autres sources pertinentes pour les livres.
Enfin, il est essentiel de déterminer la faisabilité et l’impact de l’intégration de métadonnées basées sur l’ISBN dans les cadres d’évaluation des livres existants. La recherche dans ce sens impliquerait des études pilotes et des comparaisons avec les méthodes traditionnelles afin d’évaluer l’efficacité et les avantages potentiels de cette approche.
En répondant à ces questions-clefs, les recherches futures pourront s’appuyer sur les résultats de mon étude et contribuer au développement de systèmes d’évaluation des livres plus performants et plus équitables.
Je remercie sincèrement Stella Griffiths, directrice exécutive de l’Agence internationale de l’ISBN, qui a non seulement répondu à des questions pratiques sur les normes et leur application, mais qui a également pris le temps d’examiner le manuscrit intitulé « The challenge of assessing academic books : Les cas du Royaume-Uni et de la Lituanie sous l’angle de l’ISBN ». Ses suggestions perspicaces ont grandement amélioré la clarté et la précision de mes recherches sur les ISBN.
L’ALIRE remercie sincèrement Eleonora Dagiene de nous avoir autorisés à traduire et diffuser cet article passionnant sur le rôle de l’ISBN.
