Usages et indicateurs de mesure

/ mer 31/07/2024 - 14:13

Introduction

Les directives qui suivent aideront les éditeurs et les revues du modèle Diamant à se conformer aux exigences du standard de l’accès ouvert Diamant (DOAS) concernant les usages et les indicateurs de mesure.

L’application d’indicateurs d’usage et d’indicateurs de mesure complets, précis et fiables, ainsi que la communication claire sur les outils d’analyse et les méthodologies, permet aux éditeurs du modèle Diamant de garantir que chaque revue maintient des normes élevées de transparence et de responsabilité. Le respect des règles de protection des données protège au mieux la vie privée des utilisateurs et renforce la crédibilité des données collectées et des indicateurs de mesure qui en découlent.

Corps du texte

Pour évaluer la qualité d’une revue et l’impact des contenus qu’elle publie, en particulier dans le contexte de l’accès ouvert (OA) et de la science ouverte, il faut une approche variée. Les indicateurs de mesure traditionnels restent pertinents, mais des indicateurs de mesure responsables ont vu le jour pour quantifier l’influence et la portée plus larges des publications en accès ouvert.

Ces nouveaux indicateurs de mesure soulignent l’importance d’une approche équilibrée, transparente et inclusive pour évaluer la recherche. En utilisant un éventail diversifié d’indicateurs de mesure, en intégrant des évaluations qualitatives et en priorisant la transparence et l’équité, ils visent à refléter avec grande précision l’impact multidimensionnel des travaux d’érudition. S’ils adoptent cette approche, les revues et éditeurs en accès ouvert Diamant soutiennent les objectifs plus larges de la science ouverte, ce qui favorise la constitution d’un milieu où il est possible de faire circuler, de consulter et de valoriser librement une recherche sur la base d’une évaluation de son impact réel.

Pour soutenir la diversité et l’inclusion dans la mesure de l’impact, il est recommandé de ne pas se limiter au seul facteur d’impact pour mesurer la qualité d’une revue et les retombées des contenus qu’elle publie. Les éditeurs et revues du modèle Diamant doivent plutôt user d’une variété d’indicateurs quantitatifs et qualitatifs pour quantifier plus globalement l’impact d’une recherche, y compris les indicateurs de mesure de citation, les indicateurs de mesure dits alternatifs (altmetrics), les évaluations par les pairs et les mesures de l’impact social. Il est aussi nécessaire de reconnaître que les disciplines n’ont pas toutes les mêmes normes et mesures d’impact.

Il est recommandé que les méthodologies derrière les indicateurs de mesure soient transparentes et compréhensibles, pour que les chercheurs sachent par quels procédés leur travail est évalué. Les indicateurs de mesure sélectionnés doivent se fonder sur des ensembles de données ouverts dans la mesure du possible pour permettre la vérification et l’analyse plus approfondie par les pairs.

Si, pour mettre les chiffres en contexte, on complète les indicateurs de mesure quantitative avec des apports qualitatifs – commentaires des évaluateurs, exemples, avis d’experts, etc. –, on peut donner un contexte narratif. En ce sens, il est bon que l’évaluation ouverte par les pairs, offrant un accès libre aux rapports des évaluateurs, soit davantage prise en considération et adoptée, dans la mesure du possible.

Les indicateurs de mesure utilisée doivent être régulièrement examinés et actualisés pour refléter tout changement à l’environnement de recherche et toute avancée technologique. Ils peuvent rendre compte de l’impact (lequel peut se fonder sur les citations ou les indicateurs de mesure dits alternatifs), des usages, ou encore de l’efficacité des processus de travail et de décision à la revue (dates butoirs pour déposer un manuscrit, date d’acceptation, date de publication, taux de rejet des manuscrits, etc.). La granularité de ces indicateurs de mesure peut aussi varier, car ces derniers peuvent se rapporter à des éléments de contenu particuliers, comme les articles, ou à l’ensemble de la revue.

Indicateurs de mesure de citation

Compter le nombre total de fois qu’un article est cité dans d’autres travaux scientifiques.

indicateurs de mesure dits alternatifs

Suivre la fréquence à laquelle, dans les médias sociaux (X, LinkedIn, Facebook, etc.), soit des recherches sont mentionnées, soit les hyperliens vers elles sont publiés. Surveiller les apparitions dans des blogues, des articles de presse et d’autres sources médiatiques. Mesurer la fréquence à laquelle les articles sont enregistrés ou marqués dans des gestionnaires de références comme Mendeley. Suivre l’engagement manifesté dans les commentaires sur les sites Web des éditeurs, les forums de discussion et les réseaux universitaires.

L’identifiant pérenne est un instrument vital pour chiffrer les indicateurs de mesure dits alternatifs, qui suivent l’attention et l’engagement en ligne.

Indicateurs de mesure des usages

Pour mesurer sous toutes ses facettes l’impact d’une revue et des contenus qu’elle publie, en particulier dans le contexte de l’accès ouvert et de la science ouverte, il est essentiel d’utiliser un jeu d’indicateurs de mesure traditionnels et alternatifs. Ensemble, ils doivent pouvoir rendre compte de leur influence scientifique par les citations et, plus largement, de leur impact social par les téléchargements, les mentions et les engagements sur diverses plateformes. Le suivi de ces indicateurs de mesure diversifiés confère une vision holistique de la portée, de l’influence et de la contribution de la revue au monde de la recherche de pointe et à la société.

Les éditeurs institutionnels doivent fournir des indicateurs de mesure pour les articles et les revues : visites, vues, téléchargements, citations, données des indicateurs dits alternatifs, répartition géographique des visiteurs, etc. Il se peut que ces indicateurs requièrent différents niveaux d’efforts, d’expertise technique et de soutien, ou qu’elles engagent des dépenses. Certains indicateurs de mesure sont relativement peu exigeants d’un point de vue technique, comme l’enregistrement de la date de réception, d’acceptation ou de publication d’un manuscrit, tandis que d’autres peuvent exiger des logiciels ou des plugiciels spéciaux, comme des widgets affichant la répartition géographique des visiteurs. Enfin, certains indicateurs de mesure représentent des solutions propriétaires qui pourraient nécessiter du financement, comme Altmetric, PlumX Metrics ou les badges de citation Dimensions.

Processus du travail éditorial

Les processus du travail éditorial sont fondamentaux pour maintenir la qualité, la rapidité et l’intégrité de l’édition scientifique et savante. Ils bénéficient à toutes les parties prenantes (auteurs, évaluateurs, réviseurs et lecteurs) en garantissant que les rapports de recherche sont diffusés de manière fluide, efficace et éthique, tout en maintenant des normes élevées de rigueur scientifique.

Il est possible de suivre et de mesurer plusieurs composantes des processus du travail éditorial :
la rapidité de l’examen initial d’un manuscrit (vérification de l’exhaustivité et du respect des directives aux auteurs, ce qui garantit que le manuscrit s’inscrit dans le champ de la revue et répond aux normes de qualité de base) ;
l’attribution à un réviseur ou réviseur associé ayant une expertise pertinente,
la sélection d’évaluateurs compétents et la gestion du processus d’évaluation par les pairs ;
la supervision de la révision et du dépôt d’une version révisée du manuscrit ;
la décision finale d’accepter ou non le texte ;
la révision, le formatage et la correction ;
la composition et la mise en page ;
l’attribution d’un identifiant pérenne (DOI, etc.) ;
la publication de l’article ;
la distribution et l’indexation dans des bases de données pertinentes ;
la promotion et la diffusion de l’article publié ;
le suivi des indicateurs de mesure d’impact.

On peut mesurer l’efficacité des processus du travail éditorial par le délai entre le moment du dépôt d’un manuscrit et celui des décisions, le temps de réponse des évaluateurs et la qualité des évaluations, la cohérence et l’équité des décisions éditoriales, le nombre d’appels et leurs résultats, la vitesse de production, et la satisfaction des auteurs et des évaluateurs. Pour améliorer ces processus, il faudrait évaluer, suivre et mesurer en continu le temps entre les différentes étapes du travail éditorial, mais aussi évaluer la qualité de l’évaluation par les pairs et des révisions des auteurs, ainsi que la satisfaction des auteurs et des évaluateurs. Il est important de savoir lesquels des processus du travail éditorial connaissent des retards fréquents et d’appliquer des stratégies d’amélioration. Il faut donc mettre en place un mécanisme d’évaluation continue du système de gestion éditoriale et des autres technologies (contrôle du plagiat, rappels automatiques, etc.).

Outils d’analyse

Un outil d’analyse désigne une combinaison de mesures, d’acquisition de données, d’analyse et de rapport sur les données pour estimer l’utilisation, l’impact et les indicateurs d’une revue. En utilisant des outils d’analyse, une revue peut obtenir une image complète des usages qui sont faits d’elle, de son impact et de son influence au sein du monde des chercheurs et au-delà. Outre la qualité des contenus publiés et des processus du travail éditorial, les informations fournies par les outils d’analyse sont cruciales pour améliorer les politiques d’une revue, accroître la visibilité de celle-ci et faire la preuve de sa valeur aux auteurs, aux lecteurs et aux bailleurs de fonds.

Les outils d’analyse les plus courants se fondent sur des bases de données de citations populaires, comme la Web of Science Core Collection (WoSCC) et Scopus, qui fournissent divers indicateurs de mesure. SciVal l’outil d’analyse d’Elsevier, offre une visualisation des performances de recherche, un point de comparaison avec les pairs et la possibilité d’analyser des tendances. On peut aussi évaluer la visibilité et l’impact des revues dans différentes disciplines à l’aide des indicateurs de mesure de citation de Google Scholar qui sont libres d’accès, mais pas toujours fiables.

Certains outils d’analyse, comme Altmetric, vont au-delà des citations et suivent l’attention et les discussions en ligne autour des articles scientifiques, y compris les mentions dans les médias sociaux, la presse, les documents politiques et les blogues. Outre les citations et les mentions ou réactions dans les médias sociaux, Plum Analytics propose une gamme d’indicateurs de mesure sur l’utilisation et les captures (exportations ou sauvegardes, lecteurs, signets, favoris). Récemment, Dimensions a offert une plateforme d’analyse de recherche intégrant différentes sources de données pour fournir des indicateurs de mesure sur les publications, les citations, les subventions, les brevets, les essais cliniques et les documents politiques.

De nombreux outils d’analyse populaires ne sont offerts que sur abonnement dispendieux, mais il existe quelques outils d’analyse gratuits, comme CORE, qui agrège les résultats de recherche en accès ouvert et fournit des indicateurs de mesure sur leur utilisation et leur impact, VOSviewer et CiteSpace pour l’analyse bibliométrique, Open Access Button (qui offre aussi des outils pour les bibliothèques), et d’autres encore pour les données d’utilisation sur les entrepôts institutionnels. En outre, les outils d’analyse commerciaux offrent parfois une version gratuite limitée, des extensions de navigateur librement accessibles (Altmetric, Unpaywall) ou un accès gratuit à un sous-ensemble de fonctionnalités et de données (Dimensions). Enfin, il existe des outils particuliers aux éditeurs, comme CrossRef Metadata Search, qui fournit des liens de citation et quelques indicateurs de mesure de base.

Les éditeurs du modèle Diamant garantissent la transparence des outils d’analyse et des méthodologies utilisés pour collecter, générer et analyser les données, en fournissant une description des outils, des algorithmes et des méthodologies employés. Ils doivent aussi s’assurer que toutes les activités de collecte et de traitement des données respectent les règles de protection des données en vigueur, comme le Règlement général sur la protection des données (RGPD) en Europe. Il est nécessaire de mettre en œuvre des mesures pour protéger la vie privée des utilisateurs dont les données sont recueillies. Deux de ces mesures sont l’anonymisation des données, quand c’est nécessaire, et la garantie de leur stockage sûr.

Last Updated

2025-10-14

Étiquettes

accessibilité

RGPD

Indexation

Métadonnées

Transparence

Visibilité

Search CAP