Disponibilité des protocoles de recherche, des méthodes et des logiciels

/ mer 31/07/2024 - 13:26

Introduction

C’est une bonne pratique de science ouverte, dans les politiques des revues du modèle Diamant, d’inclure des exigences sur la disponibilité des protocoles et méthodes de recherche. Les revues et leurs éditeurs doivent encourager les auteurs à déposer ces protocoles et méthodes dans un entrepôt public et à utiliser un identifiant pérenne pour établir les connexions pertinentes entre les articles et d’autres résultats de recherche. Ainsi, il sera plus facile de répliquer les recherches publiées et d’en faire le point de départ de nouvelles recherches.

Pour faciliter la reproductibilité et la conformité aux principes FAIR des recherches, les revues et éditeurs du modèle Diamant doivent envisager d’encourager l’utilisation de logiciels libres et ouverts. En outre, il convient qu’ils définissent une politique de disponibilité des logiciels de recherche et demandent aux auteurs un énoncé à ce sujet.

Corps du texte

Un protocole de recherche est un document détaillé, préparé avant la réalisation d’une étude, souvent rédigé dans le cadre de demandes d’éthique et de financement, et qui inclut des informations relatives au contexte, à la justification et aux objectifs de l’étude, ainsi qu’aux hypothèses qui reflètent les attentes des chercheurs, mais aussi une « recette » pour réaliser l’étude comprenant des détails méthodologiques et des plans d’analyse clairs (FORRT - Framework for Open and Reproducible Research Training Glossary). Les protocoles de recherche sont publiés pour attirer de nouveaux collaborateurs ou faciliter une collaboration efficace entre laboratoires ( https://www.protocols.io/ .etc) Dans les domaines médical et éducatif, ces protocoles constituent souvent un type d’article distinct, adapté à la publication en revue.

Logiciels : disponibilité, reconnaissance, citation

« Certaines des percées scientifiques les plus importantes de la dernière décennie, comme la résolution du problème de prédiction de la structure des protéines , ont été rendues possibles grâce à la disponibilité de sources de données riches et complètes, et d outils logiciels puissants pour la représentation et l’analyse des données, le calcul numérique et la modélisation » (Chan Zuckerberg Initiative Science, 2022). Cependant, les logiciels ne sont généralement pas formellement cités dans les publications scientifiques. Au mieux, on les mentionne dans la section méthodologique d’un article, où ils peuvent être identifiés par les dépendances du code de recherche déposé par les auteurs. « Les logiciels sont une part essentielle de la recherche contemporaine, et pourtant l’écosystème scientifique et savant fait peu pour leur reconnaissance et leur citation. » (Smith et coll., 2016)

La disponibilité des logiciels est essentielle pour la reproductibilité scientifique, c.-à-d. la capacité de répliquer les résultats publiés en exécutant le même outil informatique sur les données générées par l’étude (Brito et coll., 2020). De plus, une corrélation existe entre l’utilisation de logiciels libres et ouverts, la citation des logiciels et la rétractation d’articles. Les erreurs dans le traitement des données et le calcul des résultats, les erreurs de logiciel ou leur mauvaise utilisation sont des raisons courantes d’autorévision scientifique et de rétractation d’un article. Une étude a révélé que « les articles rétractés utilisent moins de logiciels libres et ouverts, ce qui entrave la recherche reproductible et le contrôle de qualité. De plus, de telles différences s’observent aussi avec la citation des logiciels, où les articles rétractés suivent moins fréquemment les directives de citation des logiciels libres et ouverts. » (Schindler et coll., 2023)

Mesures pour garantir la reproductibilité des résultats

Les revues et éditeurs ayant choisi le modèle Diamant peuvent améliorer la reproductibilité des résultats de recherche en encourageant l’accès ouvert aux logiciels de recherche, aux processus de travail, aux algorithmes, aux protocoles, aux modèles, aux carnets électroniques et autres – nécessaires à la réutilisation ou à la validation des conclusions de l’article, et à la validation et à la réutilisation des données de recherche. « La reproductibilité de certains ou de tous les résultats est importante, car elle améliore l’efficacité de la recherche et de l’innovation (utilisation plus large des résultats de recherche) ; elle limite le gaspillage de ressources (moins de duplication et moins de bases erronées) ; elle augmente la qualité et la fiabilité de la recherche (méthodes, contrôles et rapports plus étoffés) ; et, par conséquent, elle peut accroître la confiance des citoyens dans la science. » (Horizon Europe Programme Guide)

Conseils

Les directives aux auteurs des revues et éditeurs ayant choisi le modèle Diamant doivent demander aux premiers d’expliquer de quelle façon ils entendent garantir une analyse statistique fiable et répétable (force de l’échantillon, techniques expérimentales étoffées, logiciels ouverts, etc.) et de prendre des dispositions pour valider, démontrer, rendre interopérables, mettre à l’échelle et, globalement, rendre réplicables les résultats de leurs activités de recherche et d’innovation. De même, les auteurs doivent être invités à fournir des informations sur les résultats, outils ou instruments de recherche nécessaires pour valider les conclusions de leurs publications scientifiques ou pour valider ou réutiliser leurs données de recherche.
Dans leurs politiques, les revues et éditeurs ayant choisi le modèle Diamant doivent envisager d’inclure le paragraphe suivant sur les standards de rapport : « [Titre de la revue] s’engage à servir le monde la recherche en veillant à ce que tous les articles comprennent assez d’informations pour permettre à d’autres de reproduire le travail. Un manuscrit soumis doit contenir suffisamment de détails et de références pour permettre aux évaluateurs, et, par la suite, aux lecteurs de vérifier les affirmations qu’il contient – par exemple, fournir des détails complets sur les méthodes utilisées, y compris les périodes, etc. Les auteurs sont tenus d’examiner les standards disponibles pour de nombreuses applications de recherche sur Equator Network et d’utiliser ceux qui s’avèrent pertinents pour les applications de recherche rapportées. La présentation délibérée de fausses affirmations constitue une violation des normes éthiques et déontologiques. »
S’il y a lieu, les auteurs doivent être invités à déposer des descriptions étape par étape de leurs protocoles sur protocols.io et à inclure le DOI pérenne dans la section méthodologique de leur manuscrit.
S’il y a lieu, les auteurs doivent être invités à téléverser leur code scientifique, scripts ou modèles de manière ouverte dans un entrepôt de codes.
Les revues et éditeurs ayant choisi le modèle Diamant doivent considérer les logiciels comme des produits de recherche légitimes et citables. Les citations de logiciels doivent être obligatoires, au même titre que celles d’autres produits de recherche, comme les publications et les données. Les auteurs doivent donc être invités à les inscrire dans la liste des références d’un article.
Les directives TOP (Transparency and Openness Promotion) comprennent huit standards modulaires : 1) Normes de citation ; 2) Transparence des données ; 3) Transparence des méthodes analytiques (code) ; 4) Transparence des documents de recherche ; 5) Transparence de la conception et de l’analyse ; 6) Préenregistrement de l’étude ; 7) Préenregistrement du plan d’analyse ; et 8) Réplique, chacune avec trois niveaux de rigueur croissante : Déclaration – l’article doit indiquer si les documents sont disponibles ou non ; Exigence – l’article doit diffuser les documents quand c’est possible ; Vérification – un tiers doit confirmer le respect du standard. Les revues et éditeurs ayant choisi le modèle Diamant doivent sélectionner lesquels des huit standards de transparence ils souhaitent appliquer pour la transparence et la reproductibilité des recherches qu’ils publient et choisir, pour chacun d’eux, le degré auquel ils comptent le faire appliquer. Ces caractéristiques offrent une flexibilité d’adoption en fonction des variations disciplinaires, mais établissent simultanément des normes collectives. Il est possible d’évaluer le degré auquel les politiques des revues et des éditeurs respectent les directives TOP à l’aide du facteur TOP, une métrique rendant compte des moyens pris par une revue ou un éditeur pour implanter des pratiques de science ouverte.

Articles de la toolsuite annexes

Pratiques de science ouverte

Directives annexes

Matériels de formation annexes

Références

Brito, j., Li, J., Moore, J., Greene, C., Nogoy, N., Garmire, L., Mangul, S. (2020). ‘Recommendations to enhance rigor and reproducibility in biomedical research’. GigaScience, Volume 9, Issue 6, giaa056, https://doi.org/10.1093/gigascience/giaa056
Chan Zuckerberg Initiative Science. (2022). New data reveals the hidden impact of open source in science. https://medium.com/czi-technology/new-data-reveals-the-hidden-impact-of-open-source-in-science-11cc4a16fea2
Equator Network. https://www.equator-network.org/
European Commission. Horizon Europe Programme Guide https://ec.europa.eu/info/funding-tenders/opportunities/docs/2021-2027/horizon/guidance/programme-guide_horizon_en.pdf
Framework for Open and Reproducible Research Training (FORRT). Research Protocol. https://forrt.org/glossary/research-protocol/
Jumper, J., Evans, R., Pritzel, A. et al. (2021). ‘Highly accurate protein structure prediction with AlphaFold’. Nature 596, 583–589. https://doi.org/10.1038/s41586-021-03819-2
Parsons, S., Azevedo, F., Elsherif, M. M., Guay, S., Shahim, O. N., Govaart, G. H., … & Aczel, B. (2022). ‘A Community-Sourced Glossary of Open Scholarship Terms’. Nature human behaviour, 6(3), 312-318. https://doi.org/10.1038/s41562-021-01269-4
Protocols. Io, https://www.protocols.io
Schindler, D., Yan, E., Spors, S., Krüger, F. (2023). ‘Retracted articles use less free and open-source software and cite it worse’. Quantitative Science Studies. https://doi.org/10.1162/qss_a_00275
Smith A.M., Katz D.S., Niemeyer K.E., FORCE11 Software Citation Working Group. (2016). Software citation principles. PeerJ Computer Science 2:e86 https://doi.org/10.7717/peerj-cs.86
TOP Guidelines https://www.cos.io/initiatives/top-guidelines