Thématique: Outils

Syrphe (Diptera : Syrphidae) sur une fleur de Nepenthes rafflesiana (Brunei, Borneo) © Laurence Gaume (CNRS). Les syrphes sont des mouches rendant des services de pollinisation essentiels pour les flores sauvage et cultivée. Les syrphes sont pourtant en déclin, notamment en Europe où elles sont particulièrement impactées par l’agriculture intensive.

Le problème de la qualité des données en écologie : l’exemple d’InsectChange

La crise actuelle de la biodiversité soulève des enjeux écologiques, économiques et sociétaux majeurs. Aussi, des bases de données en écologie se multiplient pour évaluer les tendances de la biodiversité. Les résultats de ces évaluations influencent l’opinion publique et les décideurs. Or, bien qu’elle soit une condition nécessaire à la fiabilité des tendances estimées, la qualité de ces jeux de données fait rarement l’objet d’investigations poussées.

Les données sur les insectes n’échappent pas à ce constat. Les insectes assurent des services essentiels dans les écosystèmes (pollinisation, recyclage de la matière organique, source de nourriture pour de nombreuses espèces, contrôle des bioagresseurs …). Leur déclin est donc particulièrement préoccupant mais il est très difficile de mesurer précisément son ampleur et ses déterminants en raison de leur grande diversité taxonomique et d’un manque de données concernant certains groupes.

Ainsi, une évaluation minutieuse de la seule base de données mondiale sur les insectes, InsectChange, publiée dans Ecology en 2021, montre qu’il est crucial de mieux prendre en compte la question de la qualité des bases de données. InsectChange rassemble les données utilisées dans la méta-analyse de van Klink et al. publiée dans Science en 2020, qui montrait un déclin des insectes terrestres de 9 % par décade, et une augmentation des insectes d’eau douce de 11 % par décade. Cette méta-analyse ne mettait pas en évidence d’impact de l’agriculture sur le déclin des insectes. Elle argumentait au contraire que l’amélioration des pratiques agricoles était un facteur explicatif de l’augmentation des insectes d’eau douce. Cette méta-analyse, plutôt rassurante par rapport à d’autres résultats antérieurs, a fait néanmoins l’objet de plusieurs analyses critiques de la part de la communauté scientifique internationale, dont une publiée dans Science la même année. Les auteurs de l’article débattu ont publié une correction, mais celle-ci n’a considéré qu’à la marge les critiques énoncées, et la publication a continué à être fortement médiatisée. L’analyse complète de InsectChange, en révélant une accumulation d’erreurs et de biais dans les données, démontre que les tendances estimées et leurs déterminants ne sont pas fiables.

Cette analyse critique révèle plus de 500 erreurs et problèmes méthodologiques dans la constitution de cette base de données à partir de 165 jeux de données. Ces problèmes, parfois transmis depuis une autre base de données, relèvent de 17 types : chiffres mal reportés, biais d’échantillonnage, insectes comptés deux fois, unités de mesures non standardisées, etc. La méthode développée pour évaluer la base de données définit des critères spécifiques et regroupe les problèmes en quatre catégories : erreurs, incohérences, problèmes méthodologiques et déficit d’informations.

Illustration de la répartition et du nombre moyens des 17 types de problèmes rencontrés par jeu de données dans la base InsectChange, auquel s’ajoute le problème général de non-standardisation des données (non représenté sur le graphique). Ces types de problèmes appartiennent à quatre catégories : les erreurs, les incohérences, les problèmes méthodologiques et les déficits d’information.

Ainsi, l’analyse détaille quatre problèmes majeurs qui ont conduit à fausser l’analyse des tendances des insectes et celle de leurs déterminants.

Des données hétérogènes et leur transformation mathématique invalident l’estimation des tendances globales

Un problème majeur de la base de données réside dans le fait que les métriques (abondance, biomasse) sont disparates, les méthodes d’échantillonnage sont différentes et les unités de mesure ne sont pas standardisées. L’analyse montre que la transformation mathématique log(x+1) de ces données hétérogènes effectuée dans la méta-analyse de Science compromet la comparaison des pentes entre les séries temporelles et l’estimation des tendances globales des insectes. Elle ne permet pas, comme il était spécifié, de travailler sur des variations temporelles relatives et donc comparables entre jeux de données. Ce problème suffit ainsi à lui seul à invalider l’estimation faite des tendances des insectes dans le monde. 

Des erreurs conduisent à sous-estimer le déclin des insectes

La base de données présente plusieurs d’erreurs et d’incohérences comme :

• l’inversion des chiffres entre le premier et le dernier enregistrement d’une série, transformant ainsi une diminution en une augmentation,
• la sélection préférentielle dans certaines études de séries où la tendance des insectes augmentait,
• ou encore la non-correction de l’augmentation de l’effort d’échantillonnage.

En plus de ces erreurs, un problème majeur a conduit à sous-estimer le déclin des insectes à partir de cette base de données. En effet, beaucoup de jeux de données comprennent des invertébrés qui ne sont pas des insectes, comme des moules envahissantes, des escargots, des vers et des crustacés. C’est le cas de près de la moitié des jeux de données d’eau douce concernant l’abondance des insectes (le nombre d’individus) et plus de trois quarts de ceux concernant leur biomasse (le poids cumulé des individus). Ce type d’erreur peut avoir des impacts importants sur l’évaluation des tendances : ainsi, un jeu de données d’un lac du Kazakhstan montre, en près d’un siècle, une augmentation exponentielle « d’insectes » … alors qu’il s’agit pour la plupart de coquillages envahissants, atteignant à la fin de la période considérée 95 % de la biomasse de l’assemblage total d’invertébrés pris en compte.

De plus, un examen minutieux des données sources a permis d’identifier les jeux de données pour lesquels il était en fait possible de séparer insectes et non insectes. Dans ces jeux de données, bien souvent la biomasse des seuls insectes diminuait, alors que celle des assemblages d’invertébrés présentés comme des insectes augmentait. Il a pu ainsi être démontré que la prise en compte de l’ensemble des invertébrés, et non des seuls insectes, conduisait à surestimer la tendance des « insectes » d’eau douce.

Des données sont issues de contextes spécifiques, influençant les tendances locales, mais non pris en compte

Une faille méthodologique réside dans le fait que plus de la moitié des publications sources étudiaient les dynamiques des insectes dans des contextes très spécifiques (mesures de restauration, création de nouveaux habitats, feu, sécheresse, traitements insecticides, etc.). Ces contextes étaient des perturbations extrêmes ou des facteurs étudiés comme pouvant influencer les dynamiques observées et testés au travers d’expériences contrôlées (avec manipulation du milieu) ou d’expériences naturelles (comparaison de sites naturellement perturbés avec d’autres restés intacts). Mais ces contextes spécifiques ne sont la plupart du temps pas reportés dans la base de données. Or ils créent des situations non représentatives de la diversité des conditions de vie des insectes dans le monde qui favorisent cinq fois plus fréquemment l’augmentation des insectes que leur diminution. L’utilisateur est laissé ignorant des biais dans les tendances, artificiellement causés par ces facteurs influents, et de la sous-estimation du déclin global des insectes qui en résulte.

Une méthodologie inappropriée conduit à écarter l’agriculture comme facteur du déclin des insectes

Alors que les contextes spécifiques aux études sources – facteurs les plus directement influents sur la dynamique des insectes – ne sont souvent pas reportés dans la base de données, cette dernière extrait depuis des bases externes des données concernant les facteurs anthropogéniques susceptibles d’influencer localement les tendances observées. Plus précisément, les données d’évolution des insectes dans InsectChange sont appariées via les coordonnées géographiques des sites d’échantillonnage avec d’autres bases de données mondiales décrivant l’évolution de l’utilisation des terres (agriculture, urbanisation) et du climat. Or, une analyse détaillée montre que pour deux tiers des jeux de données, l’appariement des bases de données est compromis parce que la zone d’échantillonnage est plus grande que la zone définie comme échelle locale dans la base de données externe, ou n’est pas localisée au bon endroit dans InsectChange. Par ailleurs, la base de données qui code la couverture des terres du globe à partir d’une interprétation automatisée d’images satellites, peut confondre les cultures agricoles avec des prairies, des steppes, etc. Ainsi, une analyse exhaustive montre que les sites considérés sans culture agricole au niveau local sont bien non cultivés, tandis que les sites considérés comme cultivés ne le sont en général pas, ou moins que ce qui est reporté. Cette surestimation importante de la couverture des terres cultivées conduit les auteurs de la méta-analyse à écarter ainsi de façon erronée les pratiques agricoles comme cause possible du déclin des insectes. À cause d’une méthodologie doublement inappropriée, InsectChange ne permet donc pas d’identifier les déterminants des tendances des insectes.

Conclusion

Ce travail minutieux et complet d’évaluation montre l’insuffisante attention accordée à la qualité des données d’InsectChange et amène à réfléchir sur la nécessité d’une évaluation systémique des grosses bases de données construites pour estimer les tendances de la biodiversité. À ce titre, la méthodologie reproductible développée pour évaluer InsectChange peut contribuer à l’élaboration d’une méthode généralisable d’évaluation de la qualité des bases de données en écologie.

Ce travail d’ampleur met également en garde contre les risques d’une science toujours plus rapide. Il appelle les revues scientifiques à améliorer leur processus d’évaluation par les pairs et à garantir la prise en compte des commentaires post-publication, afin de préserver la qualité des connaissances scientifiques. Cela concerne tout particulièrement les revues de renom, intermédiaires privilégiés des journalistes.

Enfin, cette démarche inédite met en lumière le rôle fondamental de l’organisation de chercheurs à but non lucratif Peer Community In. En publiant, comme elle l’a fait pour cette réanalyse des données de InsectChange, des commentaires critiques sans restriction éditoriale, selon une démarche de science ouverte et un processus d’évaluation indépendant et transparent, cette organisation participe à préserver l’intégrité scientifique et la qualité du débat scientifique.