Spin Doctor

J’ai trouvé un article très intéressant dans theheart.org et un complément dans le BMJ au sujet des résultats préliminaires d’une étude menée notamment par une biostatisticienne française, le Dr Isabelle Boutron.

L’équipe s’est penchée sur la façon qu’ont les auteurs d’articles scientifiques médicaux de présenter leurs résultats en étudiant 72 essais randomisés négatifs, indexés dans PubMed en décembre 2006.

Malgré la négativité de ces essais, les auteurs ont mis en évidence un « spin » que je traduirais par l’expression « effet de manche » dans une bonne partie de ces papiers.

L' »effet de manche » est le fait de présenter et discuter les résultats de façon à convaincre le lecteur qu’un traitement expérimental est bénéfique, malgré une différence statistiquement non significative au niveau du critère principal de l’étude.

On retrouve un effet de manche dans le titre de l’article dans 18% des cas, 20% dans les résultats, 43% dans la discussion, 50% dans la conclusion. dans plus de 40% des cas, il y a un effet de manche dans au moins 2 des 3 sections du texte de l’article.

Pour les « abstracts », il semble que cela soit pire qualitativement.

J’ai hâte de lire la publication complète de cet article, j’ai donc créé un flux RSS sur le nom d’auteur « Isabelle Boutron » dans PubMed. Comme je suis gentil, vous pouvez le récupérer ici.

Bien entendu, le marketing fait des miracles ensuite pour positiver une étude négative.

L’exemple type de ce double effet de manche me semble être BEAUTIFUL avec l’ivabradine, dont j’ai déjà parlé à plusieurs reprises (ici, ici, ici, ici, ici, et ici -ouf!-).

Photobucket


°0°0°0°0°0°0°0°0°0°0°

Shelley Wood. Spin not uncommon in negative RCTs, study shows. theheart.org. [Clinical Conditions > Clinical cardiology > Clinical cardiology]; Sep 14, 2009. Accessed at http://www.theheart.org/article/1002389.do on Sep 21, 2009

Mabel Chew. Researchers, like politicians, use « spin » in presenting their results, conference hears. BMJ 2009;339:b3779

4 Replies to “Spin Doctor”

  1. C’est sans espoir…si même les statisticiens qui étudient les chausse-trappes dans papiers osent encore écrire « 45 trials (13.9%) ».

    Je sais que je preche dans le vide et que ça ne doit choquer (et bien faire rire) que les matheux et les physiciens mais je continue.

    Cette habitude de mettre des % est d’un ridicule absolu.
    13.9 donc…et si on refait l’étude dans un an et qu’on ne trouve que 10%?? Significatif ou pas???

    Bref, par pitié pour le bon sens,quand en finira t on avec cette mode absurde dans les papier de bio??

    Un % n’a de sens qu’avec une barre d’erreur…sinon c’est un effet de manche en soit!

  2. Cher Lawrence,

    Nous avions déjà parlé de cette tendance au positivisme dans un de vos précédents post, il y a maintenant plusieurs mois… Merci d’aborder ces problématiques avec du bon sens! Je travaille toujours dans mon agence de communication, votre blog me permet d’appuyer les conseils de transparence d’exemples concrets tirés de ces pages. L’effet ne marche pas toujours, hélas. Comment faire comprendre à des entreprises qui ont investi des millions d’euros dans des études, qu’ils ne peuvent pas s’en servir pour soutenir leurs produits? Ce n’est pas si facile :))

    D’un autre coté, et là je rejoins completement le commentaire de Xavier, comment se fait-il que dans un monde où on utilise les statistiques à tout bout de champs, on n’ai pas plus de connaissance sur leur signification…

    Merci encore pour ces posts qui font réflechir la consulante que je suis 🙂

    1. De rien!
      Le labo qui commercialise l’ivabradine personnifie parfaitement « l’optimisation commerciale » d’un produit tout au long de la chaîne qui conduit de l’essai jusqu’au pilulier.
      Avec leurs produits, tout autre labo aurait sombré corps et bien depuis des lustres.
      J’en viens presque à les admirer, c’est dire…

Laissez une réponse

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.