Spin Doctor

J’ai trouvé un article très intéressant dans theheart.org et un complément dans le BMJ au sujet des résultats préliminaires d’une étude menée notamment par une biostatisticienne française, le Dr Isabelle Boutron.

L’équipe s’est penchée sur la façon qu’ont les auteurs d’articles scientifiques médicaux de présenter leurs résultats en étudiant 72 essais randomisés négatifs, indexés dans PubMed en décembre 2006.

Malgré la négativité de ces essais, les auteurs ont mis en évidence un « spin » que je traduirais par l’expression « effet de manche » dans une bonne partie de ces papiers.

L' »effet de manche » est le fait de présenter et discuter les résultats de façon à convaincre le lecteur qu’un traitement expérimental est bénéfique, malgré une différence statistiquement non significative au niveau du critère principal de l’étude.

On retrouve un effet de manche dans le titre de l’article dans 18% des cas, 20% dans les résultats, 43% dans la discussion, 50% dans la conclusion. dans plus de 40% des cas, il y a un effet de manche dans au moins 2 des 3 sections du texte de l’article.

Pour les « abstracts », il semble que cela soit pire qualitativement.

J’ai hâte de lire la publication complète de cet article, j’ai donc créé un flux RSS sur le nom d’auteur « Isabelle Boutron » dans PubMed. Comme je suis gentil, vous pouvez le récupérer ici.

Bien entendu, le marketing fait des miracles ensuite pour positiver une étude négative.

L’exemple type de ce double effet de manche me semble être BEAUTIFUL avec l’ivabradine, dont j’ai déjà parlé à plusieurs reprises (ici, ici, ici, ici, ici, et ici -ouf!-).

Photobucket


°0°0°0°0°0°0°0°0°0°0°

Shelley Wood. Spin not uncommon in negative RCTs, study shows. theheart.org. [Clinical Conditions > Clinical cardiology > Clinical cardiology]; Sep 14, 2009. Accessed at http://www.theheart.org/article/1002389.do on Sep 21, 2009

Mabel Chew. Researchers, like politicians, use « spin » in presenting their results, conference hears. BMJ 2009;339:b3779

Traduttore traditore

Depuis tout à l’heure, j’essaye mon nouveau jouet statistique sur toutes les courbes Kaplan-Meier que je trouve.

Je me suis intéressé de nouveau à l’ivadradine et à Beautiful qui est un chef d’œuvre publicitaire car j’en vois de plus en plus sur les ordonnances qui me passent sous les yeux.

Je ne ferais aucun commentaire, sinon, je risquerais de devenir vulgaire.

J’ai donc jeté un coup d’œil  à un de ces critères secondaires de fond de cour qui ont eu le bon goût d’être positifs, et qui permettent aux visiteurs médicaux (et aux nombreux journaux subventionnés) de clamer Urbi et Orbi que « l’ivabradine, c’est bien quand la fréquence cardiaque est supérieure à 70 bpm ».

Comme l’être humain carbure souvent entre 80 et 90, ça fait un gros marché potentiel.

Le NNT pour le critère secondaire « admission à l’hôpital avec un infarctus » est à 69 à 1 an et demi.

Encore un argument qui me pousse à ne pas prescrire d’ivabradine et à arrêter celle que je vois passer, et qui est souvent prescrite hors AMM (notamment comme « ralentisseur »,  en dehors de toute pathologie coronaire).

Je suis tombé par hasard sur un article non encore publié dans le Lancet, dont le titre « Translating statistical findings into plain English » m’a attiré l’oeil.

Un petit paragraphe parle de Beautiful:

« So far, we refer to a trial’s overall primary endpoint findings. When referring to subgroup findings or secondary endpoints, greater caution is required. Indeed, such claims should ordinarily be excluded from the main conclusions and abstract. Such restraint is particularly relevant in industry-sponsored trials with regulatory or marketing implications. The BEAUTIFUL trial found no overall difference between ivabradine and placebo for the primary composite endpoint, but in a subgroup (heart rate ≥70 beats per min [bpm]) there were fewer myocardial infarctions (a secondary endpoint) (p=0·001). The article’s conclusion that “ivabradine…could be used to reduce…coronary heart disease…in patients who have heart rates ≥70 bpm” seems too assertive. »

« Seems too assertive » me semble être un aimable euphémisme.

°0°0°0°0°0°0°0°0°


Stuart J Pococka and James H Wareb. Translating statistical findings into plain English. The Lancet 2009. doi:10.1016/S0140-6736(09)60499-2

On looking at Subgroups

Il s’agit du titre d’un éditorial du dernier Circulation, rédigé par une statisticienne, Janet Wittes.

C’est un texte comme je les aime.

Un texte qui propose un point de vue « engagé » sur une question, c’est à dire que son angle d’attaque n’est pas le consensus mou que l’on retrouve trop souvent dans les publications scientifiques médicales.

Cet éditorial est un chouïa trop technique pour moi, en tout cas pour mes faibles connaissances statistiques et mon anglais de cuisine, et j’ai du le relire plusieurs fois pour essayer d’en tirer quelque chose d’exploitable.

Toutefois, je suis certain que ce texte est « important ».

L’auteur donne donc des clés pour analyser et critiquer les études de sous-groupes qui pullulent pourtant dans la littérature scientifique médicale.

En fait, l’analyse des sous groupes, qui devrait plutôt faire générer des hypothèses à défricher, sert le plus souvent de « rattrapage aux branches » pour des molécules ou procédures qui ont échoué à montrer un intérêt dans la population principale.

Je ne reviendrai pas sur l’exemple de l’ivabradine (Procoralan) qui ne fait pas mieux que le placebo dans la population générale de l’étude BEAUTIFUL, mais que le laboratoire vante (et vend) Urbi et Orbi car cette molécule a fait mieux que le placebo pour des critères secondaires, dans un sous groupe. J’avais utilisé alors la métaphore du grognard napoléonien qui ayant tué un grenadier britannique à Waterloo, aurait conduit un commentateur peu objectif à revendiquer une victoire française écrasante en ce jour pourtant funeste.

Janet Wittes donne donc des pistes pour que le lecteur puisse essayer de séparer le bon grain de l’ivraie et illustre son propos par deux exemples marquants.

Premier exemple: dans une étude de prévention d’infarctus du myocarde létaux par l’aspirine (ISIS-2), les investigateurs se sont « amusés » à classer leur population en 12 sous groupes, en fait les 12 signes du zodiaque afin d’analyser l’efficacité de l’aspirine pour chacun d’entre eux. Tout cela, bien sûr, dans le but de montrer leur défiance face à l’analyse en sous groupes. Et bien, si l’aspirine est clairement efficace dans la population générale; ce qui est peu contesté, elle est dangereuse chez les sujets nés sous les signes des gémeaux et de la vierge.

Comme le dit très finement Janet Wittes: « Most nonastrologers would believe the findings due to chance« .

Deuxième exemple, théorique, celui-çi.

Si l’on multiplie les sous-groupes, on augmente très sensiblement la « chance » d’avoir un résultat positif pour l’un d’eux.

L’auteur prend l’exemple d’une étude comparant deux traitement inertes, deux placebos. Si l’on divise la population de départ en 20 sous-groupes exclusifs, la probabilité d’avoir dans un sous-groupe une différence significative, c’est à dire p<0.05 est de 64%. Pour 50 sous groupes, la probabilité est de 92%, pour 100 sous groupes, elle est supérieure à 99%.

La division en autant de sous groupes peut paraître farfelue et peu fréquente, mais ce n’est pas si rare. Ainsi, l’éditorial se rapporte à une étude, RUTH qui en a 51!


°0°0°0°0°0°0°0°0°0°


Wittes J. On looking at Subgroups. Circulation 2009;119;912-915



Amplifier l’inexistant.

J’ai parcouru récemment deux histoires un peu similaires sur deux molécules radicalement différentes.

Dans les deux cas, tout l’enjeu est pour les industriels qui commercialisent ces produits de faire croire qu’ils sont efficaces dans les indications étudiées.

Première histoire, le dernier avatar de la carrière médiatique d’une merveilleuse molécule qui guérit tout et tous, l’ivabradine.

La revue d’un syndicat de cardiologues (auquel je ne suis pas affilié, mais que je reçois quand même. Devinez d’où vient l’argent qui me permet de recevoir cette revue d’un très haut niveau scientifique?) est accompagnée ce mois-çi d’un tiré à part à la gloire de cette nouvelle panacée.

Le tiré à part est bien entendu « réalisé grâce au soutien de Biopharma ».

De grands noms de la cardiologie y disent tout le bien qu’ils pensent de ce produit.

Je vous rappelle que l’essai BEAUTIFUL qui a étudié cette molécule est négative, c’est à dire que pour le critère principal de l’étude, le seul intéressant, l’ivabradine ne fait pas mieux que le placebo (j’en avais déjà parlé ici, ici, et ici). C’est aussi le cas pour les 8 (!) critères secondaires dans la population générale.

Dans un sous groupe pré-spécifié (les patients dont la fréquence cardiaque est supérieure à 70 bpm), l’ivabradine ne fait pas mieux non plus pour le critère principal. Par contre, elle fait mieux que le placebo pour trois critères secondaires : admission à l’hôpital pour infarctus du myocarde, admission à l’hôpital pour infarctus du myocarde fatal ou non ou angor instable et revascularisation coronaire.

Bien entendu, toute la communication du labo passe pudiquement sur les échecs répétés du produit, notamment sur les critères principaux pour se concentrer sur les succès « majeurs » observés dans un sous groupe, pour des critères secondaires.

A Waterloo, un de nos braves grognards a terrassé un anglais tuberculeux en combat singulier. Victoire totale!


Deuxième histoire: les mésaventures du telmisartan.

TRANSCEND a étudié son intérêt contre un placebo comme alternative aux IEC chez les patients intolérants à ces derniers.

La conclusion des auteurs est la suivante:

Telmisartan was well tolerated in patients unable to tolerate ACE inhibitors. Although the drug had no significant effect on the primary outcome of this study, which included hospitalisations for heart failure, it modestly reduced the risk of the composite outcome of cardiovascular death, myocardial infarction, or stroke.

De mon point de vue, critère principal négatif, intérêt « modeste » sur un critère secondaire, donc pas d’intérêt comparé au placebo.

Cette étude aurait pu avoir un enterrement discret, mais c’était encore trop pour certains commentateurs du « Lancet » qui contestent même la notion d’effet « modeste ».

Theheart.org résume cette controverse qui peut paraître un peu technique, mais qui sur le fond est fondamentale.

En effet, elle fait s’interroger sur la pertinence de certaines conclusions publiées, conclusions que souvent les médecins se contentent de lire, et sur la pertinence clinique d’un résultat d’essai thérapeutique.


°0°0°0°0°0°0°0°0°


Lisa Nainggolan. Lancet correspondence questions TRANSCEND reporting . theheart.org. [Clinical Conditions > Hypertension > Hypertension]; Feb 12, 2009. Accessed at http://www.theheart.org/article/941369.do on Feb 14, 2009