The Wonder Pill (2)

Il y a vraiment un truc que j’aime pas, c’est de ne pas trouver une info, notamment sur internet.

Depuis tout à l’heure, aussi un peu aiguillonné par @GastonCestBon, j’essaye de trouver l’origine des statistiques brillantes avancées par Cowie dans cet article.

J’ai écumé PubMed, sans succès.

Puis, à force de tourner autour du pot (de torturer Google), je suis tombé là-dessus:

Je n’arrive pas à afficher la page de l’article de theheart.org en tant que cache, mais il semble bien qu’une première version ait été publiée, puis éditée.

Mais Big Google qui passait par là en a gardé un souvenir. Concentrons-nous sur le cinquième paragraphe de l’article actuel:

« The regulator decided it wanted to concentrate on mortality benefit. Within that subsection, the benefits are enormous, » he observes. « Total mortality is reduced by 17%, heart-failure mortality is down by 39%, and that’s on top of really good ACE-inhibitor and beta-blocker therapy. It’s very impressive. That’s what’s caught the media’s attention. »

D’accord?

Maintenant, regardons le fragment donné par le cache de Google:

« I know it’s post hoc, but total mortality is reduced by 17%, heart-failure mortality is down by 39%, and that’s on top of really good ACE-inhibitor and beta-blocker therapy.

Rigolo, non?

I know it’s post hoc, but a été supprimé.

En torturant encore un peu plus le cache Google, je trouve que ce petit bout de phrase était placé entre he observes et Total mortality:

Je n’en tire strictement conclusion sur la rédaction de l’article qui me semble de toute façon très discutable. Ne me faites pas dire ce que je n’ai pas dit.

Par contre, les mystérieuses statistiques ont été tirées d’une analyse post hoc. Et ça, c’est intéressant.

Primo, car je ne suis pas certain que cette analyse ait été publiée. Je parierais volontiers sur l’analyse d’un sous-groupe basé sur la fréquence cardiaque de repos initiale, genre FC>75 ou FC>77. Bien entendu, ce critère exclurait de facto une bonne partie (la majeure selon ce papier que j’ai déjà cité) des centaines de milliers de patients qui auraient pu bénéficier de ces 17 et 39% de diminution de mortalité. Donc l’estimation de 39000 vies épargnées et de 100 millions de livres sterling économisées par an, me semble parfaitement fantaisiste.

Secundo, car dans mon esprit, il s’agit d’une grosse restriction dans l’interprétation des résultats.

Le service commercial de Servier est friand des analyses post-hoc, j’en avais déjà parlé ici.

En gros, ré-assembler un essai clinique après sa réalisation, c’est à dire analyser des sous groupes qui n’ont même pas forcément été pré-spécifiés dans le plan de l’étude n’a qu’une valeur exploratoire qui demande confirmation.

C’est ce que dit ma référence en statistiques

Les analyses en sous-groupes décidées après le recueil des données sont des analyses « post-hoc » dont la valeur est purement exploratoire : l’expérience servant au recueil des données a eu un autre objectif que celui de l’analyse en sous groupe ; aucune hypothèse préalable n’a été formulée; aucun calcul de nombre de sujets nécessaires n’a été réalisé pour garantir une puissance suffisante. Le problème méthodologique provient du fait que les analyses « post-hoc » génèrent à la fois l’hypothèse et la vérification de l’hypothèse. Cette situation tautologique ne peut pas être utilisée comme preuve mais seulement pour générer de nouvelles hypothèses. Les analyses exploratoires exposent ainsi au risque d’ériger un artefact en loi. Il convient ainsi de faire la distinction entre les hypothèses formulées a priori (« prior hypothesis » et les hypothèses dérivées des données (« data-derived hypothesis »). Il est souhaitable de ne pas calculer de valeur de p pour les hypothèses non définies a priori car en général ces valeurs de p ne sont pas retrouvées quand l’hypothèse est testée de façon indépendante dans une autre étude. La définition a priori, dans le protocole de l’essai, des analyses en sous-groupes pressenties ne suppriment que partiellement ces réserves méthodologiques. La multiplication des tests persiste.

La formulation I know it’s… montre bien que Cowie, qui est un garçon brillant, a parfaitement conscience de ces limitations.

Malgré tout cela, Servier a, comme toujours, réussi à faire qu’un résultat médiocre, voire même une étude négative (comme Beautiful), soit magnifiquement montés en épingle par les médias, qu’ils soient médicaux ou non.

Et là dessus, ils sont brillamment imbattables.

Encore une chose.

Quand j’ai écrit ma note précédente, je disais que cette histoire ne nous concernait pas tellement, car elle se déroulait en Grande-Bretagne.

Et bien depuis, elle a traversé la Manche, et vient susurrer suavement à nos oreilles combien l’ivabradine est un produit merveilleux.

Vous remarquerez les sigles NHS en haut de l’article et dans le titre.

Curieux…

Ça laisserait presque à penser que cette vénérable institution cautionne le texte dithyrambique de l’article.

Je doute néanmoins que le NHS relaye les gros titres de médiocres médias britannique annonçant la venue sur terre d’une nouvelle panacée.

D’ailleurs, une rapide recherche sur le site du NHS ramène un in progress

Je vous l’avais dit, Servier, c’est magique…

Auteur : Jean-Marie Vailloud

Cardiologue de formation, je suis aussi l'administrateur du blog Grange Blanche.

10 thoughts on “The Wonder Pill (2)”

  1. Quelle pitié quand les autorités de santé se laissent influencer aussi facilement par des analyses en sous-groupes a posteriori, ou autres critères combinés vaseux, ou critères intermédiaires non pertinents cliniquement !
    Quelle énergie à dépenser ensuite auprès des patients, et auprès des confrères, pour tempérer l’enthousiasme, et se concentrer sur des critères « durs » , cliniquement pertinents !

  2. bonjour, j’apprécie particulièrement l’analyse critique que vous faites là…mais vous faites référence à l’étude beautiful comme une étude dans l’IC et en réalité, c’est une étude dans la maladie coronarienne…simple constatation après analyse via google..
    L’étude dont vous faites référence concernant l’ins cardiaque ne serait-elle pas plutôt l’étude Shift???

  3. Merci pour ce travail d’analyse digne d’un (bon) journaliste, c’est très éclairant.

    Keep on writing !

  4. Les USA et le Canada ne l’on toujours pas commercialisé mais la Russie et les Philippines oui!
    Le NICE qui est l’équivalent britannique de la commission de remboursement des médicaments en France donnera sa réponse en décembre prochain. D’après l’auteur de l’étude (Dr Cowie) ce n’est pas lui qui a eu l’idée de l’analyse à posteriori en sous groupe mais l’agence Européenne du médicament (the European regulators noticed the drug was more effective in those with a higher heart rate and asked for a subgroup analysis in those patients, he explains). Donc c’est l’agence qui serait responsable de l’analyse post hoc?Suite au prochain épisode…

  5. L’approbation par l’agence Européenne du médicament est restrictive : elle se limite aux patients qui sous doses maximales de béta bloqueurs restent malgrès tout à plus 75 par minute de fréquence cardiaque. Il est a prévoir qu’il y aura un élargissement spontané de la part des prescripteurs car ils vont se dire: qui peut le plus peut le moins: si ça réduit la mortalité chez des patients aussi difficiles à traiter (cad qui résistent aux béta bloquants) alors qu’est ce que ça doit faire chez des patients « normaux ». Celà ressemble au tailleur de Fernand Reynaud: faire un aussi beau costume sur un gars aussi mal foutu… il faut être un bon tailleur.

    Indication de l’EU: « those with a heart rate of 75 beats per minute (bpm) or greater who are in sinus rhythm and who are optimally treated on ACE inhibitors and maximal doses of beta blockers. »

  6. sacré travail de recherche , personnellement je l’ai confié depuis trés longtemps à la revue « Prescrire » , bcp plus facile même s’il est difficile d’être lecteur émérite d’une année sur l’autre. J’ai d’autre part définitivement interdit les visiteurs médicaux depuis longtemps pour ne pas avoir à argumenter avec eux , ça m’énervait pour tte la journée.
    bravo encore pour votre opiniatreté! et bonne journée

Laissez une réponse

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s