Il y a vraiment un truc que j’aime pas, c’est de ne pas trouver une info, notamment sur internet.
Depuis tout à l’heure, aussi un peu aiguillonné par @GastonCestBon, j’essaye de trouver l’origine des statistiques brillantes avancées par Cowie dans cet article.
J’ai écumé PubMed, sans succès.
Puis, à force de tourner autour du pot (de torturer Google), je suis tombé là-dessus:
Je n’arrive pas à afficher la page de l’article de theheart.org en tant que cache, mais il semble bien qu’une première version ait été publiée, puis éditée.
Mais Big Google qui passait par là en a gardé un souvenir. Concentrons-nous sur le cinquième paragraphe de l’article actuel:
« The regulator decided it wanted to concentrate on mortality benefit. Within that subsection, the benefits are enormous, » he observes. « Total mortality is reduced by 17%, heart-failure mortality is down by 39%, and that’s on top of really good ACE-inhibitor and beta-blocker therapy. It’s very impressive. That’s what’s caught the media’s attention. »
D’accord?
Maintenant, regardons le fragment donné par le cache de Google:
« I know it’s post hoc, but total mortality is reduced by 17%, heart-failure mortality is down by 39%, and that’s on top of really good ACE-inhibitor and beta-blocker therapy.
Rigolo, non?
I know it’s post hoc, but a été supprimé.
En torturant encore un peu plus le cache Google, je trouve que ce petit bout de phrase était placé entre he observes et Total mortality:
Je n’en tire strictement conclusion sur la rédaction de l’article qui me semble de toute façon très discutable. Ne me faites pas dire ce que je n’ai pas dit.
Par contre, les mystérieuses statistiques ont été tirées d’une analyse post hoc. Et ça, c’est intéressant.
Primo, car je ne suis pas certain que cette analyse ait été publiée. Je parierais volontiers sur l’analyse d’un sous-groupe basé sur la fréquence cardiaque de repos initiale, genre FC>75 ou FC>77. Bien entendu, ce critère exclurait de facto une bonne partie (la majeure selon ce papier que j’ai déjà cité) des centaines de milliers de patients qui auraient pu bénéficier de ces 17 et 39% de diminution de mortalité. Donc l’estimation de 39000 vies épargnées et de 100 millions de livres sterling économisées par an, me semble parfaitement fantaisiste.
Secundo, car dans mon esprit, il s’agit d’une grosse restriction dans l’interprétation des résultats.
Le service commercial de Servier est friand des analyses post-hoc, j’en avais déjà parlé ici.
En gros, ré-assembler un essai clinique après sa réalisation, c’est à dire analyser des sous groupes qui n’ont même pas forcément été pré-spécifiés dans le plan de l’étude n’a qu’une valeur exploratoire qui demande confirmation.
C’est ce que dit ma référence en statistiques
Les analyses en sous-groupes décidées après le recueil des données sont des analyses « post-hoc » dont la valeur est purement exploratoire : l’expérience servant au recueil des données a eu un autre objectif que celui de l’analyse en sous groupe ; aucune hypothèse préalable n’a été formulée; aucun calcul de nombre de sujets nécessaires n’a été réalisé pour garantir une puissance suffisante. Le problème méthodologique provient du fait que les analyses « post-hoc » génèrent à la fois l’hypothèse et la vérification de l’hypothèse. Cette situation tautologique ne peut pas être utilisée comme preuve mais seulement pour générer de nouvelles hypothèses. Les analyses exploratoires exposent ainsi au risque d’ériger un artefact en loi. Il convient ainsi de faire la distinction entre les hypothèses formulées a priori (« prior hypothesis » et les hypothèses dérivées des données (« data-derived hypothesis »). Il est souhaitable de ne pas calculer de valeur de p pour les hypothèses non définies a priori car en général ces valeurs de p ne sont pas retrouvées quand l’hypothèse est testée de façon indépendante dans une autre étude. La définition a priori, dans le protocole de l’essai, des analyses en sous-groupes pressenties ne suppriment que partiellement ces réserves méthodologiques. La multiplication des tests persiste.
La formulation I know it’s… montre bien que Cowie, qui est un garçon brillant, a parfaitement conscience de ces limitations.
Malgré tout cela, Servier a, comme toujours, réussi à faire qu’un résultat médiocre, voire même une étude négative (comme Beautiful), soit magnifiquement montés en épingle par les médias, qu’ils soient médicaux ou non.
Et là dessus, ils sont brillamment imbattables.
Encore une chose.
Quand j’ai écrit ma note précédente, je disais que cette histoire ne nous concernait pas tellement, car elle se déroulait en Grande-Bretagne.
Et bien depuis, elle a traversé la Manche, et vient susurrer suavement à nos oreilles combien l’ivabradine est un produit merveilleux.
Vous remarquerez les sigles NHS en haut de l’article et dans le titre.
Curieux…
Ça laisserait presque à penser que cette vénérable institution cautionne le texte dithyrambique de l’article.
Je doute néanmoins que le NHS relaye les gros titres de médiocres médias britannique annonçant la venue sur terre d’une nouvelle panacée.
D’ailleurs, une rapide recherche sur le site du NHS ramène un in progress…
Je vous l’avais dit, Servier, c’est magique…
Grange Blanche 