Substitution

Un critère intermédiaire est souvent une mesure qui va documenter d’un point de vue physiologique une maladie et/ou son traitement. Par exemple, le LDL et l’athéromatose, ou la tension artérielle et certaines maladies cardiovasculaires.

Lorsqu’un critère intermédiaire est l’objet d’une étude clinique, on l’appelle critère du substitution (surrogate endpoint). Le syllogisme est tentant: le traitement T agit sur le paramètre A, Le paramètre A est un déterminant de la maladie M, donc T agit sur M, donc prescrivez T. Parfois, le syllogisme est tellement ancré dans nos esprits que l’on en oublie M, par exemple le LDL et les maladies cardio-vasculaires. Combien de personnes ont été traitée « pour un LDL élevé » lorsque les statines ont été commercialisées, en dehors de toute recommendation?

Les critères de substitution, comme beaucoup d’outils statistiques (par exemple la non-infériorité, les critères secondaires, les analyses post-hoc, en sous-groupe…), n’ont pas été créés par des statisticiens pervers et/ou avides de gloire et d’argent. Ce sont des outils utiles qui avec le temps, et surtout la promesse de résultats rapidement positifs, donc lucratifs, ont été dévoyés de leur fonction première. L’étude d’un critère intermédiaire permet idéalement de valider un concept pharmacologique et/ou physiologique et de savoir rapidement et avec relativement peu de moyens-une mesure est toujours plus rapide à observer qu’un décès ou un évènement clinique-si un traitement peut être efficace sur une maladie. Après, il est nécessaire de confirmer cette hypothèse par un essai clinique, bien plus long et onéreux à mettre en place, mais finalement le seul qui pourra répondre à l’unique question que nous devons nous poser: est-ce que ce traitement diminue la morbidité-mortalité de cette maladie?

Mais comme je l’ai dit, l’outil des critères de substitution fut dévoyé et on a obtenu des AMM et fait prescrire des milliers de boites de médicaments uniquement sur des essais portant sur ces derniers.

On peut regarder ainsi l’exemple quasi caricatural de l’aliskiren qui a obtenu une AMM et a été vendu sur des études montrant son intérêt sur les chiffres tensionnels (critères de substitution), mais qui, in fine n’a jamais montré d’intérêt dans la diminution de la morbidité-mortalité cardio-vasculaire. Le texte de la dernière mise à jour de l’avis de la HAS est éclairant:

Une étude très sympa s’intéressant à la validité des critères de substitution est sortie récemment dans le JAHA.

Tout est résumé dans ce graphique:

Les auteurs ont analysés sur 20 ans, dans 3 grands journaux scientifiques (NEJM, Lancet et JAMA) les essais cliniques sur des thérapeutiques cardio-vasculaires comportant un critère de substitution comme critère principal. Ils ont ensuite regardé les essais cliniques ultérieurs sur ces mêmes thérapeutiques.

D’abord, sur les 220 essais initiaux, seuls 59 ont été suivis par un essai clinique. Cela montre bien que l’essai avec critère intermédiaire, par flemme, manque de moyen, ou tout simplement parce qu’on ne le voit que comme un argument de vente, se suffit à lui même. La seule chose qui compte, l’intérêt clinique pour le patient est donc méprisé la plupart du temps.

Pour le groupe des études qui ont été suivies par un essai clinique, nous observons notamment qu’en cas d’études initiales positives, les essais cliniques confirmaient l’intérêt du traitement que dans 24 cas sur 44. Si les études initiales étaient négatives, les essais cliniques les contredisaient que dans 3 cas sur 15.

Autrement dit, il ne faut pas prescrire de traitement pour son seul effet sur un critère de substitution. Par ailleurs, la négativité d’un essai avec critère de substitution augure assez bien la négativité clinique d’un traitement.

L’effet sur la morbidité-mortalité doit rester idéalement la seule aune permettant de juger de l’intérêt d’un traitement. Tout le reste n’est bien souvent que technique de vente.

°0°0°0°0°0°0°0°0°0°0°0°0°0°0°

Pour en savoir plus:

Critères cliniques – intermédiaires – de substitution (Interprétation des essais cliniques pour la pratique médicale, Michel Cucherat).

Évaluer les bénéfices d’un traitement : d’abord les critères cliniques utiles aux patients (Revue Prescrire)

Annonce de service importante.

Je comptais vous le dire lundi, mais finalement, je ne vois pas trop d’intérêt à attendre plus. Je vais bientôt supprimer Grange Blanche.

Ce n’est pas une décision prise sur un coup de tête, j’y reviendrai plus tard. Depuis quelques temps, je me suis un peu retiré des réseaux sociaux en supprimant mon compte Facebook, en passant temporairement mon compte Twitter en compte privé…

Il y a quelques mois, j’ai rencontré des gens formidables, dynamiques, qui m’ont donné envie de changer d’orientation professionnelle. Pourtant, on partait de loin, car ces gens ont souvent fait l’objet de mes sarcasmes. À force de les critiquer, j’ai commencé à comprendre leur point de vue, et que c’est moi qui étais dans l’erreur.

Finalement, une opportunité professionnelle fabuleuse s’est présentée juste à ce moment là. La vie est pleine de cercles rouges…

Çakyamuni le Solitaire, dit Sidarta Gautama le Sage, dit le Bouddah, se saisit d’un morceau de craie rouge, traça un cercle et dit
« Quand des hommes, même s’ils l’ignorent, doivent se retrouver un jour, tout peut arriver à chacun d’entre eux et ils peuvent suivre des chemins divergents. Au jour dit, inéluctablement, ils seront réunis dans le cercle rouge.»
RAMA KRISHNA

Je les ai contactés, ils m’ont pardonné, et ils ont accepté ma candidature, je serai bientôt (à la fin de mon préavis), un futur chef de département biostatistique chez Servier.

Pourtant, je n’étais pas très confiant initialement. D’abord ma formation de cardiologue, car ils n’ont jamais développé de traitement dans ce domaine. Au contraire, ils ont dit, nous comptons créer un département cardio-vasculaire afin de commercialiser des molécules open-innovantes issues de la recherche Servier.

Ensuite, je leur ai dit que je n’avais comme bagage biostatistique qu’un DU de lecture critique des essais cliniques, et 2-3 MOOC. Encore mieux, ils ont répondu, on va te nommer en plus rédacteur en chef de Cardiologie Pratique, puis ils ont éclaté de rire en me tapant dans le dos et en entonnant il est des nôôôtres…

Une fraude en Chine, quelques patients de moins, et un produit ne sauve plus de vies.

Allez chercher du pop-corn.

Un de mes lecteurs m’a fait connaître une histoire d’essai clinique assez étonnante.

Tout commence dans un site mystérieux en Chine, le site 1200…

Bon, vous n’allez pas me lire sans rien faire, comme on écoute un conteur, je vais vous faire travailler un peu. Vous devez (re)lire l’étude ARISTOTLE publiée le 15/11/11 dans le NEJM. À l’époque où j’avais le temps, j’en avais fait cette analyse.

J’avais conclu ainsi:

ARISTOTLE me paraît être la plus convaincante des grandes études sur les NAC chez les patients porteurs d’une fibrillation auriculaire. La qualité de sa réalisation et la supériorité avec une diminution moyenne du risque relatif de 21% pour le critère primaire me plaisent bien. La diminution de mortalité me fait moins rêver, mais bon, je ne vais pas faire la fine bouche. Le risque relatif des hémorragies majeures est diminué de 31% en moyenne dans le groupe apixaban par rapport au groupe warfarine. Il s’agit néanmoins d’un critère secondaire. Bref, si je devais choisir un NAC, ce serait plutôt l’apixaban.

Si l’on regarde cette fameuse mortalité, j’avais écrit un peu plus haut:

Je note aussi un critère secondaire d’efficacité intéressant: la mortalité toute cause qui est significativement moindre, d’un-dernier-souffle, dans le groupe apixaban: risque relatif à 0.89 (0.8-0.998), p=0.047.

Cette petite diminution de mortalité toute cause, qui représente LE critère dur, le graal de tout traitement, a quand même favorablement influencé les commentateurs, dont moi (objectivement).

(source)

(source)

Revenons à notre site 1200, quelque part en Chine…

Ce n’est pas l’équivalent chinois du site 51, mais un des 1034 centres dans 39 pays qui ont randomisé les 18201 (écrivez ce nombre sur un papier) patient inclus dans ARISTOTLE.

Le nombre des patients inclus dans ce site 1200, a été de 35 (notez aussi ce nombre).

Malheureusement, des violations de protocoles, qualifiées de « frauduleuses » par la FDA ont eu lieu dans ce site, jetant le doute sur la qualité des données.

Un évaluateur de la FDA a donc recalculé tous les résultats de ARISTOTLE en excluant ce site (35 patients sur 18201, si vous ne m’avez pas écouté quelques lignes plus haut).

Je ménage mon effet en insistant: 35 patients exclus sur 18201…

Et bien, sans ces 35 patients, ARISTOTLE devient négatif sur le critère mortalité toutes causes:

(Source: page 58 du doc FDA cité en bas de note)

Le fameux p passe de 0,0465 à 0,0565.

Détail fascinant: 35 est encore un chiffre bien trop impressionnant, vous remarquerez en regardant le tableau qu’il a fallu uniquement  3 morts en moins dans le bras warfarine pour faire pencher la balance sur la mortalité toutes causes (3 morts sur… les 18201 patients de l’essai) 

Pffff, exit l’intérêt sur la mortalité. Cette fraude qualifiée d’isolée par la FDA explique pourquoi, malgré les données publiées dans le NEJM, les fabricants de Eliquis® n’ont jamais pu communiquer sur son bénéfice sur la mortalité globale:

(Source: page 2 du doc FDA cité en bas de note)

(Aucune mention de diminution de la mortalité. Caramba, encore raté)

J’imagine facilement leur rage et leur frustration car un tel bénéfice, bien mis en avant aurait tué toute concurrence.

Morale de l’histoire: 3 morts en moins suffisent pour faire disparaître un bénéfice dans un énorme essai clinique. Cela signifie que ce bénéfice est (était?) microscopique, mais que la puissance de l’essai a permis de le discerner. Si on ne considère, comme beaucoup de commentateurs français pourtant illustres, que la diminution moyenne du risque relatif qui est de 11%, celle-ci semble pourtant loin d’être microscopique. Du moment que p<0,05, tout passe, même des vessies pour les lanternes. Quel médecin, même raisonnable irait cracher sur une diminution de mortalité de 11% chez ses patients?

Si on regarde les intervalles de confiance, ici (0.8-0.998), et notamment le 0,998 qui représente l’effet minimal de l’apixaban sur la mortalité, on commence déjà se dire que le bénéfice peut ne pas bien être grand.

Si enfin on regarde les chiffres absolus: 669 décès dans le groupe warfarine, 603 dans le groupe apixaban, soit 66 décès de différence pour 18201 patients suivis durant 1,8 ans, on pouvait aussi se dire que le bénéfice absolu n’était pas monstrueux.

°0°0°0°0°0°0°0°0°0°0°0°0°0°0°0°0°0°

J’avais déjà souligné qu’il suffit parfois de très peu pour changer les résultats d’un essai clinique dans cette note sur la dronédarone.

Un document passionnant (j’ai lu 3 pages sur 393…) de la FDA sur l’essai ARISTOTLE. Comme je suis prudent, je suis allé vérifier que ce doc annoté par je ne sais pas trop qui était bien authentique. Il l’est, on le trouve sur le site de la FDA ici.

Un article un peu polémique sur cette histoire qu’il voudrait bien faire mousser (un volontaire pour l’envoyer au Parisien?). Bof, pas de quoi fouetter un comprimé de Mediator®…

Le RCP européen de l’Eliquis® (apixaban). Aucune mention de diminution de mortalité dans le 4.1 (ouf!).

L’article de John Mandrola qui a mis le feu aux poudres (j’en profite pour remercier mon lecteur pour cette histoire).

Proven efficacy

Entre deux cours, j’ai vu passer un retweet de l’excellent @docdu16 :

J’ai lu l’article de healthnewsreview, qui est clair net et précis, comme toujours et j’ai découvert que 2017 était vraiment l’année des alternative facts et du post-truth, que ce soit en politique ou en médecine. Mon discours d’inauguration a eu plus de spectateurs, mon meeting au Trocadéro a fait 200000 participants, Obama m’a mis sur écoutes, mon épouse a fait un burn-out en bossant comme une folle pour moi (et une revue littéraire), et ce traitement anti-cancéreux prolonge la survie globale.

L’objet du délit, si j’ose dire, est une publicité américaine pour l’Afinitor© (évérolimus), un inhibiteur de tyrosine kinase commercialisé par Novartis. Le site internet US du produit comporte notamment cette page: Je laisse de côté le paramètre survie médiane sans récidive (progression-free survival) qui est significativement augmenté en moyenne de 6 mois par rapport au placebo. C’était le critère principal de l’étude RADIANT-3 dont vous trouverez la publication ici.

Dans cette publication du NEJM en 2011, vous remarquerez aussi un paramètre important pour le patient, mais ici secondaire, la survie globale (overall survival). Elle n’est pas significativement améliorée par l’évérolimus par rapport au placebo.

Un abstract a été présenté à l’ESMO 3 ans plus tard avec une analyse sur cette même survie globale mais après un suivi plus important. Là aussi, pas d’amélioration significative de ce paramètre.

La publicité dit pourtant que la différence observée, bien que statistiquement non significative, l’est cliniquement (44.0-month median OS in patients treated with AFINITOR compared to 37.7 months for the placebo/crossover arm; not statistically significant but clinically meaningful).

Ce clinically meaningful est purement marketing et n’a qu’un seul but, suggérer que l’everolimus est efficace sur ce paramètre.

Comment peut-on sérieusement affirmer qu’un traitement qui n’a pas réussi à montrer une supériorité statistiquement significative puisse être efficace?

Et bien, il faut être souple et avoir une dialectique bien acérée. Les déclarations de l’auteur principal sont assez intéressantes de ce point de vue. Il impute la négativité statistique de l’étude à un taux élevé de cross-over (85% des patients initialement sous placebo sont passés sous évérolimus). Ce changement de groupe, qui concerne probablement les patients les plus graves, à visée compassionnelle, a certainement introduit un biais de contamination qui a pu atténuer l’effet de l’évérolimus. Ou pas… Cet énorme cross-over rend les résultats très difficiles à analyser, et à mon sens on ne peut en tirer aucune conclusion bien nette. Peut-être que l’évérolimus est efficace sur la survie globale, mais peut-être pas.

Le service communication ne s’est certainement pas embarrassé de telles interrogations et il a réussi à transformer le plomb en or, le doute en succès.

La HAS n’a pas été trop sensible à ces arguments en attribuant à l’évérolimus dans l’indication traitement de tumeurs neuroendocrines d’origine pancréatique, non résécables ou métastatiques bien ou moyennement différenciées avec progression de la maladie chez l’adulte  un SMR important et une ASMR mineure en mars 2012. La réévaluation faite en janvier 2016, donc après l’abstract de l’ESMO n’a pas conduit à une modification de cet avis.

Je pressens qu’en recherche clinique, comme en politique, les enjeux vont de plus en plus brouiller les limites, émousser les raisonnements et obscurcir le sens des concepts et même des mots. Il nous revient d’être vigilants afin de repousser poliment mais fermement les faits scientifiques alternatifs .

°0°0°0°0°0°0°0°0°0°0°0°0°0°0°

Pendant que j’y suis, je vous conseille la lecture de cet article de Hervé Maisonneuve sur l’avenir du p. Bonjour à l’auteur et aux deux commentateurs qui ne me sont pas inconnus ;-).