Vous avez reçu un SMS, il faut vacciner le gosse…

et mémé contre le tétanos!

En lisant un compte-rendu de la commission chargée du contrôle de la publicité de l’Afssaps (oui, je suis un grand fou et j’aime les expériences extrêmes), je suis tombé sur la discussion suivante (je n’ai copié que ce qui m’intéressait, le produit en question est un vaccin anti-pneumocoque, page 8):

Cette publicité présente notamment un système de SMS visant à prévenir les parents de la date du rappel de la vaccination par le vaccin promu. L’inscription au service nécessite ainsi l’enregistrement via le site internet consacré à ce vaccin du prénom de l’enfant, de sa date de naissance et d’un numéro de téléphone portable, afin de recevoir 3 SMS aux âges de 9, 12 et 13 mois.

Il est rappelé à la commission que des projets visant à améliorer l’observance liée aux rappels des vaccins via l’envoi de SMS ont reçu un avis défavorable de l’Afssaps en 2006 et 2007, considérant notamment que :

-les visites systématiques des premiers mois pouvaient pallier le risque de non observance des rappels de la petite enfance,

-le mode de remplissage par les parents pouvait être source d’erreur et rendre le support par SMS peu fiable, ce qui augmenterait le risque d’oubli d’un rappel,

-le mode de remplissage nécessitait un ordinateur et un téléphone portable, ce qui pouvait s’avérer non adapté à certaines familles susceptibles d’être concernées par ce problème d’observance,

-ce système pouvait induire une déresponsabilisation des parents qui, attendant les SMS, ne seraient plus attentifs au suivi des informations figurant dans le carnet de santé et ne s’occuperaient pas de gérer les rendez-vous chez le médecin,

-concernant les données recueillies, il n’y avait aucune garantie de la confidentialité et de la non-exploitation de celles-ci,

-enfin, d’une manière générale, ces systèmes ne donnaient pas l’assurance de favoriser l’observance des rappels.

Ainsi, le projet évoqué aujourd’hui soulève-t-il les mêmes problématiques que celles soulevées précédemment.

En outre, certaines pièces nécessaires à l’examen du projet de publicité n’ont pas été versées au dossier de demande de visa, telles que le contenu des SMS, la chartre de confidentialité, et aucun avis n’a été demandé à la commission nationale de l’informatique et des libertés pour la gestion des données recueillies.

Aussi, le groupe de travail propose-t-il de supprimer de cette publicité l’intégralité des références au système de rappel par SMS.

Si l’on fait abstraction des considérations administratives (chartre, avis CNIL…), je trouve que l’avis est un peu sévère.

Pourquoi pas des rappels électroniques planifiés?

Enfin, d’un autre côté, je ne fais pas beaucoup de vaccins, je suis probablement pas le plus apte à juger…

Ceux qui en font en pensent quoi?

Rien ne sera plus comme avant

Une fois n’est pas coutume, je vais vous faire travailler.

Je vous demande d’abord de lire les 4 comptes-rendus de l’ACC 2011 parus en avril dans 4 suppléments de la revue Le Cardiologue, émanant d’un syndicat, le Syndicat National des spécialistes des maladies du cœur et des vaisseaux.

Ces suppléments relatent quotidiennement ce qui s’est dit à l’ACC, sous forme de petits résumés.

Ils ont été publié avec le soutien institutionnel des laboratoires Servier:

Chaque numéro, en dehors de son aspect informatif, sert d’écrin à un texte dithyrambique en faveur du Procoralan® (ivabradine) rédigé par une grande plume de la cardiologie, le Pr. Robert Haiat.

J’ai eu la chance, il y a pas mal d’années, d’assister à une conférence du Pr. Haiat, non pas à la Faculté, mais au cours d’un séminaire organisé, je crois par Astra-Zeneca, dans un charmant petit golf dans la banlieue parisienne.

Mais revenons aux textes.

Je suis tout d’abord un peu étonné qu’un des habituels leaders d’opinion de Servier n’ait pas rédigé ces articles. Problème de recrutement dans la période de l’après-Mediator®, ou volonté de « rajeunir » son équipe de porte-parole?

Chacun de ces encarts est néanmoins un chef-d’œuvre du genre puisqu’on peut discerner non seulement une cohérence au sein de chaque texte, mais aussi une progression quasi dramatique qui atteint son apogée avec celui du dernier jour.

Je vous laisse lire ces textes qui, vous le remarquerez, sont mis en valeur par un liseré vert et un fond de couleur différente, c’est pour cela que j’ai parlé d’écrin précédemment. Ces textes représentent apparemment le prix à payer pour le soutien de Servier.

On peut y trouver tous les éléments de langage qui ont fait du service marketing de Servier l’un des meilleurs du Monde (voire le meilleur). Pour ceux qui ne sont pas habitués à les décrypter, je vous renvoie à cette note précédente.

Bon, vous allez me dire que ces textes reprennent toujours les mêmes grosses ficelles promotionnelles, et qu’il n’y a strictement rien de nouveau sous le soleil.

Ces suppléments font donc partie de ce que j’appelle la « presse de corbeille », c’est à dire qui part directement à la corbeille sans ouvrir l’emballage. Les Anglo-Saxons les nomment les Throwaway Journals.

Mais là, c’est un journal publié par un syndicat professionnel, ce qui n’est tout de même pas la même chose que la presse médicale pseudo-scientifique française qui ne vit que par et pour l’industrie pharmaceutique.

Mais bon, passons, ce n’est pas cela qui m’a fait rire et qui m’a donné envie de partager ces articles avec vous.

Hasard étonnant, mais parfaitement désopilant, en mars, c’est à dire le mois avant la publication de ces 4 suppléments, le président du même syndicat professionnel a publié cet éditorial dans la revue Le Cardiologue

L’auteur souhaite marquer la place prépondérante des cardiologues et du syndicat dans l’affaire du Médiator®.

Il pose de bonnes questions et offre des pistes intéressantes pour que cela ne se reproduise plus:

  • Accompagnement des patients victimes du Mediator®

  • Insuffisance de l’enseignement de la pharmacologie

  • Problème des prescriptions hors AMM

  • Conflits d’intérêts des experts intervenant dans une FMC financée majoritairement par l’industrie

  • Lourdeur de la déclaration des effets secondaires des médicaments

  • Pistes à suivre pour l’avenir: prescription en DCI, meilleure gestion des conflits d’intérêts…

Lisez attentivement cet éditorial, et vous pourrez constater que les 4 suppléments publiés le mois d’après illustrent à bien des égards l’exact contraire de ce que propose et souhaite son auteur.

Faites ce que je dis, pas ce que je fais?

Rien ne sera [vraiment] plus comme avant, ou encore mieux, comme l’a si bien dit Tomasi di Lampedusa, Si nous voulons que tout reste tel que c’est, il faut que tout change?

°0°0°0°0°0°0°0°0°0°0°0°0°0°

Je tiens à remercier chaleureusement le confrère cardiologue qui m’a fait connaitre ces suppléments et m’a motivé pour écrire cette note.

Expertise 2.0

Après le cinglant rapport de l’IGAS, voici donc un nouveau rapport au vitriol concernant le système français de contrôle de l’efficacité et de la sécurité des médicaments.

Un rapport offensif, parfois proche du pamphlet, décrit une situation à l’évidence désastreuse.

Alors que nos gouvernants répètent à l’envi qu’ils ont le meilleur système de santé du monde, il apparaît clairement que notre système de contrôle du médicament, qualifié dans le rapport de l’IGAS de « bureaucratie sanitaire », souffre d’archaïsmes dramatiques.

Il en va de même pour l’industrie hexagonale du médicament dont la survie tient essentiellement à la mise sur le marché de produits de second ordre ou de « me-too » (médicaments nouveaux sur le plan chimique mais sans avancée thérapeutique), bref sans intérêt. Tout ceci, en bénéficiant selon les auteurs de la complicité d’autorités qui, trop fréquemment, confondent enjeux de santé publique et enjeux économiques.

Ce rapport pointe la consternante insuffisance de l’éducation des médecins français en matière de pharmacologie et rappelle ainsi l’un des aspects de l’inadéquation entre la formation, tant initiale que continue, des praticiens et la réalité de leur métier.

Les auteurs dénoncent vigoureusement les relations troubles entre les autorités de régulation, les « experts » de tout poil et l’industrie pharmaceutique. Relations d’autant plus problématiques qu’elles sont largement minorées et dissimulées, profitant d’une culture du compromis quand les Anglo-saxons ont su développer, bien qu’imparfaitement, celle de la transparence.

Des propositions concrètes sont formulées. Beaucoup sont intéressantes, notamment la nécessité pour les experts travaillant pour les agences de régulation de ne présenter aucun conflit d’intérêt.

Et pourtant.

Et pourtant, ce qui frappe à la lecture du rapport Debré-Even, c’est sa vision très élitiste et « hospitalo-universitaire » du système. Les personnalités auditionnées ? Quasiment toutes sont issues du sérail des CHU, de l’industrie pharmaceutique ou des agences.

La langue utilisée fleure bon le paternalisme du début du XXème siècle, et malheureusement, certaines solutions proposées, également.

Les auteurs semblent accrochés à un modèle où la valeur des « experts » se mesure au nombre de publications et citations scientifiques. Encore faudrait-il démontrer que la maîtrise de la méthodologie des études médicales va nécessairement de pair avec de bonnes connaissances cliniques, ce qui est loin d’être le cas.

La qualification hospitalo-universitaire apparaît comme l’alpha et l’oméga de la compétence, ce qui est tout de même surprenant pour qui connaît le système français, lui-même porteur de nombre des travers dénoncés dans le rapport.

Ainsi on peut y lire qu’ « il suffit pour ce travail d’expert d’être travailleur, informé et critique, avec une vraie expérience clinique, de savoir lire entre les lignes et de ne pas méconnaître les pièges et chausse-trappes (sic) des stratégies statistiques et des stratifications, justifiables ou non, appliquées aux essais, pour décoder aisément le message apparent et le message réel des essais cliniques et de leurs limites. »

Ce rapport dénonce très justement une situation archaïque et formule des propositions utiles pour certaines et radicales pour la plupart, mais nous conservons le sentiment qu’il reste figé dans le XXème siècle, trop inspiré de l’existant, et notamment de la FDA qui serait un organisme de régulation parfait selon les auteurs. Pourtant, le Congrès américain, a ajouté le 22 janvier 2009 cette agence présentée comme un modèle à suivre dans sa liste de programmes gouvernementaux à haut-risque de fraudes, dysfonctionnement ou non-optimisation des budgets de l’Etat. Mais ne dit-on pas que l’herbe paraît toujours plus verte chez le voisin ?

Plus grave, ce rapport semble complètement passer à côté de la révolution en cours, celle qui ouvre pourtant des chemins pour l’avenir.

Les auteurs louent par exemple la « méthode Prescrire » en ces termes :

Ils sauvent l’honneur de l’évaluation française des médicaments. On peut, pour l’essentiel, les croire les yeux fermés. L’Agence du Médicament, ce sont eux et ils ne sont pas 1.000 avec un budget de 110 M€. Il leur a fallu pour cela, pour ne jamais dévier, ne jamais se décourager, beaucoup de travail, de rigueur, et aller sans cesse, sans relâche, à contre-courant du buzz-marketing des firmes et de l’indifférence de l’establishment médical, qui les ignore, ne les cite ni ne les aide jamais et qui est de facto complice de l’industrie, et finalement aussi aveugle que l’AFSSAPS.

Pourtant, leurs propositions pour faire évoluer l’AFSSAPS se situent à l’exact contraire de ce qui se fait chez Prescrire. La lecture des ours de chaque numéro et des noms des relecteurs, renouvelés chaque année met en évidence :

  • L’absence de « prima donna » : le travail est collectif, comme la signature.
  • Un mélange homogène d’universitaires et de praticiens de terrain.
  • Un nombre assez important d’intervenants, qui permet de tempérer la réponse de l’expertise, et d’être au plus près de la vérité.

Ainsi, l’une des mesures mises en avant dans ce rapport vise à l’établissement d’un petit groupe de « super-experts ».

Mais, quelles que soient ses compétences et son intégrité, il existera toujours, pour un expert isolé, le risque de se tromper ou d’avoir une approche biaisée, bref une subjectivité.

Nous faisons également l’analyse que l’une des causes des dérives actuelles est la déconnexion qui existe entre les experts d’un côté – au-delà de leurs qualités personnelles – et les malades de l’autre lorsque ceux-ci s’incarnent dans l’abstraction de tableaux statistiques.

Si nous pouvons accueillir favorablement la désignation d’un petit nombre de personnalités – pas nécessairement issues du sérail universitaire – exemptes de tout conflit d’intérêt et engageant clairement leur responsabilité propre sur les décisions prises in fine, cela ne peut toutefois suffire.

Pour limiter les risques de dérives, il s’agit de faire le pari de l’intelligence collective en s’appuyant, par exemple, sur d’authentiques conférences de consensus qui regroupent des personnalités issues d’horizons les plus divers avec, précisément, des non spécialistes du sujet.

Pour être constructifs, quelques mesures nous semblent prioritaires et dont certaines rejoignent les 57 propositions publiées par La Revue Prescrire le 8 mars :

  • Mener une simplification et une rationalisation profonde des structures de régulation et de décision.
  • Mettre en place une méthode de travail fondée sur la collégialité, en s’inspirant de l’expérience réussie de La Revue Prescrire, qui associe les points de vue et les qualifications les plus diverses. Il nous semble en effet primordial de confronter les compétences des chercheurs les plus pointus avec l’expérience de praticiens de terrain, d’autres professionnels du soin, de représentants de patients, d’associations de consommateurs, de personnalités qualifiées en matière d’éthique, etc…
  • Désigner un corps d’excellence qui serait chargé d’organiser et de synthétiser ce travail en réseau et dont les responsabilités seraient clairement identifiées et assumées pour chaque décision prise.
  • Donner aux débats une totale publicité et aux votes qui devront être filmés et publiés en ligne, d’une manière complète et transparente.
  • Apporter la garantie d’une absence totale de conflits d’intérêts pour les décideurs dans chaque dossier traité.

Nous partageons bien l’idée que l’ère des agences aussi multiples qu’inefficaces est révolue. Mais n’envisager que de leur substituer un groupe d’élite, aussi qualifié et indépendant soit-il, c’est s’arrêter au milieu du gué.

Car nous sommes déjà dans l’ère de l’expertise partagée et du travail en réseau.

Il est temps pour l’expertise de passer au 2.0.

 


Jean-Marie Vailloud, cardiologue, administrateur de grangeblanche.com

Borée, médecin généraliste, administrateur de boree.eu

°0°0°0°0°0°0°0°0°0°0°0°0°0°

Les auteurs tiennent à remercier chaleureusement les relectrices et relecteurs de ce texte pour l’ensemble de leurs suggestions et le temps qu’ils et elles ont bien voulu nous consacrer.

Les comparaisons multiples

Let’s talk about stats!

Il y a quelques temps, je suis tombé sur ce tweet de Stéphane:

https://twitter.com/#!/PUautomne/status/55636813670400000

Le lien mène sur l’excellente BD xkcd de Randall Munroe, et sur ce crobard:


Le grand génie de Randall Munroe est de faire rire avec des concepts scientifiques parfois complexes.

Ici, il s’attaque au problèmes des comparaisons multiples.

Je vais essayer de vous faire une analyse de cette étude pivot qui clame que les Dragibus® verts provoquent des poussées d’acné (p<0.05).

D’abord quelques bases.

Lorsque l’on observe l’effet d’une intervention sur un échantillon de sujets (par exemple observer la survenue d’acné après l’administration de Dragibus®) , on s’expose au risque que l’effet observé soit simplement du au hasard.

Tout simplement, car il s’agit d’un échantillon, et non de la population humaine entière et que la fréquence de survenue d’acné va varier entre chaque échantillon, c’est la fluctuation d’échantillonnage.

Ce risque s’appelle le risque α (alpha) et il est particulièrement problématique car il peut faire conclure à tort à la réalité d’un lien de causalité entre une intervention et un effet, alors qu’il n’y en a pas.

Quand on effectue un test statistique pour démontrer la réalité d’un lien de causalité entre une intervention et l’effet observé, on va donc chercher à minimiser ce risque alpha.

On va même exiger que la probabilité p de survenue de ce risque soit inférieure à un pourcentage acceptable. En général, on choisit 5%, d’où le fameux p<0.05.

A chaque test effectué, on prend un risque α supplémentaire, et bien pire, il se cumule, c’est ce que l’on appelle l’inflation du risque α.

Si l’on effectue k tests, le risque α global sera de 1-(1-α)^k.

Quand est-ce que l’on effectue des tests répétés?

  • en cas de critères de jugement multiples

  • en cas d’analyse en sous-groupe

  • en cas d’analyses intermédiaires

  • en cas de multiplicité de bras (par exemple plusieurs dosages)

Dans le « papier » des personnages de xkcd, on retrouve une première analyse qui porte sur l’ensemble des couleurs des Dragibus®. Cette analyse ne permet pas de démontrer un lien de causalité avec p<0.05. Les personnages auraient dû s’arrêter là, il n’y a pas de lien entre la prise de ces sucreries et la survenue d’acné. Cette négativité invalide déjà sérieusement la solidité des analyses en sous-groupes qui vont suivre.

Mais probablement poussés par leur envie d’aller plus loin dans le raisonnement scientifique (hypothèse optimiste), ou par l’impérieuse nécessité d’obtenir un résultat positif (hypothèse pessimiste), les auteurs (vous remarquerez que les scientifiques glandouillent hors cadre) vont faire leur test sur 20 couleurs, soit 20 sous-groupes. Au total, ils ont donc effectué 21 tests.

On calcule donc le risque α global: 1-(1-0.05)^21=0.66

Le risque de conclure à tort à la réalité d’un lien de cause à effet entre prise de Dragibus® et survenue d’une acné est donc de près de 66%!

Et de fait, il y en a 1 qui est positif, le vert.

J’adore ensuite les gros titres du journal non scientifique avec la mise en avant d’une erreur α qui est tout à fait erronée, mais qui attire le gogo.

Cette histoire de Dragibus® vous a fait rire?

Tant mieux, car il se passe exactement la même chose pour les médicaments, presque tous les jours. Et le gogo, c’est un médecin.

Tout cela pour dire qu’il est fondamental de traquer dans un papier scientifique ces comparaisons multiples:

En lecture il convient d’être particulièrement attentif au problème de l’inflation du risque alpha. En effet, une situation de multiplicité des comparaisons enlève presque toute valeur à un résultat statistiquement significatif puisqu’il est possible, en répétant les tests, d’obtenir un p<0.05 avec n’importe quel traitement, même sans effet. Un résultat significatif obtenu dans un contexte où il est impossible de savoir le nombre de tests réalisés au total n’apporte aucune preuve statistique : « les données ont été torturées jusqu’à ce qu’elles avouent ! ». Les anglo-saxons parlent de « data dredging ». (M Cucherat)

°0°0°0°0°0°0°0°0°0°0°0°0°0°

Principe général des tests statistiques. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.

La problématique des comparaisons multiples. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.

Analyses en sous groupe. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.