Articles

Posted on

Expertise 2.0

Après le cinglant rapport de l’IGAS, voici donc un nouveau rapport au vitriol concernant le système français de contrôle de l’efficacité et de la sécurité des médicaments.

Un rapport offensif, parfois proche du pamphlet, décrit une situation à l’évidence désastreuse.

Alors que nos gouvernants répètent à l’envi qu’ils ont le meilleur système de santé du monde, il apparaît clairement que notre système de contrôle du médicament, qualifié dans le rapport de l’IGAS de « bureaucratie sanitaire », souffre d’archaïsmes dramatiques.

Il en va de même pour l’industrie hexagonale du médicament dont la survie tient essentiellement à la mise sur le marché de produits de second ordre ou de « me-too » (médicaments nouveaux sur le plan chimique mais sans avancée thérapeutique), bref sans intérêt. Tout ceci, en bénéficiant selon les auteurs de la complicité d’autorités qui, trop fréquemment, confondent enjeux de santé publique et enjeux économiques.

Ce rapport pointe la consternante insuffisance de l’éducation des médecins français en matière de pharmacologie et rappelle ainsi l’un des aspects de l’inadéquation entre la formation, tant initiale que continue, des praticiens et la réalité de leur métier.

Les auteurs dénoncent vigoureusement les relations troubles entre les autorités de régulation, les « experts » de tout poil et l’industrie pharmaceutique. Relations d’autant plus problématiques qu’elles sont largement minorées et dissimulées, profitant d’une culture du compromis quand les Anglo-saxons ont su développer, bien qu’imparfaitement, celle de la transparence.

Des propositions concrètes sont formulées. Beaucoup sont intéressantes, notamment la nécessité pour les experts travaillant pour les agences de régulation de ne présenter aucun conflit d’intérêt.

Et pourtant.

Et pourtant, ce qui frappe à la lecture du rapport Debré-Even, c’est sa vision très élitiste et « hospitalo-universitaire » du système. Les personnalités auditionnées ? Quasiment toutes sont issues du sérail des CHU, de l’industrie pharmaceutique ou des agences.

La langue utilisée fleure bon le paternalisme du début du XXème siècle, et malheureusement, certaines solutions proposées, également.

Les auteurs semblent accrochés à un modèle où la valeur des « experts » se mesure au nombre de publications et citations scientifiques. Encore faudrait-il démontrer que la maîtrise de la méthodologie des études médicales va nécessairement de pair avec de bonnes connaissances cliniques, ce qui est loin d’être le cas.

La qualification hospitalo-universitaire apparaît comme l’alpha et l’oméga de la compétence, ce qui est tout de même surprenant pour qui connaît le système français, lui-même porteur de nombre des travers dénoncés dans le rapport.

Ainsi on peut y lire qu’ « il suffit pour ce travail d’expert d’être travailleur, informé et critique, avec une vraie expérience clinique, de savoir lire entre les lignes et de ne pas méconnaître les pièges et chausse-trappes (sic) des stratégies statistiques et des stratifications, justifiables ou non, appliquées aux essais, pour décoder aisément le message apparent et le message réel des essais cliniques et de leurs limites. »

Ce rapport dénonce très justement une situation archaïque et formule des propositions utiles pour certaines et radicales pour la plupart, mais nous conservons le sentiment qu’il reste figé dans le XXème siècle, trop inspiré de l’existant, et notamment de la FDA qui serait un organisme de régulation parfait selon les auteurs. Pourtant, le Congrès américain, a ajouté le 22 janvier 2009 cette agence présentée comme un modèle à suivre dans sa liste de programmes gouvernementaux à haut-risque de fraudes, dysfonctionnement ou non-optimisation des budgets de l’Etat. Mais ne dit-on pas que l’herbe paraît toujours plus verte chez le voisin ?

Plus grave, ce rapport semble complètement passer à côté de la révolution en cours, celle qui ouvre pourtant des chemins pour l’avenir.

Les auteurs louent par exemple la « méthode Prescrire » en ces termes :

Ils sauvent l’honneur de l’évaluation française des médicaments. On peut, pour l’essentiel, les croire les yeux fermés. L’Agence du Médicament, ce sont eux et ils ne sont pas 1.000 avec un budget de 110 M€. Il leur a fallu pour cela, pour ne jamais dévier, ne jamais se décourager, beaucoup de travail, de rigueur, et aller sans cesse, sans relâche, à contre-courant du buzz-marketing des firmes et de l’indifférence de l’establishment médical, qui les ignore, ne les cite ni ne les aide jamais et qui est de facto complice de l’industrie, et finalement aussi aveugle que l’AFSSAPS.

Pourtant, leurs propositions pour faire évoluer l’AFSSAPS se situent à l’exact contraire de ce qui se fait chez Prescrire. La lecture des ours de chaque numéro et des noms des relecteurs, renouvelés chaque année met en évidence :

  • L’absence de « prima donna » : le travail est collectif, comme la signature.
  • Un mélange homogène d’universitaires et de praticiens de terrain.
  • Un nombre assez important d’intervenants, qui permet de tempérer la réponse de l’expertise, et d’être au plus près de la vérité.

Ainsi, l’une des mesures mises en avant dans ce rapport vise à l’établissement d’un petit groupe de « super-experts ».

Mais, quelles que soient ses compétences et son intégrité, il existera toujours, pour un expert isolé, le risque de se tromper ou d’avoir une approche biaisée, bref une subjectivité.

Nous faisons également l’analyse que l’une des causes des dérives actuelles est la déconnexion qui existe entre les experts d’un côté – au-delà de leurs qualités personnelles – et les malades de l’autre lorsque ceux-ci s’incarnent dans l’abstraction de tableaux statistiques.

Si nous pouvons accueillir favorablement la désignation d’un petit nombre de personnalités – pas nécessairement issues du sérail universitaire – exemptes de tout conflit d’intérêt et engageant clairement leur responsabilité propre sur les décisions prises in fine, cela ne peut toutefois suffire.

Pour limiter les risques de dérives, il s’agit de faire le pari de l’intelligence collective en s’appuyant, par exemple, sur d’authentiques conférences de consensus qui regroupent des personnalités issues d’horizons les plus divers avec, précisément, des non spécialistes du sujet.

Pour être constructifs, quelques mesures nous semblent prioritaires et dont certaines rejoignent les 57 propositions publiées par La Revue Prescrire le 8 mars :

  • Mener une simplification et une rationalisation profonde des structures de régulation et de décision.
  • Mettre en place une méthode de travail fondée sur la collégialité, en s’inspirant de l’expérience réussie de La Revue Prescrire, qui associe les points de vue et les qualifications les plus diverses. Il nous semble en effet primordial de confronter les compétences des chercheurs les plus pointus avec l’expérience de praticiens de terrain, d’autres professionnels du soin, de représentants de patients, d’associations de consommateurs, de personnalités qualifiées en matière d’éthique, etc…
  • Désigner un corps d’excellence qui serait chargé d’organiser et de synthétiser ce travail en réseau et dont les responsabilités seraient clairement identifiées et assumées pour chaque décision prise.
  • Donner aux débats une totale publicité et aux votes qui devront être filmés et publiés en ligne, d’une manière complète et transparente.
  • Apporter la garantie d’une absence totale de conflits d’intérêts pour les décideurs dans chaque dossier traité.

Nous partageons bien l’idée que l’ère des agences aussi multiples qu’inefficaces est révolue. Mais n’envisager que de leur substituer un groupe d’élite, aussi qualifié et indépendant soit-il, c’est s’arrêter au milieu du gué.

Car nous sommes déjà dans l’ère de l’expertise partagée et du travail en réseau.

Il est temps pour l’expertise de passer au 2.0.

 


Jean-Marie Vailloud, cardiologue, administrateur de grangeblanche.com

Borée, médecin généraliste, administrateur de boree.eu

°0°0°0°0°0°0°0°0°0°0°0°0°0°

Les auteurs tiennent à remercier chaleureusement les relectrices et relecteurs de ce texte pour l’ensemble de leurs suggestions et le temps qu’ils et elles ont bien voulu nous consacrer.

Posted on

Les comparaisons multiples

Let’s talk about stats!

Il y a quelques temps, je suis tombé sur ce tweet de Stéphane:

https://twitter.com/#!/PUautomne/status/55636813670400000

Le lien mène sur l’excellente BD xkcd de Randall Munroe, et sur ce crobard:


Le grand génie de Randall Munroe est de faire rire avec des concepts scientifiques parfois complexes.

Ici, il s’attaque au problèmes des comparaisons multiples.

Je vais essayer de vous faire une analyse de cette étude pivot qui clame que les Dragibus® verts provoquent des poussées d’acné (p<0.05).

D’abord quelques bases.

Lorsque l’on observe l’effet d’une intervention sur un échantillon de sujets (par exemple observer la survenue d’acné après l’administration de Dragibus®) , on s’expose au risque que l’effet observé soit simplement du au hasard.

Tout simplement, car il s’agit d’un échantillon, et non de la population humaine entière et que la fréquence de survenue d’acné va varier entre chaque échantillon, c’est la fluctuation d’échantillonnage.

Ce risque s’appelle le risque α (alpha) et il est particulièrement problématique car il peut faire conclure à tort à la réalité d’un lien de causalité entre une intervention et un effet, alors qu’il n’y en a pas.

Quand on effectue un test statistique pour démontrer la réalité d’un lien de causalité entre une intervention et l’effet observé, on va donc chercher à minimiser ce risque alpha.

On va même exiger que la probabilité p de survenue de ce risque soit inférieure à un pourcentage acceptable. En général, on choisit 5%, d’où le fameux p<0.05.

A chaque test effectué, on prend un risque α supplémentaire, et bien pire, il se cumule, c’est ce que l’on appelle l’inflation du risque α.

Si l’on effectue k tests, le risque α global sera de 1-(1-α)^k.

Quand est-ce que l’on effectue des tests répétés?

  • en cas de critères de jugement multiples

  • en cas d’analyse en sous-groupe

  • en cas d’analyses intermédiaires

  • en cas de multiplicité de bras (par exemple plusieurs dosages)

Dans le « papier » des personnages de xkcd, on retrouve une première analyse qui porte sur l’ensemble des couleurs des Dragibus®. Cette analyse ne permet pas de démontrer un lien de causalité avec p<0.05. Les personnages auraient dû s’arrêter là, il n’y a pas de lien entre la prise de ces sucreries et la survenue d’acné. Cette négativité invalide déjà sérieusement la solidité des analyses en sous-groupes qui vont suivre.

Mais probablement poussés par leur envie d’aller plus loin dans le raisonnement scientifique (hypothèse optimiste), ou par l’impérieuse nécessité d’obtenir un résultat positif (hypothèse pessimiste), les auteurs (vous remarquerez que les scientifiques glandouillent hors cadre) vont faire leur test sur 20 couleurs, soit 20 sous-groupes. Au total, ils ont donc effectué 21 tests.

On calcule donc le risque α global: 1-(1-0.05)^21=0.66

Le risque de conclure à tort à la réalité d’un lien de cause à effet entre prise de Dragibus® et survenue d’une acné est donc de près de 66%!

Et de fait, il y en a 1 qui est positif, le vert.

J’adore ensuite les gros titres du journal non scientifique avec la mise en avant d’une erreur α qui est tout à fait erronée, mais qui attire le gogo.

Cette histoire de Dragibus® vous a fait rire?

Tant mieux, car il se passe exactement la même chose pour les médicaments, presque tous les jours. Et le gogo, c’est un médecin.

Tout cela pour dire qu’il est fondamental de traquer dans un papier scientifique ces comparaisons multiples:

En lecture il convient d’être particulièrement attentif au problème de l’inflation du risque alpha. En effet, une situation de multiplicité des comparaisons enlève presque toute valeur à un résultat statistiquement significatif puisqu’il est possible, en répétant les tests, d’obtenir un p<0.05 avec n’importe quel traitement, même sans effet. Un résultat significatif obtenu dans un contexte où il est impossible de savoir le nombre de tests réalisés au total n’apporte aucune preuve statistique : « les données ont été torturées jusqu’à ce qu’elles avouent ! ». Les anglo-saxons parlent de « data dredging ». (M Cucherat)

°0°0°0°0°0°0°0°0°0°0°0°0°0°

Principe général des tests statistiques. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.

La problématique des comparaisons multiples. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.

Analyses en sous groupe. Interprétation des essais cliniques pour la pratique médicale. Michel Cucherat.

Posted on

Les blogueurs

Hier, j’ai rencontré une blogueuse médicale, et nous avons parlé pendant bien 2 heures, tout naturellement, comme si nous étions de vieux amis, alors qu’en fait nous ne nous connaissons qu’à peine.

A chaque fois que je rencontre un(e) blogueur(se) médical(e), et les occasions ne sont pourtant pas si fréquentes dans mon cas, je ressens la même impression.

« Dans la vraie vie », mais cette distinction vraie vie/vie numérique s’efface de plus en plus avec le temps, on ne se connait pas, parfois tellement pas qu’on ne sait pas à quoi ressemble l’autre, et pourtant, nous nous connaissons, reconnaissons très bien.

Nous nous livrons tous plus ou moins sur nos blogs, plus succinctement sur Twitter. Quelqu’un qui lit Grange Blanche depuis des années devrait avoir une image de moi pas très éloignée de celle qu’ont mes proches.

Et finalement, les gens que je lis depuis des années sont devenus des amis alors même que nous n’avons non seulement pas de contact physique, mais très souvent, même pas de conversation numérique.

L’osmose se fait naturellement en se lisant, en se liant mutuellement.

Je crois aussi que cette osmose est amplifiée par le sujet de nos blogs/tweets.

Nous parlons très souvent de médecine, de pratique médicale, de nos relations avec nos confrères et nos patients. Tout cela fait non seulement partie de nos vie, mais aussi et surtout de ce que nous sommes. Sinon, nous n’en parlerions pas tout le temps…

Nous savons, je sais qu’autour de moi des confrères me lisent et sont prêts à me soutenir ou à m’aider en cas de pépin, comme des amis le feraient. Et bien entendu, je ferais de même, sans aucune hésitation, pour eux. Quotidiennement, l’un de nous apporte quelque chose aux autres, à la communauté, et ce, même si il habite au fin fond d’une cambrousse paumée (je sais que vous savez exactement à qui je fais allusion). Cette communauté permet de rompre l’isolement du médecin de deux façons: elle lui permet non seulement d’intégrer ce que les autres lui apportent, mais aussi de s’exprimer, de participer, de bâtir quelque chose avec les autres.

Je pense que nous nous rendons meilleurs mutuellement.

Nous le faisons de façon tout à fait désintéressée, tout à fait naturellement. Je ne vois nulle part de hiérarchie, de ressentiments, d’ambitions, de critères d’admission…

Les autres communautés de blogueurs (les technos, les politiques…) sont très souvent secouées par des concours de ceux qui ont la plus grosse (audience ou influence), des échanges acerbes de commentaires… Chez nous, rien de tout cela (si j’ai loupé un truc, dites le moi!)

Une sorte de communauté de fraternité et de partage qui pourrait sembler parfaitement utopique voire cannabino-induite si finalement on ne la bâtissait pas jour après jour.

Chose étonnante aussi, qui était parfaitement imprévisible pour moi, les non-professionnels de santé, les patients pour faire simple, participent aussi à cette édification. Ce ne sont même pas « nos » patients (Dieu merci), ce sont « des » patients, pourtant, ils jouent le même rôle en nous rendant eux-aussi meilleurs grâce à leurs commentaires.

Voilà, c’était la 1000ième note de ce blog, la 2471ième depuis le début de Grange Blanche, et je voulais en profiter pour dire merci à tous ceux qui sont mes consœurs et confrères de Toile et qui m’apportent tant chaque jour.

Posted on

Une coro et l’addition!

L’hôpital ne sert plus à soigner des gens, mais à faire une série de bilans para-cliniques prévus dans un protocole.

On ne fait plus rentrer un patient au CHU parce qu’il est malade, et qu’on veut savoir pourquoi mais pour faire un bilan précis défini à l’avance.

Prenons l’exemple d’un patient cardiaque dyspnéique entré à l’hôpital pour coronarographie et cathétérisme droit.

Ces examens sont très bien faits, les médecins et le personnel sont formidables, mais le patient ressort au bout de quelques jours, toujours essoufflé.

Finalement, quelques semaines plus tard, le médecin généraliste a l’idée de faire le bon examen, un scanner thoracique. Ce qui l’essouffle et va le tuer sous peu est un cancer du poumon de 7 cm de diamètre dans le poumon gauche.

Deux séjours en CHU en 2 mois (dermato puis cardio), et personne n’a trouvé le pamplemousse.

Il serait allé en pneumo, on l’aurait probablement trouvé en regardant une radio pulmonaire, c’est ballot.

La faute à qui?

Les restructurations incessantes, le travail administratif qui écrase les médecins, le manque de personnel et probablement beaucoup le futur paiement à l’acte concourent à cela.

Le temps de réflexion est comprimé à l’extrême. Réfléchir fait perdre du temps et ne rapporte rien, remplaçons donc la réflexion par des protocoles! Le but n’est plus de soigner mais de faire tous les examens de la liste du protocole idoine.

La semaine dernière, on m’a demandé de faire un écho-doppler des artères rénales à une dame de 85-90 ans rentrée pour un bilan d’hypertension artérielle et une insuffisance rénale. L’écho-doppler fait en effet partie du bilan, mais pas la pyélonephrite qui faisait frissonner et mal à la dame pendant mon doppler. Elle frissonne, a mal et elle a 40, tant pis mais on va vite la descendre pour pas louper l’horaire de l’examen qui est dans la liste.

Le CHU commence à singer certaines cliniques où l’action a remplacé depuis longtemps la réflexion.

Le problème est que le CHU n’a pas pour vocation d’être rentable, il a pour vocation de regrouper des praticiens pointus qui ont à leur disposition un matériel moderne pour soigner des patients dans des conditions optimales.

Rendre rentable un CHU, autant vouloir vider l’océan!

Il suffit de se promener dans les couloirs pour le constater. Mais des bureaucrates ont décidé que c’était possible et ils rognent tout ce qui dépasse en ne se rendant pas compte que la médecine n’est pas une liste d’examens à pratiquer le plus vite possible et que ce sont des gens qui occupent les lits, pas une durée moyenne de séjour.

Je continue à faire des doppler veineux à des patients de tous âges qui ont fait un accident vasculaire cérébral et qui ont un foramen ovale perméable (prévalence de 20% dans la population générale) à la recherche d’une hypothétique phlébite qui aurait pu provoquer une embolie paradoxale. Pour l’instant aucun patient n’a présenté le moindre symptôme de thrombose veineuse, mais c’est dans la liste. Je suis presque certain que personne ne leur palpe les mollets.

Par contre, depuis ma dernière gueulante, le service de neurologie ne nous fait plus descendre les patients sur leurs pieds. Ils sont descendus en lit, c’est un progrès considérable. On fait maintenant au moins semblant d’avoir réfléchi et de faire de la médecine.

La formation des médecins ne me paraît pas en cause. J’ai l’impression que les choses s’empirent alors que ce sont des amis, des binômes qui occupent les postes clés. Les internes sont probablement formés comme nous l’étions, un peu à l’arraché et beaucoup sur le tas. Ce n’est pas ça, ce n’est pas un problème de compétence, c’est le système.

Deux termes ressortent de cette situation, hyper-spécialisation et externalisation.

Il n’y a plus de service de cardiologie ou de neurologie. Il n’y a plus que des unités de coronaropathie, de rythmologie, de valvulopathie, de syndromes démentiels, parkinsoniens, de maladies neuromusculaires…

Un coronarien qui a un problème rythmique devient presque aussi difficile à gérer d’un point de vue logistique que si il avait deux pathologies appartenant à deux spécialités différentes.

Il faut que les patients rentrent dans des formes très précises qui rétrécissent année après année. Cette hyper-spécialisation permet la rédaction de protocoles très ciblés avec une liste d’examens à faire de façon systématique à l’entrée du patient. On en revient au point de départ.

Et si le patient ne correspond pas, et que sa forme bave un peu?

Et bien, c’est là qu’apparaît le deuxième terme: externalisation.
On prévoit des consultations ou des examens à réaliser en externe, là où ça ne fait pas augmenter la durée moyenne de séjour, même si il n’y a personne pour faire la synthèse, on s’en fout de toute façon.

Dernièrement, une patiente un peu âgée et un peu démente, mais une patiente quand même, sort sans diagnostic précis d’un service de cardiologie du CHU dans les suites d’un malaise. Le courrier demande que soit réalisée « en externe » une échographie trans-thoracique pour une suspicion de rétrécissement aortique.

C’est pas énorme?

Pas tant que ça, en fait car les services de dopplers ou d’échographies (ceux que je connais) croulent littéralement sous des demandes d’examens dont la plupart font partie d’un protocole pré-établi appliqué scrupuleusement et sans réflexion. Les rendez-vous sont donc donnés avec des délais importants, que ne peuvent plus se permettre les services. Les patients sortent, mais ne reviennent souvent pas, ce qui explique le paradoxe qui fait hurler Stéphane: des consultations pleines à craquer sur le papier, donc des délais effarants, mais une salle d’attente vide.