On looking at Subgroups

Il s’agit du titre d’un éditorial du dernier Circulation, rédigé par une statisticienne, Janet Wittes.

C’est un texte comme je les aime.

Un texte qui propose un point de vue « engagé » sur une question, c’est à dire que son angle d’attaque n’est pas le consensus mou que l’on retrouve trop souvent dans les publications scientifiques médicales.

Cet éditorial est un chouïa trop technique pour moi, en tout cas pour mes faibles connaissances statistiques et mon anglais de cuisine, et j’ai du le relire plusieurs fois pour essayer d’en tirer quelque chose d’exploitable.

Toutefois, je suis certain que ce texte est « important ».

L’auteur donne donc des clés pour analyser et critiquer les études de sous-groupes qui pullulent pourtant dans la littérature scientifique médicale.

En fait, l’analyse des sous groupes, qui devrait plutôt faire générer des hypothèses à défricher, sert le plus souvent de « rattrapage aux branches » pour des molécules ou procédures qui ont échoué à montrer un intérêt dans la population principale.

Je ne reviendrai pas sur l’exemple de l’ivabradine (Procoralan) qui ne fait pas mieux que le placebo dans la population générale de l’étude BEAUTIFUL, mais que le laboratoire vante (et vend) Urbi et Orbi car cette molécule a fait mieux que le placebo pour des critères secondaires, dans un sous groupe. J’avais utilisé alors la métaphore du grognard napoléonien qui ayant tué un grenadier britannique à Waterloo, aurait conduit un commentateur peu objectif à revendiquer une victoire française écrasante en ce jour pourtant funeste.

Janet Wittes donne donc des pistes pour que le lecteur puisse essayer de séparer le bon grain de l’ivraie et illustre son propos par deux exemples marquants.

Premier exemple: dans une étude de prévention d’infarctus du myocarde létaux par l’aspirine (ISIS-2), les investigateurs se sont « amusés » à classer leur population en 12 sous groupes, en fait les 12 signes du zodiaque afin d’analyser l’efficacité de l’aspirine pour chacun d’entre eux. Tout cela, bien sûr, dans le but de montrer leur défiance face à l’analyse en sous groupes. Et bien, si l’aspirine est clairement efficace dans la population générale; ce qui est peu contesté, elle est dangereuse chez les sujets nés sous les signes des gémeaux et de la vierge.

Comme le dit très finement Janet Wittes: « Most nonastrologers would believe the findings due to chance« .

Deuxième exemple, théorique, celui-çi.

Si l’on multiplie les sous-groupes, on augmente très sensiblement la « chance » d’avoir un résultat positif pour l’un d’eux.

L’auteur prend l’exemple d’une étude comparant deux traitement inertes, deux placebos. Si l’on divise la population de départ en 20 sous-groupes exclusifs, la probabilité d’avoir dans un sous-groupe une différence significative, c’est à dire p<0.05 est de 64%. Pour 50 sous groupes, la probabilité est de 92%, pour 100 sous groupes, elle est supérieure à 99%.

La division en autant de sous groupes peut paraître farfelue et peu fréquente, mais ce n’est pas si rare. Ainsi, l’éditorial se rapporte à une étude, RUTH qui en a 51!


°0°0°0°0°0°0°0°0°0°


Wittes J. On looking at Subgroups. Circulation 2009;119;912-915



6 Replies to “On looking at Subgroups”

  1. Ca voudrait dire que l’information médicale drapée des habits sophistiqués de la Science pourrait, en de rares cas, manquer d’objectivité ? Diantre, ça ferait un beau sujet de communication au prochain congrès sponsorisée par… ah ben non ils n’accepteront pas le papier 😦
    Allez je retourne lire Prescrire bonne journée !

  2. Je n’ai pas accès à cet article (mais je serais même pret à payer une somme raisonnable pour le lire :)…il faut que je vois comment leur site web fonctionne).

    Bref, voila enfin un beau pavé dans la mare des stats merdiques dans les articles.

    Trivialement:
    Plus il y a de sous groupes, moins il y a de monde dans chaque sous groupe (si on suppose les sous groupes vaguement exclusifs).
    Moins il y a de monde dans un groupe donné, moins une moyenne, une mediane ou n’inporte quel test sophistiqué pondant un « p= » aura de sens.

    Si on veut connaitre la taille moyenne des francais, ce n’est pas la peine de faire passer 65*10^6 personnes sous la toise. Par contre, le résultat ne voudra pas dire grand chose si on en mesure que deux (argll…mon exemple est tellement caricatural qu’il en est peut être peu clair…?)

    Eclater la population d’un test en sous groupes en espérant faire apparaitre un résultat en sa faveur est une chose détestable.

    Les outils statistiques permettent cependant de faire bien pire :
    On se donne une population, des résultats sur chaque individu et une liste de critères potentiels pour faire les groupes. On peut alors facilement optimiser la liste des critères à retenir pour former les groupes.
    Optimiser pour atteindre quel objectif?
    Facile : « Faire en sorte d’observer les déviations qui nous arrangent entre les groupes ». En clair, faire en sorte que le résultat de l’étude soit le « plus positif possible ».

    Appliquer ces méthodes de cette facon relève tout bonnement de l’imposture scientifique.

  3. C’est même pire que ça Xavier lorsque les différences sont faibles entre les groupes (ou sous-groupes…) le simple fait d’utiliser un test statistique différent orientera le résultat ! en gros. D’où la nécessité absolue de bien connaître les stats quand on veut faire de la recherche rigoureuse ! Une anecdote pendant mon DEA dans un labo CNRS j’ai surpris une conversation entre le boss et le statisticien : « quel test il faut faire pour trouver le résultat que l’on attend ? ». Bon d’accord c’était peut-être des malandrins isolés, mais n’empêche le monde de la Certitude Scientifique s’est effondré aussi sûrement que mur de Berlin ce jour-là , ce sont des croyances comme les autres.

Laissez une réponse

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l’aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.