Je suis tombé sur un article intéressant sur le site de NPR (merci Thérèse pour la découverte, même si dans ce cas, c’est Twitter qui me l’a fait découvrir).
Il discute des performances des humains chargés de dépister une anomalie, dans ce texte une radiologue à la recherche d’une calcification mammaire et un membre de la sécurité aéroportuaire chargé de regarder les scopies des bagages à la recherche d’explosifs ou d’armes.
Leurs performances sont influencées non seulement par les capacités de leur cerveau et par les lois statistiques.
Je vais être bref, on ne sait pas grand chose des capacités du cerveau, un domaine « cognitively impenetrable » comme le dit si bien un ophtalmo spécialiste de l’attention visuelle.
J’ai fait le test de l’article, n’ai pas vu consciemment la différence, mais j’ai quand même fait juste les deux fois.
Hasard?
Pour les statistiques, je pense que c’est encore Bayes qui a fait le coup.
Prenons un agent de sécurité lambda que l’on mute au choix dans un aéroport à risque terroriste élevé ou faible.
Dans un aéroport à faible risque terroriste, l’agent de sécurité aura une valeur prédictive positive (VPP) faible et une valeur prédictive négative (VPN) élevée. Autrement dit, si il voit quelque chose sur la scopie, il y a un faible probabilité qu’il y ait effectivement quelque chose. Par contre, si il ne voit rien (ce qui arrive le plus souvent), la probabilité qu’il y ait effectivement rien sera élevée. C’est plutôt rassurant.
Par contre, dans un aéroport à fort risque terroriste, ce sera l’inverse. La VPP sera élevée et la VPN basse. Si il voit quelque chose, ce sera très probablement un vrai risque. Si il ne voit rien, la probabilité qu’il y ait effectivement rien sera plus faible.
C’est pourtant l’inverse de ce que l’expérimentation décrite dans l’article suggère:
In one experiment, Wolfe took 20 X-rayed images of luggage stuffed with guns and knives, and mixed those images into stacks of images of X-rayed luggage that didn’t have guns and knives. « If you stick those 20 bags into a stack of 40 bags, so on average there’s a gun and knife in 50 percent of the bags, » Wolfe says, « people missed about 7 percent of the bags. « But when he took the exact same 20 bags and stuck them in a stack of 2,000 bags so that the targets showed up only 2 percent of the time, people got significantly worse. « All of a sudden, people were missing about 30 percent of the bags, » Wolfe says.
Cerveau et statistiques se contrecarrent dans ce cas précis
Bon bien sûr, cela ne prend pas en compte les différents niveaux de sécurité mis en place par les autorités aéroportuaires en fonction du risque terroriste « local » qui vont faire varier la sensibilité et la spécificité des contrôles et donc leurs valeurs prédictives.
Bref, un article enrichissant…
°0°0°0°0°0°0°0°0°0°0°0°0°
Guns, Tumors And The Limits Of The Human Eye, by Alix Spiegel. NPR
Grange Blanche 