Etude en IRMf d'un saumon mort: un argument renforçant l'idée qu'il est important de faire des bons tests statistiques
L'IRMf (imagerie par résonance magnétique fonctionnelle) est une technique très utilisée à l'heure actuelle et depuis plusieurs années pour comprendre le fonctionnement du cerveau humain. Cette technique sert autant à des buts cliniques (comprendre les pathologies) qu'à des buts de recherche fondamentale (comprendre le fonctionnement du cerveau en général). Néanmoins, comme beaucoup d'autres méthodes, elle a ses limites. Les chercheurs ici ont voulu, à travers un exemple anecdotique, souligner que des bonnes statistiques sont importantes avant de conclure à quoi que ce soit.
Les chercheurs ont placé un saumon mort dans l'IRM pendant que des images d'humains dans différentes situations sociales (individu inclus dans un groupe social ou exclu) étaient représentées. Les chercheurs, pour combler le tout et respecter le design habituel de cette tâche, ont demandé à chaque fois au saumon mort d'identifier les émotions ressenties par l'individu représenté sur chaque photo.
Les chercheurs montrent que, malgré le fait que le saumon soit mort, avec le test statistique appliqué, ils arrivent à montrer une "activité" dans le cerveau du saumon mort. Comme ils le disent eux-mêmes avec humour dans l'article, cela veut soit dire qu'ils ont prouvé un fait invraisemblable que les saumons morts réagissent à des photos d'humains, soit plus probablement qu'ils sont face à un faux-positif (un résultat ressort avec les tests statistiques appliqués, et pourtant il est faux).
Cet article, plus que de discréditer l'IRM, sert à rappeler à la communauté scientifique qu'il faut être très prudent lorsque l'on analyse des données car on peut très vite se retrouver avec des faux positifs et donc affirmer qu'on a trouvé une activité dans une aire cérébrale alors qu'il ne s'agit pas d'un résultat fiable. Il souligne aussi qu'à l'heure où beaucoup, en particulier chez les transhumanistes, rêvent de pouvoir lire dans les pensées comme dans un livre, nous avons encore des progrès à faire pour pouvoir être assurés à 100% des résultats que nous fournissent les études de neuroimagerie et des neurosciences en général et ce n'est qu'à travers la reproduction des résultats, des bons tests statistiques, un échantillon assez grand et la convergence issue de plusieurs études à travers le monde que l'on peut être assurés qu'un résultat scientifique est totalement fiable et valable.
With the extreme dimensionality of functional neuroimaging data comes extreme risk for false positives. Across the 130, 000 voxels in a typical fMRI volume the probability of at least one false positive is almost certain. Proper correction for multiple comparisons should be completed during the analysis of these datasets, but is often ignored by investigators. To
highlight the danger of this practice we completed an fMRI
scanning session with a post-mortem Atlantic Salmon as the
subject. The salmon was shown the same social perspectivetaking
task that was later administered to a group of human
subjects. Statistics that were uncorrected for multiple comparisons
showed active voxel clusters in the salmon’s brain
cavity and spinal column. Statistics controlling for the familywise
error rate (FWER) and false discovery rate (FDR) both
indicated that no active voxels were present, even at relaxed
statistical thresholds. We argue that relying on standard statistical
thresholds (p < 0.001) and low minimum cluster sizes
(k > 8) is an ineffective control for multiple comparisons. We
further argue that the vast majority of fMRI studies should be
utilizing proper multiple comparisons correction as standard
practice when thresholding their data.
