脳科学のサンプリング問題

「文系学者の脳科学に対するコメントなんて信用できるか（笑）」などと言っている権威主義者の皆さんもいると思うので（その気持ちはわからなくもない）、「理系」の学者によるコメントもあったので紹介しておきます。

調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)

明快な文章ではあるけれど、まだ「長い！読む暇ない！」と思う人のために要約（超訳）すると

• 脳波を厳密に測っても、特殊な脳波の人を集めてきてるだけだったら、正しい知見には到達するのは難しいよ。で、この人の脳波が特殊か特殊じゃないか（ある集団に典型的かそうじゃないか）は、ふつうは研究する前にはわからないよ

という感じ。

ヒトを対象にしている学問分野の中で、もっとも高度な測定機器と洗練された実験手法を用いている脳科学を例にとって考えよう。近年、f-MRIなどの非侵襲脳機能計測機器の進歩により、脳科学研究は非常に盛んになっている。そこで取り上げられる手法は、極少数の被験者に対して反復してさまざまな実験条件を与え、条件ごとの反応の平均値差をもって「どの脳部位がどのような認知機能を担っているか」調べるものである。…（中略）…

脳科学は非常に高度な機器と洗練された実験手法を利用しているために、「得られた研究結果はロバスト［＝妥当性・信頼性が高い］であり、因果関係を立証している」ような幻想を抱きがちだが、実際は再現性が得られない研究は非常に多い。たとえば非常に初歩的な運動であるフィンガータップ（finger tapping）においても複数のf-MRIによる研究で得られた結果は一貫しておらず、近年ではメタ分析による統合が試みられている（Witt et al., 2008）。脳科学において研究知見が一貫しないことがあるのは、「被験者が心理系の大学生などごく限られた対象である」場合が多く、また「サンプルサイズもきわめて少ない」ことも大きな理由の一つと考えられる。それにも関［ママ］わらず、斉一性原理［＝あらゆる自然現象の構成員は普遍的なメカニズムを共有するという信念・信仰］の仮定が成立していいるという思い込みのために、大部分の研究者は問題ないと考えている。（同書、141-142頁）