スポンサーリンク

疑わしい研究実践(Questionable Research Practices: QRPs)

原理・研究法・歴史

疑わしい研究実践(Questionable Research Practices: QRPs)とは、捏造・改ざん・盗用のようなはっきりした不正ではないものの、分析や報告のしかたを結果に合わせて選び、偶然の結果を「発見」に見せる研究のやり方です。代表例はpハッキング、HARKing、選択的報告です。

疑わしい研究実践の定義と、本物のデータで背の高さ・葉の数・花の数・根の長さを比べ、偶然の差が出た花の数だけを「最初から花の数で比べる予定でした」とまとめに書く例の図、3つのポイント(pハッキング=くじの引き直し、HARKing=後出しじゃんけん、選択的報告)をまとめた図
ひと目でわかる疑わしい研究実践

簡単な説明

自由研究で「この肥料で植物がよく育つ」と確かめたいとします。背の高さ、葉の数、花の数、根の長さを測ると、差が出たのは花の数だけ。そこで、まとめには花の数だけを書き、「最初から花の数で比べる予定でした」と書いたらどうでしょう。

うそのデータはありません。でも、サイコロを何回も振ればいつか6が出るように、たくさん比べればどれかに偶然の差が出ます。数字はうそではないのに、選び方と書き方で結論がゆがむ「グレーなやり方」が、疑わしい研究実践です。

由来

1992年、米国科学アカデミーなどの委員会の報告書Responsible Scienceは、研究上の問題行動を「不正行為(捏造・改ざん・盗用)」「疑わしい研究実践」「その他の不正行為」に分けました。疑わしい研究実践の例には「有意性を高めるために不適切な統計手法を使うこと」があります。

心理学での代表的な研究は、Joseph P. Simmons・Leif D. Nelson・Uri Simonsohn(2011)の論文と、Leslie K. John・George Loewenstein・Drazen Prelec(2012)の調査です。HARKingはNorbert L. Kerr(1998)が名前をつけて定義しました。

具体的な説明

研究不正(FFP)との違い

研究不正(FFP)疑わしい研究実践(QRPs)
中身捏造(Fabrication)・改ざん(Falsification)・盗用(Plagiarism)pハッキング、HARKing、選択的報告など
データない数値を作る・数値を書きかえる数値は本物。どれを使い、どう書くかを結果を見て選ぶ

日本では文部科学省のガイドライン(2014年決定)が、故意または著しい注意義務違反による、発表された研究成果の中の捏造・改ざん・盗用を「特定不正行為」と定めました。QRPsはグレーゾーンで、本人に自覚がないこともあります。

代表的な3つの行為

  • pハッキング(p-hacking):p値が.05を下回るまで分析をいじること。従属変数を選び直す、結果を見てデータを追加する、除外基準や共変量を後から決める、など。
  • HARKing:結果を見て作った仮説(後づけの仮説)を、最初からの仮説のように書くこと。矢を射てから、刺さった所に的を描くようなものです。
  • 選択的報告:「うまくいった」研究・条件・変数だけを報告すること。重なると文献全体がかたよる出版バイアスにつながります。

なぜ偽陽性が増えるのか:研究者の自由度

有意水準5%は、本当は差がないのに差があると判断する偽陽性(第1種の過誤)の確率を、1回の検定につき5%におさえる約束です。独立な検定を5回して1つでも有意なら採用するなら、偽陽性が1回以上起こる確率は1−0.955≒23%にふくらみます。

たとえば「不安」を質問紙・心拍数・行動の3通りの操作的定義で測り、有意になった1つだけを報告すれば、読者には1回の検定に見えます。Simmonsらは、こうした選択の自由を研究者の自由度(researcher degrees of freedom)と呼びました。結果を見て選び、それを報告しなければ、p値は名目どおりの意味を失います。

対策

対策しくみ主に防ぐもの
開示の要件(Simmons et al., 2011)データ収集の終了ルールを先に決め、測った変数・条件をすべて報告するpハッキング
事前登録結果を見る前に問いと分析計画を登録し、予測と後づけを区別する(Nosek et al., 2018)pハッキング、HARKing
登録報告(Registered Reports)データ収集の前に査読し、通れば結果にかかわらず原則として掲載。2013年にCortex誌が導入を発表(Chambers, 2013)上の2つに加え、選択的報告

実験や観察の方法と結論

① Simmons et al.(2011):本当は差がない1条件20人の2群データを15,000回つくり、t検定などで分析しました。「従属変数を2つ測る」「10人ずつ追加」「性別を共変量に」「3条件の1つを外す」の自由度は、単独でもp<.05になる割合を7.7〜12.6%に上げ、4つを組み合わせると60.7%に達しました。実験でも、ビートルズの「When I’m Sixty-Four」を聞くと1歳半近く若くなるという、ありえない結果を「有意」にしてみせました。

本当は差がないのにp<.05になる割合を横棒で比べた図。1回の検定の約束は5%、Simmons et al.(2011)で自由度を1つ使うと7.7〜12.6%、独立な検定を5回すると約23%、自由度4つを組み合わせると60.7%に増えることを示す
研究者の自由度で偽陽性はここまで増える:名目の5%が、自由度4つの組み合わせで60.7%に

② John et al.(2012):米国の大学の心理学者5,964人に匿名調査を送り、2,155人(回答率36%)が回答。一方の群には、正直に答えるほど慈善団体への寄付が増えるしくみ(Bayesian truth serum:BTS)を伝えました。BTS群の「一度でもしたことがある」割合の一部です。

質問項目(要約)BTS群近い分類
測った従属変数の一部しか報告しない66.5%選択的報告
有意かを見て、データを追加するか決める58.0%pハッキング
「うまくいった」研究だけを報告する50.0%選択的報告
予想外の結果を、最初から予測していたように報告する35.0%HARKing
データの改ざん1.7%研究不正

著者らは、一部のQRPsが研究の「普通のやり方」になっている可能性を指摘しました。

③ Open Science Collaboration(2015):2008年に心理学の3誌に載った100の研究を、検定力の高いデザインで追試しました。元の研究の97%が有意だったのに、追試で有意になったのは36%、効果の大きさは約半分でした。ただし、失敗の原因がすべてQRPsとは言えません。

例文

「彼は5つの指標を測ったのに、有意になった1つだけを論文に書きました。これは選択的報告という疑わしい研究実践にあたります。」

「研究室では、HARKingを防ぐために、データを集める前に仮説と分析方法を事前登録することにしました。」

疑問

Q: 疑わしい研究実践と出版バイアスは同じものですか?

A: 違います。疑わしい研究実践は一人ひとりの研究者の分析や報告の問題で、出版バイアスは出版された文献全体のかたよりです。選択的報告が両者をつないでいます。

Q: 結果を見てから新しい仮説を考えることも、いけないのですか?

A: 考えるのは大切です。いけないのは、最初からの予測のように書くことです。「探索的に見つかった」と明記し、新しいデータで確かめれば問題ありません。

Q: 心理学者の半数以上が疑わしい研究実践をしているのですか?

A: そうとは言い切れません。John et al.(2012)の数値は「一度でもしたか」で、頻度ではありません。Fiedler & Schwarz(2016)は、ドイツの心理学者で頻度まで考えて推定すると、値はけた違いに低くなったと報告しています。

理解度を確認する問題

問題1. 研究不正(FFP)には当たらず、疑わしい研究実践に分類されるものとして、最も適切なものはどれか。

  • A. 欠席した参加者の回答を、それらしい数値で作って加える
  • B. 仮説に合わない参加者の回答の数値を、合う値に書きかえる
  • C. 結果への影響を見てから外れ値を除外するかを決め、除外した人数は論文に書く
  • D. 他の研究者の考察を、出典を示さずに自分の文章として使う

正解:C 数値は本物のまま、どのデータを使うかを結果で選ぶpハッキングです。Aは捏造、Bは改ざん、Dは盗用です。BとCがまぎらわしいですが、数値を変えたら改ざん、使い方を選んだらQRPsと区別しましょう。


問題2. 1条件20人で有意にならなかったため、各条件に10人を追加して再検定し、有意になった結果だけを報告した。この行為の問題の説明として、最も適切なものはどれか。

  • A. 人数を増やせば検定力が上がるので、問題はない
  • B. 結果を見て作った仮説を最初からの仮説のように書いているので、HARKingである
  • C. 有意かを見て追加を決めると検定の機会が増え、偽陽性の確率が名目上の5%を超える
  • D. 集めていないデータを報告しているので、捏造にあたる

正解:C 研究者の自由度によるpハッキングで、Simmons et al.(2011)ではこれだけで偽陽性率が7.7%になりました。Aがまぎらわしいですが、追加が問題ないのは事前に決めた場合です。Bは仮説の後づけ、Dはデータを作る話で、当たりません。


問題3. 事前登録と比べたときの、登録報告(Registered Reports)の特徴として、最も適切なものはどれか。

  • A. データを見る前に、仮説と分析計画を決めておく
  • B. 結果が出る前に査読を受け、認められれば結果にかかわらず原則として掲載される
  • C. 登録していない探索的分析は、論文に一切書いてはならない
  • D. 有意な結果が出た研究を優先して掲載する

正解:B 掲載の判断が結果より前なので、選択的報告も防げます。Aは両者に共通する点で、「特徴」ではありません。Cは誤りで、探索的分析は「探索的」と明記すれば報告できます。Dは出版バイアスを生むやり方です。

関連キーワード

関連論文

まずこの1本

John, L. K., Loewenstein, G., & Prelec, D.(2012)Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532.

QRPsの経験率を推定した論文です。正直に答える動機づけ(BTS)の効果は、「弁護しにくい」行為ほど大きくなりました。試験ではFFPとQRPsの区別と、研究者と業績の対応(研究者の自由度=Simmonsら、HARKing=Kerr、再現プロジェクト=Open Science Collaboration)が問われやすい点です。

https://doi.org/10.1177/0956797611430953

その他の参考文献

Simmons, J. P., Nelson, L. D., & Simonsohn, U.(2011)“False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant.” Psychological Science, 22(11), 1359–1366.

概要 研究者の自由度が偽陽性を増やすことを示し、著者への6つの要件と査読者への4つの指針を提案しました。

https://doi.org/10.1177/0956797611417632

ほそめがねのひとこと

研究法の勉強で、pハッキングとHARKingの区別はまぎらわしいですよね。。

覚え方

①FFPは「ねつ・かい・とう」。捏造(ないものを作る)・改ざん(あるものを変える)・盗用(人のものを取る)。QRPsは数値はそのままのグレーゾーンです。

②「pハッキングはくじの引き直し、HARKingは後出しじゃんけん」。

③対策は「先に決めて、全部見せる」(事前登録・登録報告・開示)。

コメント

タイトルとURLをコピーしました