スポンサーリンク

効果量(Effect Size)

原理・研究法・歴史

効果量(Effect Size)とは、差や関連がどれくらい大きいかを表す数値です。p値が「本当は差がないとしたら、これほどの差はどれくらい出にくいか」を示すのに対し、効果量は「差がどれくらいか」を示します。

効果量の定義と、標準偏差10点のテストで各1,000人・平均の差1点ならp値約.025で有意だが効果量は0.1、各20人・平均の差5点ならp値約.12で有意でないが効果量は0.5になることを、p値(ベル)と効果量(定規)で比べた絵、3つのポイント(p値はベル、効果量は定規/dの目安は.20・.50・.80/目安は機械的に使わない)をまとめた図
ひと目でわかる効果量

簡単な説明

「新しい勉強法で、テストの平均点が有意に上がりました!」という広告を見たとします。上がったのは1点かもしれませんし、10点かもしれません。「有意」は「偶然とは考えにくい」という意味で、「大きい」という意味ではありません。

たとえば点数の散らばりぐあい(標準偏差)が10点のテストで、各グループ1,000人なら、平均がたった1点違うだけでもp値は約.025になり「有意」です。反対に各グループ20人だと、5点の差でもp値は約.12で、有意になりません。p値は人数で大きく変わるのです。

そこで、差を「散らばりの何個分か」という共通の物差しで表します。1点の差は標準偏差の0.1個分、5点の差は0.5個分です。この「0.1」「0.5」が効果量で、人数を増やしても大きくなりません。p値が「差がありそうか」を知らせるベルだとすると、効果量は「差の大きさ」を測る定規です。

由来

効果量を広めたのは、アメリカの心理統計学者Jacob Cohenです。

年主なできごと
1962年Jacob Cohenが検定力の調査論文で、平均の差÷標準偏差の指標をdと表したとされる
1969年Cohenが『Statistical Power Analysis for the Behavioral Sciences』を刊行(1977年に改訂版、1988年に第2版)。小・中・大の目安は1977年版から固定
1976年Gene V Glassがメタ分析を論じ、対照群の標準偏差で割る指標を提案したとされる
1981年Larry V. Hedgesが、Glassの推定量は小標本で効果を過大に見積もる偏りがあることを示し、偏りのない推定量を導く
1999年Leland WilkinsonとAPA統計的推論タスクフォースが「主要な結果には常に効果量を示す」よう勧告
2001年APA論文作成マニュアル第5版が、効果量を示すことは「ほとんど常に必要」と述べたとされる
2018年APAの報告基準JARS-Quantが、検定ごとに効果量と信頼区間の報告を求める(可能な場合)

具体的な説明

代表的な効果量とCohenの目安

効果量は、差の大きさを表すd族と、関連の強さや説明できるばらつきの割合を表すr族に大別されます。2群の平均の比較(t検定)ではd、3群以上の比較(分散分析)ではη²がよく使われます。

指標意味目安(小/中/大)
Cohenのd平均の差÷標準偏差(2群をあわせたもの).20/.50/.80
Hedgesのgdに、小標本で過大に出る偏りを補正する係数をかけたもの※dと同じように読む
r相関係数.10/.30/.50
η²(イータ2乗)効果の平方和÷全体の平方和.01/.06/.14
偏η²効果の平方和÷(効果+誤差の平方和)η²より大きく出やすく、同じ目安では読めない
オッズ比「起こる/起こらない」の比の2群比。1なら差なしCohenの表にはない

Cohen(1992)によると、「中」は注意深い観察者なら肉眼でもわかる程度、「小」はそれより明らかに小さいがささいではない程度として決められました。d=.50は標準偏差の半分で、標準偏差15の知能検査なら7.5点の差です。η²の目安は、分散分析用の指標fの目安(.10/.25/.40)を割合に直した値です。偏η²は分母から他の要因のばらつきを除くため、多要因の計画ではη²以上になります。

※Hedges(1981)の論文では補正前をg、補正後をgUと書きます。今は補正後を「Hedgesのg」と呼ぶことが多いので、文献ではどちらの値か確かめましょう。

標準化と非標準化

dやrは単位を消した標準化された効果量で、違う尺度を使った研究どうしを比べたり、メタ分析で統合したりできます。一方、平均の差や回帰係数は非標準化の効果量です。Wilkinson(1999)のタスクフォースは、単位に実用的な意味がある場合(例:1日の喫煙本数)は非標準化の指標を好むとしています。

目安は機械的に使わない

Cohen自身、小・中・大の基準は主観的に決めたものだと述べています。Funder & Ozer(2019)は、心理学ではr=.20でも「中」、.30は「大」で、.40以上はむしろ過大推定を疑うべきだとしています。数値はその分野の先行研究や現実の影響と比べて解釈します。

信頼区間と検定力分析

標本から求めた効果量は推定値なので、信頼区間を添えて推定の幅を示します。

研究の計画段階では検定力分析を行います。有意水準α、サンプルサイズN、効果量、検定力(本当にある効果を検出できる確率)の4つは、どれか1つがほかの3つで決まる関係にあります。Cohenは検定力.80を標準として提案しました(見逃す確率β=.20とα=.05の比が4:1)。α=.05(両側)、検定力.80で2群を比べるときの必要人数は次のとおりです。

検定力分析では有意水準α・検定力・効果量・サンプルサイズNの4つのうち3つを決めると残り1つが決まることと、α=.05(両側)・検定力.80で2群を比べるときの1群あたりの必要人数がd=.20(小)で393人、d=.50(中)で64人、d=.80(大)で26人であることを示した横棒グラフ
検定力分析:α=.05(両側)・検定力.80なら、効果が小さいほど多くの人数が必要になる
想定する効果量1群あたりの必要人数
d=.20(小)393人
d=.50(中)64人
d=.80(大)26人

試験で押さえる論点(ひっかけ対策)

論点正しい理解よくあるひっかけ
p値と効果量p値は人数で変わる。効果量は人数を増やしても大きくならない「p値が小さいほど効果が大きい」→誤り
dとrの目安d:.20/.50/.80、r:.10/.30/.50「rの大は.80」→誤り(.80はdの大)
検定力本当にある効果を検出できる確率(1−β)。慣例は.80「帰無仮説が正しいのに棄却する確率」→α

実験や観察の方法と結論

方法:Cohen(1962)は、Journal of Abnormal and Social Psychologyの1960年の巻に載った研究を対象に、「中程度の効果が本当にある」と仮定し、各検定がそれを検出できる確率(検定力)を計算しました。

結論:平均の検定力は.48でした。有意な結果が出る見込みはコイン投げで表が出るのと同じくらいだったのです(Cohen, 1992)。Cohen(1992)によれば、1984年のJournal of Abnormal Psychologyを調べたSedlmeier & Gigerenzer(1989)でも検定力は改善しておらず、検定力にふれた論文は54本中2本だけでした。

例文

「介入の効果は有意でしたが、効果量はd=0.15と小さく、授業への導入は慎重に判断します。」

「先行研究の効果量をもとに検定力分析を行い、1群64人を目標に参加者を集めました。」

疑問

Q: 有意にならなかった結果でも、効果量を報告する意味はありますか?

A: あります。有意でないのは「効果がない」からではなく、人数が少なく信頼区間が広いせいかもしれません。効果量と信頼区間を示せば読み手が判断でき、メタ分析にも使えます。

Q: 効果量が「小」なら、その研究は役に立たないのですか?

A: そうとは限りません。小・中・大はCohenが主観的に決めた目安です。小さな効果でも、多くの人に長く積み重なれば大きな違いになることがあります。

Q: η²と偏η²は、どちらを報告すればよいのですか?

A: 一要因では同じ値ですが、多要因では偏η²のほうが大きくなるので、どちらを計算したかを必ず明記することが大切です。

理解度を確認する問題

問題1. p値と効果量の説明として、最も適切なものはどれか。

  • A. 2つの研究でp値が同じなら、効果量も同じである
  • B. 効果量は、サンプルサイズを増やすほど大きくなる
  • C. 同じ大きさの差でも、サンプルサイズが大きいほどp値は小さくなりやすい
  • D. p値が.05未満なら、効果量は「中」以上だといえる

正解:C p値は人数に左右され、大標本ではわずかな差でも有意になります。Aは誤りで、人数が違えば同じp値でも効果量は異なります。Bは誤りで、人数を増やすと推定が安定する(信頼区間が狭くなる)だけで、効果量そのものは大きくなりません。Dは誤りで、人数が多ければごく小さな効果でも有意になります。


問題2. 実験群の平均が55点、統制群の平均が49点で、2群をあわせた標準偏差は12点だった。Cohenのdとその評価として、最も適切なものはどれか。

  • A. d=6.00で、目安の「大」を大きく超える
  • B. d=2.00で、目安の「大」にあたる
  • C. d=0.50で、Cohenの目安では「中」にあたる
  • D. d=0.50で、相関係数rの「大」(.50)と同じ値なので「大」にあたる

正解:C d=(55−49)÷12=0.50で、dの目安(.20/.50/.80)では「中」です。Aは標準偏差で割り忘れ、Bは割り算が逆です。Dは誤りで、dとrは別の物差しなので、rの目安(.10/.30/.50)をdに当てはめることはできません。


問題3. 検定力と検定力分析の説明として、最も適切なものはどれか。

  • A. 検定力とは、帰無仮説が正しいのに、誤ってそれを棄却してしまう確率である
  • B. 想定する効果量が小さいほど、必要なサンプルサイズは小さくてすむ
  • C. 有意水準α・サンプルサイズ・効果量・検定力のうち3つを決めると、残りの1つが決まる
  • D. Cohenは、検定力の標準として.95を提案した

正解:C α・効果量・検定力を決めれば、必要なサンプルサイズが求まります。Aは有意水準α(第1種の誤りの確率)の説明で、検定力は本当にある効果を正しく検出できる確率(1−β)です。Bは逆で、効果が小さいほど多くの人数が必要です(d=.20なら1群393人)。Dは誤りで、Cohenが提案したのは.80です。

関連キーワード

関連論文

まずこの1本

Cohen, J.(1992)A power primer. Psychological Bulletin, 112(1), 155–159.

Cohenが検定力分析を手軽に使えるよう書いた短い論文で、8種類の検定について効果量の目安と検定力.80に必要な人数を表にしています。試験対策としては、dの目安(.20/.50/.80)とrの目安(.10/.30/.50)、α・N・効果量・検定力の4つの関係、検定力.80の慣例を押さえましょう。

https://doi.org/10.1037/0033-2909.112.1.155

その他の参考文献

Funder, D. C., & Ozer, D. J.(2019)“Evaluating effect size in psychological research: Sense and nonsense.” Advances in Methods and Practices in Psychological Science, 2(2), 156–168.

概要 効果量を機械的に「小さい」と片づける誤りを指摘し、現実の影響と比べた評価を提案した論文です。

https://doi.org/10.1177/2515245919847202

ほそめがねのひとこと

効果量の目安(dとrの数字)を取り違えたことはありますか?

覚え方

①p値と効果量:「p値はベル、効果量は定規」。ベルは人数で鳴りやすくなりますが、定規の目盛りは変わりません。

②dの目安:「ニコヤか(2・5・8)なd」。.20/.50/.80です。

③rの目安:「rはイサゴ(1・3・5)」。.10/.30/.50です。η²は「1・6・14(いちろく・いよっ)」で.01/.06/.14。

④検定力分析:「4人組は3人決まれば残り1人も決まる」。α・N・効果量・検定力の4つの関係です。

コメント

タイトルとURLをコピーしました