統計ストーリー教材「分析助手」UIプロトタイプ・レビュー用

EP7 総力戦

引き継ぎ・監査・そして手戻り / 3幕構成・幕末まとめ答え合わせ / 性格分岐なし・固定1パターン版

先生は学会で5日間不在。初日の朝、共同研究者からメールが3通届きました。さらに、前の助手が過労で倒れたという知らせが入ります。彼が抱えていた未完成の解析一式が、あなたの机に置かれました。

第1幕: 監査 — 前任者の下書き報告書を読む

前任者の報告書ドラフトに、10個の記述があります。このうち5つは誤りです。誤りだと思うものにチェックを入れてください(正しい記述にチェックを入れてしまうのも減点です)。

✗?記述
「オゾンの平均は31.9ppbだった(欠損は0として計算)」
誤りです。欠損(NA)を0で置き換えると「非常にきれいな空気」を意味してしまい、平均を実態より低く見せます。正しい平均は42.1ppb(欠損37日を除いて計算)。EP1参照。
「オゾン濃度の分布は右に裾を引いており、中央値(31.5ppb)は平均(42.1ppb)より小さい」
正しい記述です。EP1で確認した内容そのままです。
「回帰式から、時速60mphの制動距離は218ftと推定できるので安全資料に記載した」
誤りです。データはspeed 4〜25mphの範囲でしか取られておらず、60mphは範囲外への外挿です。範囲外の値を保証なく報告書に書いてはいけません。EP2参照。
「cars回帰式の切片-17.58は、speed=0がデータ範囲外であるため物理的な意味を持たない」
正しい記述です。EP2で確認した内容そのままです。
「p=0.061だったが、外れ値を2匹除いたらp<0.05になったので、そちらの結果を採用した」
誤りです。結果を見てから、有意になるようにデータを選び直す行為(p-hacking)です。除外の判断はp値を見る前に、除外する具体的な根拠(測定ミス等)に基づいて行うべきです。EP3・EP6参照。
「ToothGrowthのt検定でOJがVCより平均3.7大きかったが、95%信頼区間は[-0.17, 7.57]で0をまたぐ」
正しい記述です。EP3で確認した内容そのままです。
「重回帰でExaminationが有意でなかった(p=0.32)ので、徴兵試験の成績は出生率と無関係であり、教育だけが本質だと証明された」
誤りです。ExaminationはEducationと相関0.70があり、多重共線性の影響を受けやすい変数です。有意でないことは「無関係」の証明にはならず、また観察データから「証明された」とは書けません。EP4参照。
「重回帰においてEducationの係数は-0.980で、他の変数を一定とした場合の関連を示す」
正しい記述です。EP4で確認した内容そのままです。
「ロジスティック回帰モデルの的中率は90.6%だったので、そのまま実運用に移行してよい」
誤りです。90.6%は学習に使った32台自身での成績(自己採点)であり、楽観的に出やすい性質があります。実運用前に新しいデータでの確認が必要です。EP5参照。
「mtcarsのロジスティック回帰でwtの係数は-4.02で、車重が重いほどMTの確率が下がる」
正しい記述です。EP5で確認した内容そのままです(係数の符号=向きとして正しく読めています)。

第2幕: 手戻り — 「実は追加資料があった」

共同研究者 監査報告は受け取った。ただ、言い忘れていたが、あの実験には投与量の記録(dose: 0.5・1.0・2.0 mg/日)がある。EP3の結論は変わるだろうか?

Q1(実行前に予想). doseを無視して2群(OJ/VC)を混ぜていたことは、どの話のどの現象と同じ問題ですか?

実際にdose別に分けてt検定をやり直すと、次の結果になりました。

> by(ToothGrowth, ToothGrowth$dose, function(d) t.test(len~supp,data=d))
dose差(OJ−VC)p値
0.5mg+5.250.006
1.0mg+5.930.001
2.0mg−0.080.964
⚠️ 低・中用量ではOJが明確に優位ですが、高用量では差がほぼ消えています。これは投与法の効果が用量によって変わるです。混ぜた全体(p=0.061)は、この構造が薄まって見えていただけでした。EP3の「未決着」がここで決着します。

Q2. 正しい書き換えは?

⚠️ 教訓: 結論は資料が増えれば変わります。変わったこと自体を記録するのが分析の誠実さです(EP6で全ての分析を記載したのと同じ理由です)。

第3幕: 突発 — 「明日の会議に間に合わせて」

共同研究者 試作車X(重量2800ポンド)の仕様欄にAT/MT確率を入れたい。ついでに時速35mphでの制動距離の目安も、明日の会議までに。

Q1(自力で道具選定). それぞれ何を使いますか?

> predict(glm_model, newdata=data.frame(wt=2.8), type="response")
wt=2.8(2800lbs)でのMT確率
0.68

Q2. 仕様欄にどう書きますか?

Q3. 時速35mphでの制動距離、どう扱いますか?

cars回帰式のデータ範囲は4〜25mphでした。

終幕

先生が学会から帰還しました。前任者の解析一式は、あなたの手で無事に監査・修正され、共同研究者への回答も間に合いました。

「よくやった。この5日間、誰も手順を教えなかったが、君は6話分で学んだ道具を全部、自分で選んで使い切った。」

7話ぶんの道具の地図

問いの形道具注意点
分布を知りたい要約統計・ヒストグラム・箱ひげ図(EP1)欠損は0ではない、外れ値は根拠なく消さない
量と量の関係を式にしたい相関・単回帰(EP2)範囲外への外挿はしない
群どうしの差を判定したいt検定(EP3)p値は「差がある確率」ではない
他の要因の混ざりを除きたい重回帰(EP4)係数は単位つきで読む、入れ過ぎに注意
どちらの群かを予測したいロジスティック回帰(EP5)出力は確率、自己採点は楽観的
結論ありきの要望が来た報告書の型(EP6)断るだけでなく代替案を出す
手順を誰も示してくれないここまでの全部(EP7)結論は資料が増えれば変わってよい。変わったことを記録する

この先: 分散分析・ノンパラメトリック検定・因果推論・ベイズ統計、といった道具がまだ先にあります。