統計やデータ分析の問題では、「極端な値が含まれていても、起こる可能性がある以上は除外してはいけない」という説明が出てくることがあります。このとき、「極端な値なら外れ値なのだから除外してよいのでは?」と疑問に感じることがあります。
しかし、「極端な値」と「外れ値」は同じ意味ではありません。また、外れ値と判定された値であっても、自動的に削除してよいわけではありません。ここを区別すると、統計問題で「極端な例も除外してはいけない」とされる理由が理解しやすくなります。
この記事では、外れ値とは何か、極端でも正しい観測値を残すべき理由、データを除外してよいケースといけないケースを具体例を使って整理します。
- 「極端な値」と「外れ値」は同じではない
- 外れ値だからといって削除してよいわけではない
- 「起こる可能性がある以上、除外してはいけない」とはどういう意味か
- 異常値・外れ値・極端値を区別すると分かりやすい
- 具体例:テストの点数が1人だけ0点だった場合
- 具体例:商品の購入金額が1人だけ100万円だった場合
- 平均値は外れ値の影響を受けやすい
- 外れ値を除外してよい代表的なケース
- データを見てから都合よく除外条件を作るのは危険
- 「外れ値=異常」と考えないことが重要
- 四分位範囲で外れ値になっても「削除命令」ではない
- 極端なケースを考える問題では「可能性」と「頻度」を分ける
- 試験問題で選択肢を判断するときのポイント
- 元の問題文がない場合は選択肢Cそのものの正誤までは断定できない
- まとめ:外れ値は「確認すべき値」であって「自動的に捨てる値」ではない
「極端な値」と「外れ値」は同じではない
極端な値とは、簡単に言えばほかの値と比べて非常に大きい、または非常に小さい値です。一方、外れ値は、データ全体の分布から見てほかの観測値から大きく離れている値を指します。
両者は重なることがありますが、完全に同義ではありません。極端な値であっても、その現象として十分起こり得る正しい観測結果なら、単なる「珍しい値」です。
たとえば成人男性100人の身長を測定して、多くが160~180cmだった中に195cmの人が1人いたとします。195cmはかなり極端な値に見えますが、実際に195cmの人が存在し、測定も正しければ、その値は正当な観測データです。
反対に、身長が「1950cm」と記録されていたら、これは入力時に小数点や桁を間違えた可能性が非常に高いでしょう。この場合は単に珍しい値ではなく、測定・入力エラーを疑う理由があります。
外れ値だからといって削除してよいわけではない
統計で特に重要なのは、外れ値として検出されたことと、そのデータを削除してよいことは別問題だという点です。
外れ値の検出方法としては、四分位範囲(IQR)を利用して、第1四分位数から1.5×IQRより小さい値や、第3四分位数から1.5×IQRより大きい値を外れ値候補とする方法などがあります。
しかし、この基準に当てはまったからといって、その観測値が間違いだと証明されたわけではありません。「ほかの値から離れているので確認したほうがよい」という目印に近いものです。
たとえば年収を調査すると、多くの人が300万円から800万円程度でも、数千万円や数億円を得ている人が含まれる可能性があります。統計的には強い外れ値になることがありますが、本当にその収入を得ている人なら調査対象から勝手に削除することはできません。
「起こる可能性がある以上、除外してはいけない」とはどういう意味か
この表現が意味しているのは、多くの場合、「自分にとって都合が悪い、珍しい、平均から離れているという理由だけで観測結果を捨ててはいけない」ということです。
統計では、まれな現象も母集団の一部である可能性があります。そこを勝手に除外すると、本来調べたい集団とは違うデータを分析することになります。
たとえば商品の配送時間を調べており、通常は1~3日で届くものの、悪天候によって10日かかった注文が1件あったとします。10日は極端ですが、「悪天候も含めた実際の配送時間」を調べる目的なら、その10日も正しいデータです。
「10日は普通ではないから削除しよう」とすると、配送が遅れるリスクを過小評価することになります。極端なケースを除外した結果、現実より都合のよい数字になる可能性があるわけです。
異常値・外れ値・極端値を区別すると分かりやすい
日常会話では「外れ値」「異常値」「極端な値」が混同されがちですが、分析するときは分けて考えると理解しやすくなります。
| 言葉 | 意味のイメージ | 削除してよいか |
|---|---|---|
| 極端な値 | ほかと比べ非常に大きい・小さい値 | それだけでは削除不可 |
| 外れ値 | 分布から大きく離れた観測値 | それだけでは削除不可 |
| 異常値・誤記録 | 測定ミスや入力ミスなどで本来の値ではないもの | 根拠を確認したうえで除外・訂正を検討 |
特に試験問題では、「極端だから除外する」という判断を誤りとしていることがあります。極端であることは、その観測が間違っていることの証明にはならないからです。
具体例:テストの点数が1人だけ0点だった場合
100人が受験したテストで、多くの受験者が50~90点だったのに、1人だけ0点だったとします。この0点は非常に目立つ値です。
しかし、その受験者が実際に答案をほとんど書けず0点だったのであれば、その値は正しい観測結果です。「みんなと違いすぎるから」という理由で除外することはできません。
一方、本当は80点だったのに採点結果をExcelへ入力するとき「0」と入力してしまったことが確認できたなら、0点というデータは誤記録です。この場合は訂正する合理的な理由があります。
つまり重要なのは、値が極端かどうかではなく、その値が本当に観測された正しいデータかどうかです。
具体例:商品の購入金額が1人だけ100万円だった場合
ネットショップの顧客1000人について購入金額を調べたところ、多くが1000円から3万円程度なのに、1人だけ100万円購入していたとします。
この100万円は統計的に外れ値と判断される可能性があります。しかし法人顧客が大量発注した結果なら、そのデータは正しい値です。
「平均を大きくしてしまうから削除する」という処理をすると、分析者が結果を自分の都合に合わせて変更したことになりかねません。
もし一般個人客だけの購買行動を分析したいのであれば、「法人顧客を除外する」という分析条件を事前に定義する方法があります。この場合は100万円だから捨てるのではなく、分析対象の定義に基づいて除外します。
平均値は外れ値の影響を受けやすい
外れ値を削除したくなる理由の一つに、平均値が大きく変化することがあります。しかし、その対策として常にデータを削除する必要はありません。
たとえば5人の年収が300万円、350万円、400万円、450万円、5000万円だった場合、平均年収は1000万円を大きく超えます。この平均値は「典型的な人」を表す指標としては分かりにくくなります。
このような場合は、データを勝手に削除するのではなく、中央値を利用する方法があります。中央値なら中央に位置する400万円が代表値となり、極端な5000万円の影響を強く受けません。
つまり、外れ値が分析を難しくする場合には、「削除する」以外にも中央値、四分位数、ロバストな統計手法などを選ぶ方法があります。
外れ値を除外してよい代表的なケース
外れ値を絶対に削除してはいけないという意味でもありません。除外する合理的な根拠がある場合には、データクリーニングとして除外や修正を行うことがあります。
代表的なのは測定装置の故障です。たとえば人間の体温を測定して「350℃」と記録されていた場合、通常の人体測定として正しい観測ではないことは明らかです。機器の故障や単位・入力ミスを確認し、適切に処理します。
また、調査対象そのものを間違えたケースもあります。20歳以上の成人を対象とする調査なのに、入力ミスで10歳の参加者のデータが含まれていたことが確認できれば、事前に決めた対象条件に基づいて除外できます。
重要なのは、「値が気に入らないから消す」のではなく、「測定エラー」「入力ミス」「対象条件外」など客観的な理由を示せることです。
データを見てから都合よく除外条件を作るのは危険
研究や統計分析では、結果を確認した後に都合の悪いデータだけを外すことは問題になります。
たとえば新しい勉強法の効果を調べたところ、10人中9人の点数は上がったものの1人だけ大幅に下がったとします。「この1人は極端なので削除しよう」とすると、勉強法の効果を実際よりよく見せることになります。
もし事前に「途中で受験を中断した人は分析対象外」と決めていて、その1人が途中退出していたのであれば除外する根拠があります。しかし点数が低かったという結果だけを見て除外するのは別の話です。
そのため本格的な調査では、可能な限り分析前に除外基準を決めておくことが重要です。
「外れ値=異常」と考えないことが重要
外れ値という言葉には「間違ったデータ」という印象がありますが、統計上は必ずしもそうではありません。非常に珍しいだけで、正しい観測値であることもあります。
たとえば100歳を超える人は人口全体では非常に少数です。しかし年齢調査で105歳という回答が出たからといって、それだけで誤りとは断定できません。
同様に、スポーツ選手の身長、企業の売上、住宅価格、アクセス数などは、もともと大きな値が少数存在しやすい分布になることがあります。そのようなデータでは、外れ値に見える値が現象そのものの重要な特徴ということもあります。
四分位範囲で外れ値になっても「削除命令」ではない
箱ひげ図では、しばしば第1四分位数Q1と第3四分位数Q3から四分位範囲IQRを求め、Q1-1.5×IQR未満またはQ3+1.5×IQRを超えるデータを外れ値として表示します。
しかし、この1.5×IQRという基準も、データを自動削除するためのルールではありません。通常の分布から離れた観測値を見つけやすくするための代表的な基準です。
箱ひげ図の外側に点が描かれていても、「この観測値には注目したほうがよい」という意味であり、「この点をデータセットから消せ」という意味ではありません。
試験問題でここを問われる場合、「外れ値だから分析対象から機械的に除外する」という選択肢は誤りになることがあります。
極端なケースを考える問題では「可能性」と「頻度」を分ける
確率や統計の問題では、「めったに起きない」と「絶対に起きない」も区別する必要があります。
たとえばサイコロを100回投げて100回すべて6になる確率は非常に小さいですが、数学的には0ではありません。そのため「そんな結果は現実的ではないからデータから除外する」とは言えません。
この考え方が、解説にある「極端な例でも起こる可能性がある以上、除外してはならない」という説明につながることがあります。
極端であることは発生確率が小さいことを意味する場合がありますが、発生確率が小さいことと、データが不正であることは別です。
試験問題で選択肢を判断するときのポイント
統計関連の選択肢で「極端な値を除外する」と書かれていたら、まず「何を根拠に除外するのか」を確認します。
単に「ほかのデータから離れているから」「平均値を乱すから」「珍しいから」という理由しか書かれていなければ、その処理は不適切である可能性が高くなります。
反対に、「測定装置の故障であることが判明した」「入力ミスだと原票で確認した」「あらかじめ定めた調査対象外だった」といった客観的根拠が示されていれば、除外や訂正が妥当な場合があります。
選択肢問題では、「外れ値を発見すること」と「外れ値を除外すること」を別の処理として読むと判断しやすくなります。
元の問題文がない場合は選択肢Cそのものの正誤までは断定できない
統計問題では、同じ「極端な値」という言葉でも、標本抽出、記述統計、回帰分析、機械学習、品質管理など、問題の文脈によって扱いが変わります。
そのため「選択肢Cがなぜ不正解なのか」を厳密に判定するには、Cの全文だけでなく、問題文やほかの選択肢も確認する必要があります。
ただし解説に「極端な例でも起こる可能性がある以上、除外してはならない」と書かれているのであれば、少なくとも「極端な観測値であるという理由だけでデータを除外するのは不適切」という考え方を問うている可能性が高いと考えられます。
まとめ:外れ値は「確認すべき値」であって「自動的に捨てる値」ではない
極端な値と外れ値は関連していますが、同じものではありません。そして外れ値であったとしても、そのことだけを理由にデータから除外することはできません。
実際に起きた正しい観測結果であれば、どれほど珍しくても母集団や現象の一部である可能性があります。そのため、「平均から遠い」「ほかと違う」「極端に見える」という理由だけで捨てると、分析結果をゆがめるおそれがあります。
除外を検討できるのは、測定ミス、入力ミス、機器故障、調査対象外など、値が本来の分析対象ではないことを示す合理的な根拠がある場合です。
統計問題では、「外れ値を検出する」「その原因を確認する」「必要なら根拠を示して除外する」という3段階に分けて考えると理解しやすくなります。「外れ値だから削除」ではなく、「外れ値だからまず確認する」と覚えておくと、多くの選択肢問題を判断しやすくなります。


コメント