これまでの記事では、平均値や中央値、分散、標準偏差、偏差値、箱ひげ図など、データの特徴を要約するためのさまざまな統計量について学んできました。
これらの統計量を使うと、データの中心がどこにあるのか、どの程度ばらついているのかを数値で把握できます。しかし、実際のデータを分析していると、ほかの観測値から大きく離れた値が含まれていることがあります。
例えば、ある試験の得点がほとんど60点から80点の間に収まっているにもかかわらず、一人だけ5点、あるいは100点を取っていたとします。この値は、ほかの得点とは異なる特徴を持っているように見えます。
このように、データ全体の傾向から大きく離れている観測値を、一般に外れ値と呼びます。
ただし、外れ値は単なる「間違ったデータ」ではありません。入力ミスや測定ミスによって生じることもありますが、実際に起きた珍しい現象や、これまで見落とされていた重要な特徴を表していることもあります。
そのため、統計分析では、外れ値を機械的に削除するのではなく、その値が生じた背景を確認し、分析結果にどのような影響を与えているのかを慎重に検討する必要があります。
この記事では、外れ値の意味、代表的な検出方法、発生する原因、分析結果への影響、そして実際の分析でどのように扱うべきかを解説します。
外れ値とは
外れ値とは、ほかの観測値と比較して、極端に大きい、または極端に小さい値のことです。
例えば、あるクラスの試験得点が次のようだったとします。
68、70、71、72、73、74、75、100
このデータでは、68点から75点までの得点が比較的狭い範囲に集まっている一方、100点だけが離れた位置にあります。そのため、100点は外れ値の候補として注目されます。
ただし、ほかの値から離れているという理由だけで、直ちに外れ値と決めることはできません。
外れ値という言葉は、データの性質、分析の目的、想定する確率分布、測定方法などによって意味が変わります。ある集団では珍しい値であっても、別の集団では一般的な値であることもあります。
例えば、成人の身長データに200センチメートルという値が含まれていれば、外れ値の候補になるかもしれません。しかし、プロバスケットボール選手を対象としたデータであれば、必ずしも珍しい値ではありません。
したがって、外れ値とは、単に数値だけを見て判断するものではなく、データが得られた背景や母集団の特徴を含めて考える必要があります。
外れ値はなぜ発生するのか
外れ値が発生する原因は、大きく分けると、データの誤りによるものと、実際に起きた現象によるものがあります。
代表的な原因の一つが、入力ミスです。例えば、本来75点であるデータを750点と入力した場合、その値はほかの観測値から大きく離れます。このような値をそのまま分析に含めると、平均値や標準偏差などが大きく変化し、誤った結論につながる可能性があります。
測定機器の異常や計測手順の問題によって、外れた値が記録されることもあります。センサーの故障、機器の校正不足、測定者による記録ミスなどが考えられます。
また、単位の違いによって外れ値が生じることもあります。例えば、身長をセンチメートルで記録するデータに、メートル単位の値が混在していれば、1.70という値だけが極端に小さく見えます。
一方で、データに誤りがなくても、外れ値が現れることがあります。
自然現象や社会現象には、発生頻度は低いものの、非常に大きな値や小さな値が観測される場合があります。記録的な豪雨、大規模災害、急激な株価変動、極めて高い研究成果、世界記録を更新するスポーツ成績などがその例です。
このような値は、周囲のデータとは大きく異なっていても、実際に起きた重要な観測結果です。むしろ、通常とは異なる現象が起きた理由を理解するための手がかりになることがあります。
さらに、複数の異なる集団を一つのデータとして扱った場合にも、外れ値のような値が現れます。例えば、一般成人と競技選手の体力測定結果を一緒に分析すれば、競技選手の値が外れ値のように見えるかもしれません。
この場合、問題は個々のデータではなく、性質の異なる集団を区別せずにまとめている分析設計にあります。
このように、外れ値が見つかったときには、誤入力、測定誤差、単位の不一致、集団の違い、実際に生じた珍しい現象など、さまざまな可能性を検討する必要があります。
外れ値はどのように見つけるのか
外れ値を見つける方法には、グラフを使う方法と、統計的な基準を使う方法があります。
最も基本的なのは、データを視覚化することです。箱ひげ図、ヒストグラム、散布図などを作成すると、ほかの値から離れた観測値を確認しやすくなります。
特に箱ひげ図では、四分位数と四分位範囲を利用して、外れ値の候補を表示することがあります。
四分位範囲は、次の式で求めます。
四分位範囲 ＝ 第3四分位数 − 第1四分位数
英語ではInterquartile Rangeと呼ばれ、一般にIQRと表記されます。
箱ひげ図でよく使われる基準では、次の範囲から外れた観測値を外れ値の候補とします。
下側境界 ＝ 第1四分位数 − 1.5 × IQR
上側境界 ＝ 第3四分位数 ＋ 1.5 × IQR
下側境界より小さい値、または上側境界より大きい値は、箱ひげ図上で点として表示されることがあります。
ただし、この基準によって抽出された値は、厳密には「削除すべき値」ではなく、確認が必要な外れ値の候補です。
1.5という係数には一定の統計的な合理性がありますが、すべてのデータに共通する絶対的な基準ではありません。データの分布が左右非対称である場合や、もともと極端な値が生じやすい分布では、正常な観測値まで外れ値として判定されることがあります。
標準偏差を用いた外れ値の確認
データがおおむね正規分布に従っている場合には、平均値と標準偏差を利用して外れ値の候補を探すこともあります。
観測値が平均値から何標準偏差離れているかは、標準化得点、すなわちz得点によって表せます。
z得点は、次の式で求めます。
z ＝（観測値 − 平均値）÷ 標準偏差
例えば、z得点が3であれば、その観測値は平均値より3標準偏差分だけ大きいことを意味します。
正規分布では、平均値からプラスマイナス3標準偏差の範囲に、理論上約99.7％のデータが含まれます。そのため、平均値から3標準偏差以上離れた値を、外れ値の候補として確認することがあります。
しかし、この方法には注意が必要です。
平均値と標準偏差は、それ自体が外れ値の影響を受けやすい統計量です。極端な値が含まれていると、平均値が外れ値の方向へ引っ張られ、標準偏差も大きくなります。その結果、本来は異常に見える値が、3標準偏差以内に入ってしまうことがあります。
また、データが正規分布から大きく外れている場合には、3標準偏差という基準は適切でないことがあります。
そのため、標準偏差を使った方法は、データの分布を確認したうえで利用する必要があります。
箱ひげ図の基準を実際に計算してみる
次のデータを考えてみましょう。
45、47、48、49、50、51、120
このデータでは、120がほかの値から大きく離れているように見えます。
四分位数の計算方法には複数の定義がありますが、ここでは単純化して、第1四分位数を47、第3四分位数を51とします。
このとき、四分位範囲は次のようになります。
IQR ＝ 51 − 47 ＝ 4
上側境界は、次のように求められます。
上側境界 ＝ 51 ＋ 1.5 × 4
＝ 57
120は57より大きいため、IQRを用いた基準では外れ値の候補となります。
ただし、ここで分かるのは、120が統計的に目立つ値であるということです。120が入力ミスなのか、実際に観測された値なのかは、この計算だけでは判断できません。
統計的な検出と、データの妥当性の確認は、別の作業として考える必要があります。
外れ値が分析に与える影響
外れ値は、平均値、分散、標準偏差、相関係数、回帰係数など、多くの統計量に大きな影響を与えます。
例えば、次のデータを考えます。
60、61、62、63、64
このデータの平均値は62です。
ここに100という値を追加すると、データは次のようになります。
60、61、62、63、64、100
このときの平均値は、次のとおりです。
平均値 ＝（60＋61＋62＋63＋64＋100）÷6
＝ 約68.3
100という一つの値が加わっただけで、平均値は62から約68.3まで上昇しました。
一方、もとのデータの中央値は62です。100を加えたあとの中央値は、中央に位置する62と63の平均である62.5です。
平均値は6点以上変化していますが、中央値は0.5しか変化していません。
この違いは、平均値がすべての観測値を計算に用いるため、極端な値の影響を受けやすいことによって生じます。これに対して中央値は、データを小さい順に並べたときの中央の位置によって決まるため、極端な値の影響を比較的受けにくいという特徴があります。
外れ値の影響を受けにくい統計量は、頑健な統計量、またはロバストな統計量と呼ばれます。
中央値や四分位範囲は、代表的な頑健統計量です。一方、平均値、分散、標準偏差は外れ値の影響を受けやすい統計量です。
したがって、外れ値を含む可能性があるデータでは、平均値だけを見るのではなく、中央値、四分位数、四分位範囲、箱ひげ図などをあわせて確認することが重要です。
相関分析や回帰分析における外れ値
外れ値の影響は、一変量の平均値や標準偏差だけに限りません。
二つの変数の関係を調べる相関分析や回帰分析では、一つの観測値が分析結果を大きく変えることがあります。
例えば、ほとんどのデータでは二つの変数に関係が見られないにもかかわらず、一つだけ極端な観測値があると、強い相関があるように見える場合があります。反対に、本来は明確な関係があるデータに外れた観測値が加わることで、相関係数が小さくなることもあります。
このように、分析結果を大きく左右する観測値は、単に外れ値と呼ばれるだけでなく、影響力の大きい観測値として検討されることがあります。
回帰分析では、観測値の影響力を評価するために、残差、レバレッジ、Cookの距離などの指標が用いられます。
ただし、これらの指標で目立つ値が見つかったとしても、直ちに削除してよいわけではありません。その観測値を含めた分析と除外した分析を比較し、結論がどの程度変わるかを確認することが重要です。
外れ値は削除してよいのか
外れ値を見つけたときに、最も避けるべきなのは、分析結果に都合が悪いという理由だけで削除することです。
外れ値を削除すれば、平均値や標準偏差が小さくなり、相関係数や検定結果が大きく変わることがあります。したがって、恣意的な削除は、分析結果の信頼性を損ないます。
入力ミスや測定ミスであることが確認できた場合には、元の記録を確認して修正することが適切です。正しい値を確認できず、明らかに分析に使用できない場合には、欠測値として扱うことも考えられます。
一方、実際に観測された値であれば、ほかの値から離れているという理由だけで削除するべきではありません。
医学研究では、珍しい症例が新しい疾患や治療反応を示している可能性があります。製造業では、一つの異常値が設備の故障や製造工程の問題を示していることがあります。社会調査では、少数派の回答が、平均的な傾向だけでは見えない重要な集団の存在を表していることもあります。
したがって、外れ値を発見したときには、まず元データ、調査票、測定記録、入力履歴などを確認し、その値がどのように生じたのかを調べます。
そのうえで、分析目的に照らして、値を残すのか、修正するのか、除外するのかを判断します。
外れ値を扱うときの感度分析
外れ値の扱いによって分析結果が変わる可能性がある場合には、感度分析を行うことが有効です。
感度分析とは、分析条件を変えたときに、結果がどの程度変化するかを確認する方法です。
例えば、外れ値を含めた場合と除外した場合の両方で平均値、相関係数、回帰係数、検定結果などを計算します。
両方の分析でほぼ同じ結論が得られるならば、その結果は外れ値の扱いに対して比較的安定していると考えられます。
一方、外れ値を一つ除外しただけで結論が大きく変わる場合には、分析結果が特定の観測値に強く依存していることになります。その場合は、結果を慎重に解釈し、外れ値を含めた場合と除外した場合の両方を報告することが望まれます。
研究論文や報告書では、どのような基準で外れ値を判定したのか、何件を除外したのか、除外によって結果がどのように変化したのかを明示することが重要です。
外れ値を削除しない分析方法
外れ値が存在する場合でも、必ずしも観測値を削除する必要はありません。
一つの方法は、平均値ではなく中央値を用いることです。ばらつきの指標についても、標準偏差ではなく四分位範囲を用いることで、極端な値の影響を抑えられます。
また、データを対数変換する方法もあります。所得、売上、引用数、人口など、右側に長い裾を持つデータでは、対数変換によって極端に大きな値の影響を小さくできる場合があります。
ただし、変換を行う場合には、変換後の値が何を意味するのかを理解し、結果の解釈に注意する必要があります。
さらに、外れ値の影響を受けにくいロバスト回帰や、順位に基づくノンパラメトリック手法を利用する方法もあります。
大切なのは、外れ値を消して分析を簡単にすることではありません。データの性質に合った統計手法を選ぶことです。
外れ値と異常値は同じものか
外れ値と似た言葉に、異常値があります。
両者は日常的には同じ意味で使われることがありますが、厳密には区別される場合があります。
外れ値は、統計的にほかの観測値から離れている値を指します。一方、異常値は、通常とは異なる状態や、期待される仕組みから外れた値を意味することがあります。
例えば、ある人の血圧が集団の中で非常に高ければ、統計的には外れ値に該当する可能性があります。同時に、医学的な基準を超えていれば、臨床的な異常値でもあります。
しかし、集団の中で最も高い値であっても、医学的には正常範囲内であることもあります。逆に、全員の血圧が高い集団では、医学的には異常であっても、統計的には外れ値にならないことがあります。
このことからも、統計的に珍しいことと、実務上または医学上の異常であることは、必ずしも同じではないと分かります。
外れ値はどのような分野で使われるのか
外れ値の検出は、多くの分野で重要な役割を果たしています。
医療では、血液検査や生体情報の中から通常とは異なる値を見つけ、病気の可能性を検討するために利用されます。ただし、統計的な外れ値が直ちに疾患を意味するわけではなく、年齢、性別、既往歴、測定条件などを考慮した判断が必要です。
金融では、不正利用や不自然な送金を検出するために、通常の取引パターンから外れたデータが調べられます。突然の高額決済や、普段とは異なる地域からの取引などがその例です。
製造業では、製品の重量、寸法、温度、圧力などを継続的に測定し、通常の範囲から外れた値を検出します。外れ値が見つかれば、不良品の発生や設備異常の兆候を早期に確認できます。
環境科学では、気温、降水量、大気汚染物質、河川水位などの観測値から異常な変化を検出します。極端な値が、自然災害や測定機器の故障を示している場合もあります。
AIや機械学習では、学習データに含まれる外れ値が予測モデルに大きな影響を与えることがあります。外れ値を無条件に削除すると重要なパターンを失う可能性がありますが、そのまま使用するとモデルが極端な値に過度に適合することもあります。
そのため、外れ値の原因を確認したうえで、変換、重み付け、ロバストな手法の利用などを検討します。
例題1 外れ値の候補を考える
問題
次のデータの中で、外れ値の候補として最も考えられる値はどれでしょうか。
45、47、48、49、50、51、120
解答
120
解説
45から51までの値は狭い範囲に集中していますが、120だけが大きく離れています。そのため、120は視覚的に外れ値の候補と考えられます。
ただし、正式に外れ値の候補として判定する場合には、四分位範囲などの基準を用いて確認します。
また、120が外れ値の候補であることと、120が誤ったデータであることは同じではありません。元の記録や測定条件を確認し、実際に観測された値かどうかを調べる必要があります。
例題2 外れ値への対応を考える
問題
ある工場で製品の重量を測定したところ、ほとんどの製品は99グラムから101グラムでしたが、一つだけ85グラムの製品が見つかりました。
このデータを分析するとき、最も適切な対応は次のうちどれでしょうか。
1．すぐに削除する
2．平均値だけを計算する
3．測定ミスか実際の異常かを確認する
4．必ず正常なデータとして扱う
解答
3．測定ミスか実際の異常かを確認する
解説
85グラムという値は、ほかの製品と比べて大きく離れています。しかし、その原因が測定ミスなのか、不良品が実際に発生したのかは、数値だけでは判断できません。
測定ミスであれば、正しい値に修正する必要があります。一方、実際に85グラムの製品が製造されていたのであれば、製造工程の問題を示す重要な情報です。
したがって、理由を確認せずに削除することも、無条件に正常な値として扱うことも適切ではありません。
例題3 平均値と中央値への影響
問題
次の二つのデータについて、それぞれ平均値と中央値を求め、外れ値の影響を考えてみましょう。
データA
10、11、12、13、14
データB
10、11、12、13、14、50
解答
データAの平均値は12、中央値も12です。
データBの平均値は次のようになります。
平均値 ＝（10＋11＋12＋13＋14＋50）÷6
＝ 20
中央値は、中央に位置する12と13の平均である12.5です。
解説
50という値が加わることで、平均値は12から20へ大きく上昇しました。一方、中央値は12から12.5に変化しただけです。
この例から、平均値は外れ値の影響を強く受ける一方、中央値は比較的影響を受けにくいことが分かります。
外れ値が含まれるデータを要約する場合には、平均値だけでなく中央値も確認する必要があります。
まとめ
外れ値とは、ほかの観測値から大きく離れている値のことです。ただし、どの程度離れていれば外れ値とみなすかは、データの分布、分析目的、対象となる集団によって異なります。
外れ値は、入力ミス、測定ミス、単位の不一致などによって生じることがあります。一方で、実際に起きた珍しい現象や、複数の異なる集団が混在していることを示している場合もあります。
外れ値の候補を見つける方法としては、箱ひげ図や四分位範囲を用いる方法が広く利用されています。正規分布に近いデータでは、平均値からの標準偏差を利用する方法もあります。
ただし、これらの方法によって見つかるのは、あくまで確認すべき候補です。統計的な基準だけで、データが正しいか誤っているかを判断することはできません。
外れ値は、平均値、分散、標準偏差、相関係数、回帰係数などに大きな影響を与えます。そのため、中央値や四分位範囲などの頑健な統計量をあわせて確認し、必要に応じて外れ値を含む分析と除外した分析を比較することが重要です。
統計分析で大切なのは、外れ値を見つけて消すことではありません。
「なぜこの値が生じたのか」「この値を含めると結論はどう変わるのか」「どのような分析方法がデータの性質に適しているのか」を考えることです。
外れ値は、データ分析を邪魔する石ころではなく、データの背後にある仕組みを知らせる信号である場合があります。その信号を慎重に読み解くことが、再現性と信頼性の高い分析につながります。
次の記事
外れ値や標準偏差について理解したら、次は統計学で頻繁に登場する確率分布である正規分布を学びましょう。
正規分布を理解すると、平均値と標準偏差の関係、偏差値、標準化、信頼区間、統計的検定など、多くの統計手法の仕組みが見えやすくなります。
コメント