微妙な分析はどのタイミングで生まれるのか?


悩むトリケラトプス

微妙な分析をしてしまったんだけど、どこが悪かったのかな、、


この記事では、こんな悩みに答えていきたい。



私は現在データアナリストとして働いている。データ分析をやっていて、良い分析ができた時とできなかった時があるが、両者を分かつ分水嶺はどこにあるのかについて言語化してみようと思う。


ダメな分析は最初から負けが確定している


これがこの記事の結論になるが、ダメな分析だったと感じる時は、課題設定や分析設計などの初期フェーズで既にダメな分析になることが確定していることが多い。

初期でダメな分析となっているので、それ以降でどう頑張ってたとしても、バリューのある分析へと転換していくことはできない。



以下で順に解説していく。


バリューのない分析


まず、ダメな分析とはどういうものか。

概ね以下のような分析はダメな分析だと思っている。なお、そもそもデータが間違っている分析などは論外なので検討外としている。

  • 結局何が言いたいのか分からない分析
  • ビジネスに繋がらない分析

上記のようなものである。

ROIの低い分析


研究者ではなくビジネスの世界でデータ分析をするのであれば、その分析のROIは高める必要があるが、上記のような分析は非常にROIの低い分析になってしまっている可能性が高い。

分析結果がビジネスに反映されて初めて成果につながるので、そもそも何が言いたいか分からなかったり、ビジネスへの活用方法が無い分析はROIが低いのである。


結果から発見出来なかったことが原因ではない


様々なテーマに対して分析を行っていると、時にはバリューのない分析をしてしまうことはある。

そして、そのような分析をしてしまった時を振り返ると、課題設定や分析設計などの初期フェーズで失敗していることが多いということは先にも述べた通り。



逆に、

  • うまく結果を解釈できなかったな
  • もう少し時間があれば良い分析ができたな
  • 伝え方が良ければ良い分析だったのにな

のように、分析の中盤~後半にかけての問題が、ダメな分析の原因となっていることはほとんどない。

つまり、ダメな分析は最初から負けが確定していて、それ以降のフェーズで挽回するのは非常に困難であるという訳である。



イシューの段階で問題がある


課題設定や分析設計などの初期フェーズで失敗しているというのは、具体的にどういうことか。


より細かく分解すると、以下のような問題に分けられる。

  • 答えの出せないイシューを立てている
  • 答えを出してもインパクトの弱いイシューを立てている
  • イシューに対して答えの出せない分析を設計している

上記のような問題である。



次章ではそれぞれの問題について順に解説していく。



分析序盤の失敗パターン

答えの出せないイシューを立てている


ひとつ目に、答えの出せないイシューを立てている場合である。


例えば、「今後5年以内に首都直下型地震が起きるか?」というイシューは、ほとんど有効な答えを出すことができない。「30年以内に70%の確率で起きる」という予測はあるが、予測精度的に5年以内の確率を有意に予測することは現状不可能といえるだろう。

もう少し実務寄りの話では、「商品Aを買うことで、他の商品も買いやすくなるか?」という問いも、答えを出すのが非常に難しい。なぜかというと、商品Aを買う顧客は買わない顧客に比べて元々購買意欲が高いと考えられ、商品Aを買ったから他の商品を買いやすくなったのか、元々購買意欲が高かったのかを分けて判断することが難しいからである。

これは最近盛り上がっている因果推論の主要テーマであり、傾向スコアマッチングやIPWなど、このような問いに答えを出す手法もいくつか存在する。しかし、このような手法を使ってもバイアスを除けないケースもあるため、答えを出せないイシューになっていることはある。また、この手法を知らない場合も答えは出せない。



答えを出してもインパクトの弱いイシューを立てている


ふたつ目に、答えを出せるがインパクトが弱いイシューを立てている場合もある。

例えば先例の、「今後5年以内に首都直下型地震が起きるか?」というイシューは、答えが出せた場合にインパクトが大きいイシューであると言える。


なぜインパクトが大きいかと言うと、

  • 津波対策として海沿いの家に住むのをやめる
  • 地盤のゆるい土地に住むのをやめる
  • 避難方法を考えておく
  • 関東から離れる

など、具体的な行動に移せ、実際に死傷者数も減少すると考えられるからである。


反対に、「今後50年以内に首都直下型地震が起きるか?」というイシューは、恐らくそれなりの精度で統計的に確率を算出することは可能だが、インパクトとしてはあまり大きくない。

なぜなら、「地震が来るのは50年後かもしれないから、まだ準備はいらないかな」と考える人が大半で、その分析により結果があまり変わらないと考えられるからである。(勿論人によるが)


これが、答えを出せるがインパクトが弱いイシューとなっているパターンである。




イシューに対して答えの出せない分析を設計している


みっつ目は、イシューに対して答えの出せない分析を設計している場合である。


ひとつ目の「答えの出せないイシューを立てている」と似ているが、今回は「イシューは良いが、分析設計を間違えている」パターンである。

これに関しては、端的に言えば「設計ミス」という一言で片づけられてしまう。他の方法でやれば答えを出せたのに、設計ミスで答えを出せなかったということだからである。


ただ、設計ミスをしないようにするための方法論については、いくつか考えられることがある。例えば、

  • ひとつひとつの分析から何が言えるのか
  • どのようなグラフが得られればそう言えるのか
  • 複数の分析結果から最終的に何が言えるのか

あたりの解像度を高めることが、分析設計ミスを防ぐ一つの方法だと思う。



長くなってきたので、このへんは別の記事で深掘ることにしたい。


まとめ


今回は、ダメな分析は最初から負けているというテーマで書いた。


それは大体、以下の問題に分けられる。

  • 答えの出せないイシューを立てている
  • 答えを出してもインパクトの弱いイシューを立てている
  • イシューに対して答えの出せない分析を設計している



これらの問題を起こさないように、分析の初期フェーズに集中力を注ぐことが重要であると考えている。

ではこのへんで。


コメントを残す

メールアドレスが公開されることはありません。