PVが下がった！どう分析する？アナリストが教えるデータ分析の基本手順
サービスを成長させるためには、適切なデータ分析をし、指針を决めることが大切です。ゴールが見えない状態では、走り続けることはできないでしょう。とはいえ「分析」と一口に言っても、初学者にはどこから手をつけていいのかわからないことが多いかもしれません。
noteのデータアナリストである中川 優さんに「基本的なデータ分析の進め方」を聞いたところ、基本的には以下のようにステップを踏んでいくそうです。
1. 要件定義（分析前の準備段階）
2. シグナルとノイズを切り分ける
3. 全体からブレイクダウンして震源地を探る
4. 分析結果から考察する
5. 原因に対してアクションをする
今回は「PVが低下したので調べてほしい」という要望があった場合に、どのような手順で分析を進めていくのか、上記の流れに沿って中川さんに解説していただきました。
1. 要件定義（分析前の準備段階）
― 運用中のサービスで「PVが低下したので調べてほしい」という依頼がきたら、まずはなにから始めていきますか？
まずは要件定義（要件定義というほど、かっちりしたものではないこともあります）をし、分析の対象、目的、その後のデータを活用するためのゴールを決めていきます。そもそも要件が決まっていないと、分析した数値が良いものなのか悪いものなのかという議論すらできません。分析した後にPVが下がっていたとしても「先月より数値が上がった、下がった」という事象の確認にしかなりません。
分析のゴールが決まることで、数字の上がり下がりが意図したものなのか、何か早急に手を打つ必要があるものなのかをハッキリさせることができます。明確な目的や、ゴールがなければ、データはあくまでひとつの事実でしかありません。
中川 優（なかがわ まさる）
noteのデータアナリスト。ログなどの数値分析や、機能の効果測定、解析結果からの施策提案などを担当。エンジニア、ディレクター、PMなどnote全体の幅広い職種からの分析を行う。note / Twitter
― データ分析を依頼されたら、一緒に要件を固めていくのでしょうか？
依頼者と相談しながらどういった数値が欲しいのかを明確にしていきます。依頼された要件の解像度が粗いときは、利用目的や分析結果を使って行いたいことを聞いたうえで、いくつかこちらから切り口を提案することもあります。
今回の「PVの低下」は事象がハッキリしているので要件は決まっているようなものですが、「特定のページにA機能とB機能を作るとしたらどちらが合っているか」というような複雑な分析を行うこともあります。そういった場合はエンジニアやPMと一緒に時間をかけて要件を詰めていきます。アナリストにおいては、コミュニケーションスキルも大事な能力のうちのひとつです。
2. シグナルとノイズを切り分ける
― 分析においてのシグナルとノイズとは具体的には何を指すのでしょうか
ものすごく簡単に言えばですが、シグナルは分析の対象となる適切な情報で、ノイズはランダム性によるものだったり、結果を誤解させてしまう可能性がある邪魔なデータというイメージです。
シグナルとノイズについてはRPGの戦闘がわかりやすい例としてあげられます。「どのくらい強くなったのか？」を戦闘で確認したいときに、モンスターに与えるダメージが平均で10だったとします。攻撃は乱数によって変化するため、同じ敵でも15ダメージを与えることもあるでしょう。
ただし、与える数字が15に増えたからといって、急に強くなったというわけではないですよね。たまたまランダムに数字が増えただけです。
この場合に、平均値から大きく外れている15のうちの5という数値がノイズになります。ノイズを入れてしまうと誤解が生まれやすくなってしまうため、分析には含めないようにします。
― noteのようなサービスでは何がノイズになりえるのでしょうか？
仮に「PVの平均」を分析するのであれば、季節性や時世などの影響はデータとしてブレがでるためノイズになるかもしれません。また、複数のクリエイターが同じ月にバズってPVが増えたとしても、あくまで一時的なものなのでノイズになる可能性があります。
― 「どのデータをノイズと決めるのか」という判断は難しそうですね
そうですね。データの取捨選択は経験が必要になります。
アナリスト自身の知見が増えれば増えるほど判断はしやすくなるため、サービスを深く理解することは大事です。毎日のようにデータを見ていると、大きくブレない硬い数値というものがわかるようになります。また、何をノイズとするかは企業やアナリストの方針によっても変わってくるため、一概には言えないのが難しいところです。
3. 全体からブレイクダウンして震源地を探る
― 「震源地を探る」というのは原因を探すということでしょうか？
そうですね、シグナルとノイズを決めたあとは分析すべき震源地を特定していきます。震源地というのは特定のページだったり、読者数の多いクリエイターの記事だったり、時間や曜日だったり、様々な要因が考えられます。ただ、いきなりピンポイントに特定するのは難しいため、全体から徐々に分割してブレークダウンして探していくのがいいでしょう。
たとえばPVの増減を調べるために、「記事のカテゴリー」にあたりをつけ、そこから関連する「読者数の多いクリエイター」「検索」「SNS」などを深堀りすることができます。さらに深堀りして「ログインの可否によるPVの違い」や「ライトユーザー層とヘビーユーザー層のPVの違い」など多角的な切り口で調査していきます。もれなくダブりなく、をアナリストは常に意識する必要があります。
― 「PVの低下」だと、一般的にはどこが震源地になりやすいのでしょうか？
Googleのアップデートによって大きく変動しやすいため、検索流入は要因になりやすいですね。ただ、検索はすべてのページに影響があるわけではありません。記事投稿系のサービスでは、アニメやゲームなど検索でPVを得るジャンルの記事は変動しやすいですが、SNSなどで話題になるコラム系はあまり検索に左右されないでしょう。こういったサービスの理解も、震源地を探すための知見になります。
4. 分析結果から考察する
― たとえば「PVの低下は特定のカテゴリーの検索流入が影響していた」ということがわかれば、分析としては充分のように感じます。ここからなぜ「考察」が必要なのでしょうか？
分析した結果はあくまでただのデータでしかありません。分析結果として数値が下がった事実がわかったとしても、なぜ下がったのかという理由は考察する必要があります。
たとえば同時期にオリンピックのような長期イベントが開催されていたら「オリンピックで記事が増えて検索結果が大幅に変わりPVが落ちた」という可能性も考えられます。考察を立てたうえで再び検証を繰り返していくと、より真実に近い結果が得られるでしょう。
PV低下は複合的な要因が絡んだり、外部の要因が入ることもあるため、一概に「これが正解」とは言いづらいのですが、今ある分析結果から考察ができるだけで、意思決定のしやすさは大きく違うはずです。
― 分析結果と外部要因を組み合わせて考察するとなると、様々な世の中のできごとも把握しておく必要がありそうですね。
データがあればあるほど考察がしやすいため、アナリストとしては外部要因になりえるニュースやイベントなどは把握しておくといいでしょう。もちろんサービスに対する深い造詣も必要です。アナリストはどれだけ引き出しを持っているかが鍵です。
5. 原因に対してアクションをする
― 最後は、考察の結果を利用してサービス開発に活かしていくんですね。
はい、そうですね。私は意思決定までをサポートするアナリストなので、分析結果から仮説を導きだしたあとはPMやエンジニアと相談して対処方法を決めていきます。そこから先の施策や機能開発については開発チームの仕事になります。
― 分析を繰り返しながら、サービスを向上していくんですね。
分析もそうですが、基本的には仮説と検証の繰り返しです。特に分析すべきサービスに慣れるまではシグナルとノイズの切り分けも難しいため、繰り返し作業を行うことになるかもしれません。分析に慣れてくると、業界やサービスによっての決まりが見えてきたり、仮説を立てやすくなったりしていくでしょう。業界やサービスに精通しているかどうかはアナリストにとって大切ですね。
まとめ：データだけでは語らず事実がなにかを考える
― 今日はありがとうございました。データ分析の基本となる流れを知ることができました。
解説した分析の流れはあくまで一例なので、アナリストによって方法は大きく変わると思います。推測モデルを構築していく研究者タイプのアナリストはまったく違うやり方になるでしょう。
― 最後の質問になりますが、中川さんが分析をする上で大事にしていることはなにかありますか？
私は「データだけで語らない」ことをモットーにしています。サービスをよく理解した上でデータを解釈していかなければ、頭でっかちな分析になってしまいます。
数字を伸ばしていくだけでいいのであれば、サービスの思想にそぐわない施策や機能開発を進めていけばいいかもしれません。しかし、それでは中長期的な成長は期待できないことも多いですし、そのサービスに合った数値を提供し、施策を提案することもアナリストにとっては大切だと考えています。特にnoteではクリエイターを大切にするなどのミッションやバリューを重要視していますので、アナリストとして、サービスの指針や思想を考慮したうえで分析や提案をしていけるよう心がけています。
▼noteを一緒に作りませんか？
▼エンジニアの紹介記事
Text by megaya