Amplitudeはエンジニアに優しい分析ツール
TECH
2022.12.27
AmplitudeでB2B SaaSのヘルススコアの妥当性を探る
writer
2022.04.19
2022.12.27
PLAN-Bでプロダクト開発におけるデータ駆動やアジャイルの推進をしている湯川です。
PLAN-Bでは複数のSaaSプロダクトやメディアにおいてAmplitudeを利用しており、前回の記事ではエンジニア向けに無償版で利用可能な機能や実装方法を紹介しました。今回はB2B SaaSでのヘルススコアの分析と、利用したAmplitude有償版の機能を紹介します。
以前の記事はこちらをご覧いただければ幸いです。
PLAN-BではSEARCH WRITEやCast Me!など複数のB2B SaaSを提供しています。特にサブスクリプション型ではカスタマーサクセス領域において「ヘルススコア」という概念があり、日々顧客の利用状況を確認しアクションにつなげています。
一方Amplitudeはデータ分析ツールとして、継続利用の指標であるリテンションを向上させるための「NSM(ノーススターメトリック)」を探す機能が多く提供されています。ヘルススコアもNSMも語られる文脈が少し異なるものの「プロダクトの価値を顧客(ユーザー)が得られているかを表す先行指標(群)」です。そこで今回Amplitude有償版の機能を使って、現在プロダクトで使っているヘルススコアや継続利用の指標が実態に近いか、何か気づきが得られるかを調べてみました。
Amplitudeはたまったデータを分析するツールなので、事前のデータ設計が大事になります。そこさえできていれば、今回の分析自体は慣れていない人でも30分程度で行える内容で、複雑なデータ抽出・加工などの特別難しいことはしていません。
データ設計(データタクソノミー)については、こちらの記事がわかりやすくまとまっているのでおすすめです。
データをゴミにするか宝にするかはタクソノミー設計次第 | グロースマーケティング公式｜Growth Marketing
今回使うAmplitudeの機能
Amplitudeには数多くの分析機能がありますが、今回は主に「ペルソナ」「コホート」「エンゲージメントメトリクス」の3つを利用しました。
ペルソナ
いわゆるペルソナというと、「30代女性でxxxxに住んでいて家族構成は〜」のようなものを想像するかもしれませんが、Amplitudeでは「行動ペルソナ」という概念を重視しています。イメージとしてはユーザー本人の性別や関心がどうであれ「同じような行動をするのであれば同じペルソナ」という考え方です。
その行動ペルソナを自動で導き出すのがペルソナ機能です。指定したユーザーセグメント(コホート)を指定した数のクラスタに自動的に分類します。
詳しく知りたい方はこちらが参考になります。
類似ユーザーをクラスタリング化、プロダクト利用状況を定量的に把握｜第7回 Personas | グロースマーケティング公式｜Growth Marketing
コホート
Amplitudeでは分析によって抽出したユーザー群を「コホート」として保存し、他の分析機能で対象としたり目標としたりすることで深堀りができるようになります。これが各分析機能をまたがるコアになる要素で、例えばECサイトやタスクがあるサービスにおいて最終的に注文したユーザーやタスク完了したユーザーをコホートとして、そのコホートの継続率やペルソナなど深堀りを進めていけます。
今回の分析ではペルソナ機能でクラスタを作り、そのクラスタを次に紹介するエンゲージメントメトリクスで分析するという流れに使いました。
エンゲージメントメトリクス
あるユーザーセグメントやコホートをもとに、各イベントのアクティブ率と頻度をマトリックス化して確認できます。アクティブ率と頻度で基本的には正の相関を示しますが、そこからはずれた機能や、自分たちの仮説と違うようなアクティブ率・頻度の機能を見つけるのに役立ちます。
詳しく知りたい方はこちらが参考になります。
イベントの使用状況、 ユーザーが主に利用している・いない機能の確認｜第6回 Engage Matrix | グロースマーケティング公式｜Growth Marketing
分析の流れ
今回の分析ではヘルススコアの妥当性を探るため、ざっくり以下の流れで分析を行っていきます。深堀りをするときりがないですが、30分もあればできる範囲でご紹介します。
- ペルソナでログインユーザーの継続率に基づいた行動ペルソナをクラスタリングする
- できたクラスタをコホートとして登録する
- エンゲージメントメトリクスで各クラスタ(コホート)の利用実態の解像度を上げる
この流れで、現状運用しているヘルススコアが継続率の高い行動ペルソナをカバーできているかを確認します。
ヘルススコアとは
サブスクリプション型プロダクトではユーザーの獲得だけでなく解約率(チャーンレート)を下げることが重要となってきます。そこで導入初期の支援だけでなく、顧客やユーザーがプロダクトをうまく使えているか? 価値を感じられているか? を日々モニタリングし、状況に応じたアクションを行います。
ヘルススコアとしてよく使われる顧客ごとの指標としては以下のようなものがあります。これらの指標が良い状態であれば、顧客がプロダクトに対して好意的であるとなんとなく言えそうではないでしょうか。
- ログイン率、ログイン頻度
- プロダクトの価値において重要な機能の利用率や頻度
- NPSや満足度調査
- メルマガやウェビナーなどの施策への登録・参加率
これらの行動に重み付けを行い、自分たちで定義した数式で定量的に算出したものがヘルススコアです。もちろんプロダクトやサービスによって指標や重み付けは変わってきます。ログインひとつとっても、そのプロダクトが「週に1回程度使われる」のか「毎日使われる」のかによって適正値が変わります。
＜集約することよりも行動に繋がることを＞
これらの計算や指標の管理を全て1箇所に集約しようとすると実際かなり大変です。プロダクト上での行動履歴を取得するのに向いたツールや手法、マーケティング施策の結果を取得するのに向いたツール、カスタマーサクセスのメンバーが入力するのに向いたツールはそれぞれ異なるからです。
最初期は無理にひとつに集約させることを目指すよりも、それぞれのツールをまたがって見るか、定期的に結果だけをExcelやスプレッドシートにまとめるのも良いです。なぜなら本来のヘルススコアの目的は「ひとつの数値に集約すること」ではなく「利用状況に応じたアクションが喚起されること」だからです。またヘルススコア自体もプロダクトのグロースや状況によって更新されるものなので、完璧を目指すのではなくまず行動に繋がることを重視したほうが結果的に価値を生みやすいです。
ログインや機能の利用状況に関するものはプロダクト上でのユーザーの行動履歴から計測可能なので、Amplitudeのような行動分析ツールが向く領域です。
実際にSEARCH WRITEではヘルススコアとしてログイン頻度といくつかの機能の利用率・頻度を指標とし、重み付けをしてスコアを算出しています。今回は機能の利用状況に着目して、現在設定しているヘルススコアが妥当かAmplitudeを使って確認します。
ヘルススコアの妥当性を分析
ペルソナ機能で特徴のあるクラスタを見つける
まずはペルソナ機能を使って、行動履歴に基づいたクラスタリングを行い、継続利用率(リテンション)との関連を見てみます。クラスタの数を変えられるので、増やしたり減らしたりしてある程度説明ができそうなクラスタができるよう調整します。
できたクラスタを眺めてみるとこのような特徴があることがわかりました。各機能の数値はクラスタ同士を比較した相対的な利用頻度です。
| クラスタ1 | クラスタ2 | クラスタ3 | クラスタ4 | |
|---|---|---|---|---|
| 高い継続率のユーザーが含まれる割合 | 67.5% | 78.0% | 64.5% | 82.3% |
| 割合 | 35.7% | 28.0% | 16.1% | 7.38% |
| モニタリング系機能 | やや高 | やや高 | 高 | 普通 |
| タスク管理系機能 | やや高 | 高 | 高 | 普通 |
| アドホック分析系機能 | やや高 | 普通 | 普通 | 高 |
| 新規コンテツ作成向け機能 | やや高 | 高 | やや低 | やや低 |
| 既存コンテンツ改善向け機能 | やや高 | やや低 | やや高 | 普通 |
| 特徴 | 全体的に利用頻度が高く、ヘルススコアでも高いスコアの顧客が多い | まだコンテンツが揃っていないので、新規コンテンツ作成に注力してそう | 一定コンテンツが揃っており、日々のモニタリングと既存コンテンツ改善がメイン | 全体的に普通に利用しつつ、利用難度が少し高いアドホック分析を特に高頻度に利用している |
他にも継続利用率の低いクラスタもありますが、高いものだけを抜き出しました。全体的に利用しているクラスタ1、特定機能に偏っているクラスタ2,3,4がありました。この中で最も継続利用率が高いと思われるのはクラスタ4ですが数は少なく、アドホック分析に特化した使い方をしています。
エンゲージメントメトリクスで各機能のアクティブ率と頻度の詳細を知る
ペルソナ機能でいくつか興味深いクラスタを見つけることができました。今度はそれぞれのクラスタの解像度をあげるために、イベントのアクティブ率と頻度を知ることができる「エンゲージメントメトリクス」を使って、各機能のアクティブ率と頻度を確認します。
ペルソナ機能で確認したクラスターをコホートとして登録することで、クラスター内のユーザーを対象とした深堀りができるようになります。
あるクラスターについてエンゲージメントメトリクスを使ってみた結果がこちらです。特定期間内での縦軸が頻度、横軸がアクティブ率(%WAUであれば、1週間の内にそのイベントを行ったユーザーの割合)です。
まずは先に現行のヘルススコアとしても高い扱いをされるクラスタ1を見てみます。
特別何かが高いというよりは比較的まんべんなく利用されている印象です。これから比較するクラスタ2とクラスタ4との差がわかりやすくなるよう、コンテンツ作成系機能を緑枠、アドホック分析系機能を赤枠でかこっています。
それではクラスタ2とクラスタ4を見てみます。
クラスタ2: コンテンツ作成系機能のアクティブ率と頻度が高い
クラスタ4: アドホックな分析機能のアクティブ率と頻度が高い
ペルソナ機能でのクラスタのうち、特に傾向の違う2つを並べてみました。クラスタ2は緑枠のコンテンツ作成系機能のアクティブ率と頻度が高く、クラスタ4は赤枠のアドホックな分析機能のアクティブ率と頻度が高いです。横軸のスケールが異なるので少しわかりづらいですが、他の機能についてはあまり大きな差はないようです。クラスタ1と比べると特定機能以外のヘルススコア重点機能の利用率はやや低そうです。
ヘルススコアは妥当だったのか?
今回分析対象としたSEARCH WRITEでは、プロダクトのペルソナをいくつか想定していましたが、今回の分析で想定していたペルソナがいたことの確認ができたと同時に、サービス全体に対する割合や継続利用率を把握することができました。
ただし現状のヘルススコアはペルソナごとに作っているのではなく単一のものです。クラスタ1のようにある程度の機能をまんべんなく利用するとスコアが高く出るような定義になっているので、特定機能の利用率がやや突出して高いクラスタ2や4はヘルススコアが低く出る可能性があります。
今回の分析で改めて「単一のヘルススコアでは実態と合わない部分が少しありそう」という気づきがありました。ヘルススコアの運用として、悪化した場合など条件ごとにアクションをする(Call to Action)というのがあります。極端な話だと「既に既存コンテンツのモニタリング段階に入っている顧客に、ヘルススコアの悪化から『新規コンテンツ作成向け機能』のおすすめをする」かのようなケースがありえるかもしれません。…実際にはそこまで具体的なソリューションをいきなり提案することはなく、ヒアリングなどから入ることが多いです。ただしこの部分の解像度がより上がれば、顧客の状況に応じて記事や動画などのコンテンツを自動ですすめるなどもできそうです。
カスタマーサクセス(CS)系のイベントなどで、B2B SaaSで機能が増えていくと顧客ごとに使う機能が偏るという話や、オンボーディングや継続利用中とでは別のヘルススコアを使うなどの話を聞いていたので、確かにそろそろ必要になってきそうだと実感できました。
さらに深堀りをするなら
今回の限られた時間内での分析では使いませんでしたが、他にも高い継続利用率に対してイベントの相関を調べるコンパス機能や、特定のイベントからのユーザーの動きを追跡するパスファインダーといった機能もあります。
相関を調べるコンパス
ユーザーの動きを確認するパスファインダー
普段のプロダクト改善では、このような機能を使ってユーザーにとって適切な導線設計になっているかの確認や、より高いエンゲージメントに繋がる行動は何かなどを探索しながら仮説検証を行っています。
まとめ
今回30分程度の時間で現状のヘルススコアが妥当かの検証を行いました。無償版機能では自分なりの仮説ありきでファクトを集めるような機能が一定十分ありますが、有償版機能では自分では思ってもいなかった事実がわかるような気づきを得ることができました。
本記事執筆前に、Amplitudeの日本の総合代理店である株式会社DearOne様に無償版・有償版の使い方の支援をしていただきました。導入から分析運用まで相談にのっていただけますので、ご興味を持った方はこちらをご覧ください。
Amplitude | グロースマーケティング公式｜Growth Marketing
2018年02月にPLAN-Bに入社し、プロダクト開発のアジャイル化を推進(自称社内アジャイルコーチ)。複数プロダクトでカンバン方式やスクラムでの開発を軌道にのせ、安定的・継続的なリリースサイクルを実現。現在はプロダクト開発におけるデータ駆動化やデータマネジメントを事業・全社を巻き込んで進める。スクラムマスターの社内コミュニティ「スクラムマスターギルド」ギルドマスターとしてもこっそり活動中。
