ヤフーのビッグデータを活用した施策の効果検証

［アナリスト：小野 聖香］

日々の業務の中で自社の商品やサービス訴求のために様々な施策を実施されているかと思いますが、各施策の効果について精緻に検証を行うのはなかなか難しいのではないでしょうか。今回はヤフーの検索データを活用することで、どのように施策の効果検証が可能なのかをご紹介いたします。

今回施策として取り上げるのは、品川区におけるPayPayボーナス付与キャンペーン（https://paypay.ne.jp/event/tokyo-shinagawa-city/）です。このキャンペーンでは、アプリ上の訴求の他にオフラインでのポスターやリーフレット配布も行われており、今回はこのキャンペーンの実施によって「品川区内でのPayPayの認知度は向上したのか？」を検証してみたいと思います。

まずは、単純に品川区内でPayPay関連キーワードの推定検索人数がキャンペーン前後でどのように変化したのかを見てみます。
以下の図では「PayPay」を含むキーワードの推定検索人数の推移を時系列で可視化したものです。こちらから分かるように、キャンペーン実施前と比較してキャンペーン実施中は大きく推定検索人数が伸びていることが分かります。（推定検索人数はインターネット人口に換算した推計値となっております。）

図１

ただ、現段階でこの推定検索人数の伸びを品川区におけるPayPayキャンペーンの効果であるととらえて良いのでしょうか。例えば、品川区だけでなくキャンペーンを実施していなかった他のエリアでもPayPay関連推定検索人数が上昇していたら、品川区での上昇も世の中のトレンドを反映したものであり、純粋なキャンペーン効果とは言えなくなるのではないでしょうか。

そこで今回は、トレンドを考慮した上でもこの施策により認知が向上したと言えるのかを、DID（difference in differences、差分の差分法）という手法を用いてもう少し精緻に検証してみたいと思います。*
この手法は以下左図のように、通常の推定検索人数推移の上昇率を見るだけでは正確なキャンペーン効果を測れない場合（他エリアでも上昇している場合）でも、他エリアを比較対象群に用いることで以下右図のように純粋なキャンペーン効果を求める方法です。その際、比較対象群に用いるエリアは、同じ期間にキャンペーンが実施されておらず、かつ過去の検索トレンドが同じである（平行トレンド仮定が成立する）点がポイントです。

図２

まずは、対象群に用いる区を選定するために、上記条件は一旦考えず、品川区と比較的位置や人口規模が近いいくつかの区において「PayPay」関連キーワード推定検索人数で過去の平行トレンド仮定が成立するか見てみます。

図３

図３を見てみると江東区は9月中PayPayキャンペーンを実施していたため、推定検索人数が大きく伸びています。大田区、港区、目黒区は比較的品川区と近い動きをしていますが、港区は品川区と同期間でキャンペーンを実施しているため除外し、より動きが近く人口規模も大きい大田区を今回は対象群として選定しました。
また、補足ですが全エリアで10月18日以降推定検索人数が上昇しているように見えます。これはこの期間に開始された超PayPay祭りの開催による影響かと思われ、全国規模の施策の場合は全エリアに推定検索人数上昇の影響が現れてくることが確認できるのではないでしょうか。

それではDIDの手法を使って実際のPayPayキャンペーンによる認知向上の効果を確認してみましょう。
まずは「PayPay」を含むキーワード全ての推定検索人数で分析した結果が図４です。図を見ていただくと分かるように、大田区もトレンドが上昇していましたが、その上がり具合を加味しても品川区での検索は上昇しており、+36.4%のキャンペーンによる認知向上効果があったと言えそうです。

図４

次に、「PayPay 使い方」「PayPay チャージ」のような具体的な利用方法を探索しているキーワードに絞った推定検索人数推移も見てみましょう。図５から分かるように、こちらの具体行動に関する推定検索人数の方が「PayPay」を含むキーワード全体より高い上昇率を示しており、＋40.8％となっていることが分かります。

図５

以上の結果から、今回の品川区でのPayPayキャンペーンは、市場トレンドを加味した上でも品川区におけるPayPayの認知向上に一定の効果を与えたことが確認できました。また、具体行動を示す「PayPay 使い方」「PayPay チャージ」といったキーワードの推定検索人数上昇率は特に高く、品川区民の皆さんのPayPay活用意志を促したと言っても良いのではないでしょうか。

このように、ヤフーのデータを活用することで、普段効果を検証しにくい施策（エリア別のCM放映など）でも一定の検証を行うことが可能です。

さらに、この施策に反応したのはどんなユーザーなのか？（性年代別の属性、その他の興味関心など）などの深掘りも可能ですので、以下のような課題をお持ちの方には有効な分析かと考えています。

・様々な施策を実施しているが本当に効果があるのか分からない
・施策が一方通行でどんなユーザーが反応してくれたのか検証しきれておらず改善につなげられていない

上記のような課題をお持ちの方はぜひデータ分析もひとつの手段としてご検討いただけますと幸いです。ヤフー・データソリューションでは、今後も分析に役立てていただける調査レポートを発信していきます。

*効果検証に用いる分析手法については、都度アナリストの判断により適切なものを採用しています。