PPC


2016.3.28

簡単なようで難しい!リスティング広告文のA/Bテスト結果の判断方法

eyecatch-ppc33


A/Bテストとは

WEBサイトの売上を改善する方法の一つとして、
「A/Bテスト」という言葉はいろいろなところで使われていますよね。

A/Bテストとは、複数の異なる広告やランディングページなどを用意し、
実際に運用してより効果の高いものを採用していくテスト手法です。

例えば、
・バナー広告のA/Bテスト
・メルマガのA/Bテスト
・LP(ランディングページ)のA/Bテスト
・リスティング広告のA/Bテスト など、
様々な対象のA/Bテストが考えられます。

しかし、「正しいテスト設定」で「より効果の高いもの」を
正確に見極めることは、広告代理店のプロの運用者でも難しいものなのです。

多くの会社では限られた予算と時間の中で
効率的に売上効果を上げなければならず、
無意味なA/Bテストを行うことは避けたいものです。

今回は、検索連動型(リスティング)広告のA/Bテストについて
実際の運用データを交えながらご紹介します。

単純に「クリック率が高い=効果が高い」ではない

リスティング広告のA/Bテストでよく用いられる指標は
クリック率とCV率で、次の4つのパターンに分けることができます。

A.クリック率が高くCV率も高い
B.クリック率が高くCV率は低い
C.クリック率が低くCV率は高い
D.クリック率が低くCV率も低い

上記の4つでどれが「効果が高い」と言えるのか、
それは商材の内容や目的によって異なるものなのです。

実際にある製品のリスティングで2パターンの広告文A/Bテストを行ったところ
下記の結果が得られました。

ppc33-01

この場合では、広告文ⅠがパターンC、広告文ⅡがパターンBにあてはまります。

もしこれが、LPのA/Bテストであり、流入が自然検索のみで費用がかからない場合、A(あるいはBも含む)が良くてDが一番悪いと判断するのが妥当でしょう。

しかし、1クリックごとにクリック費用が発生する検索連動型広告の場合は、言うまでもなく費用対効果が重要です。

できる限り少ない費用でCV獲得することを考えると「AよりもC、BよりもCのほうが効果が高い」という判断ができるのではないでしょうか。
(品質スコアを考えるとまた別の問題が出てきますが)

A/Bテストの結果判断に必要な指標を考えてみる

これらのことを定量的に示すために次のような指標を考えてみました。

指標1. CV/(表示回数)
広告表示→クリック→CVの割合を比較したもので弊社内ではこれを便宜的にCV/Imp.と呼んでいます。
この数値が大きいほどCVへの効果は大きいといえます。

指標2. CV/(表示回数)/(費用もしくはクリック数)
1.に加えて、広告費用の大小を数値に反映させたものです。
こちらも数値が大きいほど良いのですが、指標1に費用対効果の要素を含めたため、リスティング広告向けの指標といえるでしょう。
ppc33-02
こうしてみると、費用対効果の面でもBのほうが良い結果が得られていることがわかります。
このように、表示回数、CV、費用を重要度に応じて設定してより精度の高い判断結果を導きましょう。

そのグループ分け、設定でA/Bテストして大丈夫?

これは広告代理店のプロの方でも判断が難しいものです。

結論としてこちらも商材や目的次第となってしまうのですが、ある大手ブランドメーカーのA/Bテストデータで見ていきます。

ブランドを示すKWグループ(ブランド系)とそれ以外のKWグループ(非ブランド系)で
クリック率とCV率のスケールがまったく異なるので2つのキャンペーンで別々にデータを集計しました。

ppc33-03

再現性を確認することでA/Bテスト結果の信頼性を高める

グループの分け方としてこの2つのグループで良いのかどうか迷うところですが、このことは相関性も見ながら判断していきます。

ppc33-04

上図は(ブランド系)グループの全広告クリック率平均値(100%とする)、上位2つ(広告文6、広告文7)の相対クリック率を日別にプロットしたグラフです。

上位2つの広告文は全日数の内80%以上の確率で全広告平均値を上回っています。
つまり、
全体的にクリック率の良かった広告文は1日単位でみても平均値を上回り続けている
⇒再現性が高くこの先も同じ結果が得られる可能性が高い

と判断してよさそうです。

ちなみに、クリック率の下位2つの広告文の日別プロットも確認したところ同じように80%以上のプロット数が平均値を下回りました。

また、CV率の日別のプロットも確認したところこのような相関性はあまりありませんでした。

クリック率では広告文の優劣に相関性がありCV率では相関性が見られない、つまりこの商品は単価が高く衝動的にCVに至るものでないために検討期間が長く相関性が低いのかもしれません。

広告文タイトルに【 】をつければ効果が上がるのは本当?

結論から言うと本当ではありません。
こちらも実際にデータを計測してみました。
ppc33-05

【 】あり、となしで比較したところ特に目立った違いや傾向は見られませんでした。

・タイトルに記号を付けて目立たせる
・説明文1、2だけを変える

などのA/Bテストはこれまでも行ったことはありますがどれも違いがあまり見られず効果は小さいようです。

おわりに

A/Bテストの事例をデータ付で紹介してきましたが、「A/Bテストを計画する」というところまでは期待に胸が膨らむものの、実際に行ってみるとなると難しく、分析方法やまとめ方に頭を悩ませることがほとんどです。

しかし、仮説を立てて明確な差が出たときの喜びは何にも代えがたいものがありますし、代理店の方であれば改善できたことでお客様の売上アップにつながり、喜びの声をもらえることでしょう。

A/Bテストでより良い結果を出すためには最適な仮説と設定が必要で本記事がそのための参考になれば幸いです。

『Paddle TD』サービス紹介ページ

https://www.principle-c.com/lp-paddle/td.php


paddleTD
2016.3.31

リスティング広告のクラウド型広告文作成ツール『Paddle TD』を使ってみた!

著者:
サイトリンク改善につながるデータ
2016.7.29

AdWords、サイトリンクの改善につながるデータの見方とは?

著者:
1600121_img01
2016.1.22

Adwords除外プレースメントが思い通りにできない

著者:
開発秘話
2016.3.30

日本初のクラウド型広告文作成ツール「Paddle TD」の誕生秘話

著者:
Yahooスポンサードサーチのサイトリターゲティング設定方法
2016.2.12

Yahooスポンサードサーチのサイトリターゲティング設定方法

著者: