webマーケティング


2016.11.2

速報!Google Optimize(グーグル・オプティマイズ)使用感レポート

20161101_n


Google Optimizeとは

Google社が2015年5月に発表した、Google Analytics 360 suite製品シリーズの一つで、A/Bテストを行う製品、Google Optimize 360の無償版です。
(以下、単に「Google Optimize」と記述しているものは無償版を指しています。)

現在(2016年10月28日時点)は9月29日からベータテスト版(対応言語は英語のみ)が公開中。

Google Optimize 360(有償版)を使ったことがないユーザーからすると、
・Google アナリティクスに従来から存在した「ウェブテスト」よりも機能が拡張された
・かつ、テスト用コードをGoogle Tag Managerで設置し、マーケターで完結できるようになった
・テストを実施する対象ユーザーを選択できるようになった
というのがGoogle Optimizeのメリットです。

この記事ではGoogle OptimizeをGoogle Tag Manager経由で使い、早速A/Bテストを自社サイトで実施してみましたので、その使用感をGoogle アナリティクスのウェブテスト機能及びGoogle Optimize 360(有償版)との違いについて触れながらお伝えします。
英語が分からないマーケターにも通り一遍の設定方法が分かるよう書いたつもりですので、管理画面の日本語化を待てない方はぜひご一読ください。

Google OptimizeによるA/Bテスト開始の流れ

Google OptimizeでA/Bテストを実施する際は、大まかに5つの手順を踏みます。

  • (0) Google Optimizeアカウントを作成する
  • (1) Google Optimizeに紐づけるGoogleアナリティクスのビューを決める
  • (2) OptimizeコンテナをGoogle Tag Manager経由でA/Bテストしたいページに設置する
  • (3) Google Chromeの拡張機能をインストールする
  • (4) A/Bテストの設定をする

(0) Google Optimizeアカウントの作成

まずはアカウントを作成します。
※11月○日現在、ベータ版は下記サイトから応募し、テストユーザーに選ばれた人だけが使える状態ですので、登録していない方は、まず登録を完了する必要があります。
https://optimize.google.com/optimize/signup/#/accounts/

20161101_n_01

ベータ版のテストユーザー登録が完了しているユーザーは、Googleアナリティクス右上メニューから「Optimize」をクリックする(もしくはhttps://optimize.google.com/optimize/home/#/accountsのURLをブラウザで開く)とアカウント作成画面に遷移することができます。

20161101_n_02
20161101_n_03

アカウント作成画面右上の、「CREATE ACCOUNT」ボタンをクリックし、画面の指示に従いアカウントを作成ます。

20161101_n_04

アカウントの設定が完了すると上記の画面が表示され、画面右側のContainer details画面が表示されます。
画像黄色枠に表示されている(Optimize)Container IDは後から確認することもできますが、後ほどGoogle Tag ManagerでOptimizeスニペットを設置する際に使用するので、メモ帳などにコピー&ペーストしておきましょう。
※Optimize Container IDは「GTM-」で始まっているため、Google Tag ManagerのコンテナIDと紛らわしいですが、これらは全く別物ですのでご注意ください。
また画像赤枠で示す部分に「Google Analytics」の表記があり、右端のペンのマークをクリックすることでGoogle Optimizeと連携させるビューを設定することができます。

(1) Google Optimizeに紐づけるGoogleアナリティクスのビューを決める

次にGoogleアナリティクスのプロパティ・ビューを選択します。
Googleアナリティクスのウェブテスト機能を使ってビュー単位でテストを作成するときと同様、Google Optimizeでもビューを設定し、そのビューへヒットを送信する設定を行います。
ここで選択したビューの目標をA/Bテストの目的とするため、最適化したい目標が設定されているビューを選択してください。
※編集権限のあるビューのみ、こちらで設定可能です。

20161101_n_05

Googleアナリティクスのウェブテスト機能と異なり、ビューは複数選択することも可能です。
※後ほどレポート機能の解説で説明しますが、A/Bテストでは複数の目標をテストの目的(管理画面ではObjectiveと呼ばれるため、以下Objective)として設定することができるものの、この段階で複数のビューを選択しても、テスト単位で紐づけられるビューは1つに絞ることになります。よって1つのA/BテストのObjectiveとして複数のビューに存在する目標を設定できる、というわけではなく、あくまでA/Bテストを実施するビューを複数選択することができる、ということのようです。

またGoogle Optimize(無償版)では使えませんが、Google Optimize 360(有償版)ではここで紐づけを行ったビューを使って

  • ・Googleアナリティクスで作成したアドバンスセグメントをOptimizeのターゲットセグメントで利用可能
  • ・OptimizeのVariant(テストパターン)をカスタムディメンションとしてGoogleアナリティクスで利用可能などの機能も用意されています。

なお、Google Optimizeのアカウントに紐づけることができるプロパティは1つだけです。
これはOptimizeスニペット設置時にも解説しますが、OptimizeスニペットはOptimize Container IDとGoogleアナリティクスのプロパティIDを同時に入力し、ヒットを送信するプロパティを定義する必要があるためです。

(2) OptimizeコンテナをGoogle Tag Manager経由でA/Bテストしたいページに設置する

次にOptimizeスニペットをGoogle Tag Manager経由で設置します。

Google Tag Managerの組み込みタグに「Google Optimize」があるので(画像赤枠)これを選択し、(0)でアカウントを作成した際にメモしたOptimize Container ID(画像黄枠)と、GoogleアナリティクスのプロパティID(画像青枠では「Trakcing ID」)を使って実装します。

20161101_n_06

ここでは「すべてのページ」に配信するトリガーを使用していますが、配信するのはテストを実施するページのみでかまいません。

Googleアナリティクスのウェブテストでも、Google Tag Manager経由でテストコードを配信する手法がなかったわけではありませんが、公式にサポートされていたわけではなく、エンジニアなしではソースコードを直接編集する必要がありました。今後はGoogle OptimizeとGoogle Tag Managerを利用することで、非エンジニアのみでテストの設計から実行まで完結できるようになります。

(3) Google Chromeの拡張機能をインストールする

次にGoogle OptimizeのChrome拡張をインストールします。
https://chrome.google.com/webstore/detail/google-optimize/bhdplaindhdkiflmbfbciehdccfhegci

20161101_n_07

Google Optimizeで元のページの一部を変更した「テストケース」(管理画面では「Variant」と呼びますので、以下Variant)を作成する際は、前提としてChromeブラウザを利用することになります。

このGoogle Optimize拡張をインストールすると、、

  • ・Variantを作成する際にビジュアルエディタが起動し、非エンジニアでもVariantを簡単に作成できる
  • ・Variantをプレビューする際、PCだけでなくタブレットやスマホでのプレビューもできる

などのメリットがありますので、必ずインストールしましょう。

(4) A/Bテストの設定をする

「Experiments」タブの「CREATE EXPERIMENT」ボタンをクリックし、A/Bテストを作成します。

20161101_n_08

20161101_n_09

<Google Optimizeのテスト作成画面>

A/Bテスト

URLは1つで、ページ内要素を変更して作成したパターンを出し分けてくれるテスト。
例) ファーストビューのイメージ画像を複数用意し、最もコンバージョンに貢献する画像を見つける
※本記事で主に紹介するのはこの機能です。

多変量テスト

URLは1つで、ページ内要素の複数か所に変更を加えて行うテスト。
A/Bテストと似ているものの、こちらは変更した要素の「組み合わせ」からなる
無数のパターンを自動的に出しわけ、最適な組み合わせを導くテストです。
例) ファーストビューのイメージ画像と、その横に配置するキャッチコピーを複数用意し、
 最もコンバージョンに貢献する画像キャッチコピーの組み合わせを見つける

Redirectテスト

複数のパターンでマークアップしたHTMLを複数、別のURLに用意する場合のテスト。
例) ファーストビューのイメージ画像を複数用意してマークアップしたHTMLを
 それぞれ別のURLに用意し、最もコンバージョンに貢献するHTMLを見つける
※Google Analyticsに従来から実装されていた「ウェブテスト」機能に似ています。

テストの作成はテストするページのURLとテストの種類を指定するところから始まります。
その後、Variantの作成⇒テストターゲットの設定⇒Objective(最適化の目的変数)となる目標を設定して公開、となるのですが、これは実際の設定画面を見ながらのほうが分かりやすいと思います。
今回は(1)のベーシックなA/Bテストを設定してみましたので、流れの説明の後、詳細をレポートします。

(5) A/Bテストのプレビュー

Variantの作成が完了した時点で、実際のテストを始めなくてもVariantがどのように見えるのか、プレビューすることができます。
このプレビューはGoogle Tag Managerの「デバッグ&プレビュー」モードに似ており、URLによるプレビューのシェア機能なども備えてあります。

20161101_n_10

URLによるプレビューシェアを行う際、シェアする相手にもGoogle OptimizeのChrome拡張がインストールされていれば、タブレットやスマホでのプレビューを見ることが可能です。Chrome拡張がインストールされていない場合はPCでのプレビュー画面のみを確認することができます。
※もちろん、Google Chromeのデベロッパーツール等を使えば、Chrome拡張なしでもタブレット・スマホでのプレビューを確認することは可能です。

なおこのプレビューは、「Drafts(公開前の編集中)」「Running(公開してテスト実行中)」のステータスにあるテストで利用可能です。

Googleアナリティクスのウェブテストでは、「Redirectテスト」のみでしたので、プレビュー機能がなくても、直接URLをたたけばA/B両パターンを見ることができました。Google Optimizeでは「Redirectテスト」に加え、1つのURL内で要素を変更する「A/Bテスト」「多変量テスト」が導入されたため、プレビュー機能を実装することになったのだと思います。

(6) レポートを確認しA/Bテストを完了する

テストが開始されたら、レポートを確認しながら完了時期を見計らいます。
Googleアナリティクスのウェブテストでは、最初に最短テスト期間と閾値を設定し、Winnerが見つかるまで期間を自動的に延長する、というシステムでした。
一方Google Optimizeでは「最短でも2週間はテストを実施することが推奨」としつつも、管理画面では日次、もしくはそれ以上の頻度で数値が更新されますので、運用者自身でテストセッション数とWinnerの確率を逐次見て、完了タイミングを計ることになりそうです。

下記はGoogle Optimizeのヘルプページに掲載されているレポートの参考値です。

このグラフではObjective(最適化の目的変数)としてページビュー数が設定されています。
CVがページビューとなっているため、この場合のコンバージョン率はページビュー数/セッション数となっており、「OriginalとVariantのどちらがより多くのページを回遊させることができるか」というテストになっています。
開始5日目ほどから、細い破線であらわされたVariantのページ/セッションの指標が、太い破線で表されたOriginalのパフォーマンスを上回りはじめ、各破線の周りにあるハイライト(予測値の幅)も明らかにVariantがOriginalを上回っていることが分かります。

20161101_n_11

https://support.google.com/360suite/optimize/answer/6218117?hl=en&ref_topic=6197702

また指標として表の右側に表示されている、
「Probability to beat baseline」:ファーストビューからスクロールダウンする確率
「Probability to be Best」:最もパフォーマンスの高いパターンである確率*
   *Googleアナリティクスのウェブテストでいう「オリジナルを上回る可能性」の指標
も、A/Bテストを完了する判断材料になります。

Google OptimizeのテストデータはGoogleアナリティクスのウェブテストレポートでも見ることができますが、確認できる指標に違いがあります。

例えばコンバージョン率はどちらのレポート画面でも確認できますが、
(a) Googleアナリティクスのウェブテストレポート:実際のコンバージョン率を表示
(b) Google Optimizeのレポート:推測したコンバージョン率を表示
となっており、比較すると (a)<(b)の関係になることがヘルプページに掲載されています。
※Google OptimizeとGoogleアナリティクスはリアルタイムに連携されているわけではなく、

ですので、元々Googleアナリティクスのウェブテストに慣れている方は、Google Optimizeのレポートに慣れるまでGoogleアナリティクスのウェブテストレポートも補助的に確認しつつ、テストの完了タイミングを計る運用になると思われます。

A/Bテストを設定してみる

弊社で行ったA/Bテストの設定を基に、どのようにしてA/Bテストを設定するのか、どのような設定ができるのかを見ていきます。
今回はGoogle Optimizeでテスト可能な「A/Bテスト」「多変量テスト」「Redirectテスト」の中の「A/Bテスト」機能を利用して、LPのキャッチコピーを変更するテストを実施しました。

まずは「CREAE EXPERIMENT」をクリックし、前項の「(4) A/Bテストの設定をする」の続きからです。
画像赤枠部分にテスト名を記入し、A/Bテストを実施したいページのURLを入力(画像黄枠)し、「A/Bテスト」を選択(画像青枠)したら、右上の「CREATE」ボタンをクックします。

20161101_n_12

テストが作成され、「DETAILS」画面に遷移します。

ここから先のA/Bテスト設定手順を軽くおさらいしておきます。

  • (1) Variantを作成
  • (2) Objective(最適化の目的変数)となる目標を設定
  • (3) テストターゲットの設定
  • (4) 公開

(1) Variantを作成

Originalを編集し、テストパターンとなるVariantを作成していきます。
今回はVariantを1つ用意し、2パターンのどちらがいいかをテストします。
※Googleアナリティクスのウェブテスト(Redirectテスト)でも可能でしたが、Variantは2つ以上作成することも可能です。

下記画面赤枠の「+ NEW VARIANT」をクリックして名前を入力すると、新しいVariantが作成されます(画像青枠)ので、画像右上の「SAVE」ボタンをクリックして保存します。
画像の青枠部分をクリックすると、Variantの編集画面に遷移することができます。

20161101_n_13

今回のテストページは弊社ウェビナーのランディングページです。

Variant 1をクリックして、ビジュアルエディタで編集を開始します。
キャッチコピーはファーストビューのヒーローイメージに記載されていますので、画像のパスを変更します。
ビジュアルエディタで所望の画像を選択すると、右下の編集画面に詳細が表示されます。
画像パスは「SOURCE」(画像赤枠)に記載されているので、これをテストパターンの画像がおいてあるパスに変更します。

20161101_n_14

「SOURCE」を編集すると、画像が変わりました。
画像の変更に合わせてALT属性なども変更したい場合は、右下の編集画面内にある「EDIT ELEMENT」ボタンをクリックし、「Edit HTML」を選択することで記述を変更できます。
編集が完了したら、画面右上の「SAVE」ボタンをクリックして保存します。

20161101_n_15

※今回は使っていませんが、「Run JavaScript」を使ってスクリプトを走らせることも可能ですので、フロントエンドエンジニアの方がいらっしゃれば様々なテストができると思います。

(2) Objective(最適化の目的変数)となる目標を設定

Variantの編集が完了したら、DETAILSページに戻り、Objectiveの設定を行います。
「OBJECTIVES」タブを見ると、画像赤枠部分にリンクしたビューの目標がリスト表示されますので、ここで目標を選択します。

20161101_n_16

この時、アカウントに紐づけるビューを複数選択していると、ここで「LINK TO A GOOGLE ANALYTICS VIEW」というボタンが表示されますので、改めてここでビューを選択し、Googleアナリティクスの目標をObjectiveとして選択します。

Primary objectiveとして設定できる目標は1つのみで、先のようなグラフィカルに表示されるレポートはこのPrimary objectiveに設定した目標だけです。
ただし、Secondary objectiveとして複数の目標を追加することができ、これを設定することで、Googleアナリティクスのウェブテストでいう「オリジナルとの比較」や、「ファーストビューからスクロールダウンする確率」など、限定的ですが参考値を確認することができます。

なおPrimary objectiveは「Drafts」のステータスでしか設定することができませんが、Secondary objectiveは「Drafts」「Running」「Ended」どのステータスでも追加して確認することができますので、次のA/Bテストをする際の参考になるかもしれません。

(3) テストターゲットの設定

「TARGETING」タブでは2つの設定があります。
「Who」セクションと「When」セクションです。

「Who」セクション

「Who」セクションでは、テストするページを訪問したユーザーのうち、
・何パーセントのユーザーをテストの対象とするか
・テスト対象となったユーザーの何パーセントをOriginalもしくはVariantに振り分けるか
を設定することができます。(画像赤枠)

20161101_n_17

「Who」のセクションは、Googleアナリティクスのウェブテストでいうとそれぞれ、

  • ・Percentage of visitors to target: テスト対象トラフィックの割合
  • ・Weighting of visitors to target: 詳細オプション

にそれぞれ該当します。

Googleアナリティクスのウェブテストでは、

  • ・テスト対象トラフィックの割合: 7段階(1%、5%、10%、25%、50%、75%、100%)
  • ・詳細オプション: 2パターン(「すべてのパターンにトラフィックを均等に分配」「パターンの成果に基づいてトラフィックが動的に調整」のいずれか)

で調節できましたが、Google Optimizeではいずれも0.1%刻みで調節できるようになっています。
※ちなみに多腕バンディットテストのオプションはGoogle Optimizeではサポートされていないようです。

今回のテストではデフォルト設定のまま

  • ・Percentage of visitors to target: 100.0%
  • ・Weighting of visitors to target: 50.0% : 50.0%

で設定しました。
※デフォルトでは、全セッションをテスト対象に、すべてのパターンに均等にトラフィックを分配する設定になります。

「Who」セクション

「When」セクションの設定は、条件として必ず1つ指定する必要があります。
必要最小限のルールでは「URL」で、テスト対象ページのURLを設定します。

20161101_n_18

URLの指定では、「URL」(フルパス)のほかに「Host」「Path」「URL fragment」等も指定できます。(クエリを選択したい場合はURLではなく、別途「Query parameter」で定義します。)
入力が完了したら、右上の「ADD」ボタンをクリックして設定完了です。

20161101_n_19

その他の条件としてはCookieやデータレイヤー変数など、Google Tag Managerで使っているような変数が設定可能で、十分なトラフィックを見込めるサイトであれば、様々な条件でテストを実施することが可能です。

ターゲティング自由度が高くなっている点は、Googleアナリティクスのウェブテストと比較すると大きく改善された部分だと思います。ただしこの機能を最大限活かすためには、Google Optimize 360(有償版)を購入してGoogleアナリティクスのセグメントを連携できるようにする必要があります。
※今のところGoogle Optimize(無償版)ではセグメント連携はできない模様。

(4) 公開

設定が完了したら公開作業をします。
必要な作業が完了しているかどうかは、テストの「DETAILS」ページ上部の「SHOW STEPS」をクリックすれば確認できます。(画像赤枠)
すべての作業が完了すると、「START EXPERIMENT」ボタンがクリッカブルになります。

20161101_n_20

まとめ

今回はGoogle OptimizeによるA/Bテストを、Google Tag Manager経由で設定・実装した例をお伝えしました。
今のところ英語版管理画面のみの公開となっていますが、

  • ・A/Bテストを3種類実施可能
  • ・ターゲティング設定が細かく設定可能
  • ・Google Tag Managerを利用することで、マーケターで完結可能

と、無料でこれだけの機能が利用できるのは大きなメリットだと思います。

★おまけ
今回はGoogle Tag Managerで完結すること前提でしたので、おまけとしてページフリッカー対策について記述しておきます。

ページフリッカー(Page Flicker)は耳慣れない方もいらっしゃるかも知れませんが、A/Bテストツールなどを利用する際、一瞬オリジナルページが見え、その後にテストパターンに切り替わる、という現象です。

これを解決するには、Google Optimize管理画面からOptimizeスニペットと同時に出力される「Page Hiding」タグを入れる必要がありますが、タグの順番として、<meta charset>の直後、かつ、Google OptimizeとAnalytics and/or Tag Managerの前に入れる必要があり、これはGoogle Tag Managerで入れることはできません。

よって、ページフリッカーが気になるであろうページ(例えばファーストビューが全く違うVariantを用意する場合など)には、このPage Hidingタグをハードコードで入れるのが良いでしょう。

ただし、Page Hidingタグが行うのは「ロード中2秒間はページを見せない」という処理ですので、ロード時間が気になる場合は、タグ中の表記「’2000’」(ミリセカンド)を調節してみることになります。(もちろん、2秒以内にVariantへの切り替えが完了するページにおいて、という前提になりますが。)

いずれにしても一瞬、ページが真っ白になることには変わりありませんので、このタグを入れるページは選ぶ必要がありそうです。


Principle-c

Principle-c

Google社からGoogleアナリティクス認定パートナーとして認められる、日本ではわずか15社しかないトップレベルのデータ解析、オンラインマーケティング会社。創業わずか4年超ですが、業界トップレベルのコンサルタントが、大手企業を中心にオンラインマーケティングの支援をしており、4期連続増収増益、スタッフ数も40名を超え急成長しております。


> の記事一覧

20161114_i
2016.11.17

NO MORE 試行錯誤!? 忙しくても「今すぐ」立てる価値のあるKPI

著者:
20160905_miyazaki
2016.9.5

セミナー遅刻者ハンドリング法

著者:
clicktale
2014.11.12

ClickTaleの強力なファネル機能(フレキシブルファネル)

著者:
kris
2015.12.21

Global Digital-marketing senior adviser Kris Irizawaの紹介

著者:
木田さん_excel vs Tableau_アイキャッチ
2016.4.15

ヒストグラム作成で対決!エクセル vs Tableau

著者: