はじめに
最近、自然言語処理のブームにつれて、ツールに詳しくない人でも簡単に分析できるように、自然言語でデータに対して問い合わせる機能が次々と開発されています。例えばGoogle Analytics Intelligence、Tableau Ask Dataなどがあります。
これらの機能はどこまで早く、どんな形で回答を返してもらえるのか。GA, Tableauと弊社のデータ解析士に同じ質問を当てて、その結果を比較してみました。
参戦者の紹介
まず、今回の参戦者（三名）を簡単に紹介します。
Google Analytics Intelligence
Google Analytics Intelligenceは、GAが2019年3月ごろに追加された機能です。Googleの機械学習を利用してデータに対する理解を深め、適切な決断を下せるようにするための機能です。
もちろんGAはデータを分析して、読むべき変化や利用すべきインサイトをそのまま提示できますが、自然言語で質問を投げてきても回答ができます（※まだ英語版しか利用できません）。今回の参戦者は自然言語で質問する機能です。
ご参考：https://support.google.com/analytics/answer/7411707?hl=ja
Tableau Ask Data
もう一名の参戦者Tableau Ask Data はTableauのバージョン2019.1にてリリースされた機能です。分析対象のデータソースはTableauオンライン（サーバー）上にある必要がありますが、自然言語で質問を投げますと、適切な形式でビジュアライズ化して回答してくれる機能です。また、回答をそのままサーバー上に保存できますし、ディメンションの追加、グラフ形式の変更も可能です。
ご参考：https://www.tableau.com/ja-jp/products/new-features/ask-data/demo
データ解析士
また、参照として弊社のデータ解析士1名も招待しました。この度の対決ではGAのデータに簡単にアクセスできるように、Googleデータポータルを利用します。
ご参考：https://support.google.com/datastudio/answer/6283323?hl=ja
データ解析対決
対決の事前準備
- 解析対象データの準備：同じデータを使うことができるように、今回の解析対象はGAデータとなり、事前にTableauサーバ―上にGAデータをアップロードしたり、Googleデータポータルにつなげたり準備をしました。
- 解析対象データの期間：処理するデータ量を抑え、対決を円滑に進めるように、すべての質問に対して、データ期間を「先月」と指定しました。
- 質問の準備：普段の業務を想定して、GA管理画面から簡単に出せない3つの質問を用意しました。
対決内容
回答の速さについて、すべての質問に対して、GA IntelligenceとTableau Ask Dataは数秒かかりまして、データ解析士は1分ほどかかりましたので、以下回答時間を省略します。
質問1:訪問数と収益のトレンド
＜sessions over time compare to revenue last month＞
こちらの質問では先月の訪問数と収益の変化には異常がないかを確認したいです。さらに、もし訪問数と収益はお互い影響ないかを確認できたらなおよしです。
①GA Intelligence
結果として、訪問数と収益の日次数値が折れ線グラフで作られまして、特に収益の変化は一目瞭然です。ただ、訪問数と収益の桁が異なるため、同じ軸を共有してしまうため、訪問数の変化は確認しにくいです。
②Tableau Ask Data
結果として、訪問数と収益の折れ線が表示されましたが、なぜか粒度は年次になってしまいます。
粒度を日に変更すると下記になりました。
③データ解析士
データポータルを利用して、訪問数と収益の日次数値が折れ線を二重軸の形式で出しました。
この質問に対して、GA Intelligenceとデータ解析士は似ている回答をしてくれました。GAのほうは早かったですが、セッション数の変化はほとんど読めないので、データ解析士に1ポイントをあげたいです。
質問2:収益と平均セッション時間に相関があるか
＜are revenue and duration correlated last month?＞
この質問の目的はセッション滞在時間と収益に関係があるかどうかを確かめることです。
①GA Intelligence
結果として先月の収益合計と平均セッション滞在時間が表形式で出されましたが、相関は確認できないので、残念ながらほしい回答から離れています。
②Tableau Ask Data
結果として、散布図（X軸が収益、Y軸がセッション滞在時間の平均値、粒度は日）が作られました。ドットの配置にてなんとなく収益と滞在時間の相関が読めますので、ほしい回答に近いビジュアライズです。
③データ解析士
回答するのに、弊社データ解析士はTableauとほぼ同じ散布図を作りました。
この質問に対して、一番早くてほしいものを作ったのはTableau Ask Dataになりますので、Tableauに1ポイントをあげます。
質問3:デバイス別、訪問数割合のトレンド
＜daily trend of share of sessions by device last month＞
この質問では各デバイスのアクセス実数ではなく、普段ではなかなか出せない割合の変化を確認したいです。
①GA Intelligence
各デバイスの訪問数割合を折れ線で表現されて、割合の変化はとても読みやすいし、変動のパターンも直観的です。
②Tableau Ask Data
結果はなぜか日別、デバイス別のツリーマップになりました。割合的にmobileはdesktop、tabletより多いことは読めますが、日別の変化は読みにくいため、残念ながらほしいものではありません。
③データ解析士
回答するのに、弊社データ解析士は積み上げ面グラフを作成しました。GA Intelligenceの回答に似てますが、割合変化のほか、全体の中の状況が面積で直観的にわかります。
この質問に対して、GA Intelligenceもデータ解析士もほしいものを作ってくれましたが、GAのほうは早かったため、GAに1ポイントをあげます。
対決結果と感想
今回対決で、GA, Tableau, データ解析士にそれぞれ1ポイントがつけられたので、互角の試合となりました。ただ、全体的にGAとTableauの自然言語処理はまだデータを収集して精度を上がる段階だと感じました。一方、回答にかかった時間は、GAとTableauではほとんど時間が変わらなかった（数秒程度）であったのに対して、人間が行う場合はどうしても1分程度の時間がかかってしまいます。
自然言語処理のアルゴリズム
自然言語の処理にて、GA Intelligenceはユーザーが入力した質問からキーワードを取り出して、あらかじめ用意したレポートのキーワードにマッチさせるアルゴリズムのようです。一方、Tableau Ask Dataは質問に対して主要なディメンション、指標などを取り出して都度組み合わせて結果を出しているようです。これは、Googleアナリティクスの場合は、データソースのスキーマが決まっているのに対し、Tableauの場合は様々なスキーマのデータに対して動作するようにする必要があるからと考えます。
その結果、GAがあらかじめ想定していない質問の場合、上記質問2のようにほしい回答と大きく離れる可能性があります。また、Tableauのほうでは質問1と3のようにほしい粒度またはビジュアライズではない組み合わせで回答してくる問題があります。
GA IntelligenceとTableau Ask Dataの使い分け
データ解析の目的によって、GA IntelligenceとTableau Ask Dataの使い分けを推奨します。
GA Intelligenceは下記メリットがあるため、簡単な現状確認したい場合の利用を推奨します。
- 一般的な解析（トレンド、平均値、総計など）に対してあらかじめレポートが用意されています。
- 事前にセットアップの手順が必要なく、管理画面の言語設定を英語に変えたらすぐ利用できます。
一方、Tableau Ask Dataは下記柔軟性を持っているため、高度な分析もしくは深堀におすすめです。
- 複雑な解析（相関関係、分布など)ができます。
- 結果に対してグラフ種類の変更、ディメンション/指標の追加ができます。
- 結果をレポートとしてTableauサーバー上に保存できます。
その他、利用していて気づいた点
また、対決の事前準備でGA Intelligenceにいろいろ質問を投げてみたところ、下記気づきがありました。
- ユーザーが定義したカスタムディメンション名、目標名についても認識してくれます。
※項目名のみ日本語で定義された場合は日本語で入力しても認識できます。質問例：一番訪問数が多いクライアントID
＜クライアントID with highest sessions＞
- Google AdsがGAに連携されている場合、クリック数、コスト数など広告の指標に対しても解釈してくれます。
質問例：一番クリック数が多いキャンペーン
＜Campaign with highest clicks＞
- イベントトラッキングなどで設定した値に対しても解釈してくれます。
質問例：先週Tel-clickイベントの回数
（※Tel-clickはイベントカテゴリに設定した値）
＜Tel-click events last month＞
GA Intelligenceへ投げる質問のサンプルはGA側にて提供されています。詳細は下記GAのドキュメントを参考してください。
https://support.google.com/analytics/answer/7347597
