A/Bテストが世に広まったのは2008年、オバマ元大統領の献金サイトがキャッチコピーや画像などのA/Bテストをした結果、CVRが実に40.6%も向上。
200億円を集めたことをきっかけに、多くの企業が導入をはじめたマーケティング手法のひとつです。

当然日本の企業も例に漏れず、WebマーケッターにとってA/Bテストはもはや必要不可欠となっているのはご存知の通りです。

しかし、正しい順番でA/Bテストをしている企業が多いかといわれれば、残念なことにまだまだ手法はしっかりと広まっていないようです。

今回は正しいA/Bテストとは何かやメリット・デメリットといった基本的なことから、実践する際のポイント、おすすめのA/Bテストツールをまとめて紹介します。

１、A/Bテストとは

A/Bテストとは、ウェブページについてデザインなどの異なるものを複数パターン作成し、それらを不規則に表示させるようにして、どのパターンがより良い結果（クリック数・申込数など）がでるか検証するテストです。

A/Bテストを繰り返し実施し、結果をもとにした改善を継続することで、ウェブページの品質を向上させ、費用対効果を高めることができます。

２、A/Bテストのメリット・デメリット

ここでは、A/Bテストを行うメリット・デメリットを、それぞれまとめて解説します。

（１）A/Bテストをするメリット

まずメリットとしては、以下2点があげられます。

①サイトの改善が容易にできる

まず、A/Bテストのメリットとしてあげられるのは、ウェブページの改善を比較的簡単に行えることです。既存コンテンツをもとにしたテスト用のコンテンツ生成などが必要ですが、A/Bテストの準備は難しくありませんし、それほど時間もかかりません。

②実施に対するコストが低い

A/Bテストの実施にあたって、高度な専門知識は必要ありません。コストのかかるシステムも不要です。やり方次第では、人件費をかけるだけで実施できます。

（２）A/Bテストをするデメリット

A/Bテストでは、結果的に効果が低いパターンも一定期間運用することになります。そのため、その分だけ一時的にウェブページの成果（クリック数・売上など）が落ちる可能性があります。
ただし専用のツールを用いて、配信比率の変更・調整を実施することにより、成果の落ち込みを最低限に抑えることが可能です。

３、A/Bテストを実際にする際の注意点

それでは、A/Bテストを行う際は、どんな点に気を付けるべきでしょうか。

具体的には、以下の4つがあげられます。

（１）A/Bテストをする目的を明確に持つ

A/Bテストの最終的な目的は、言うまでもなく売上アップなどの成果（コンバージョン率）を向上させることです。

とはいえ、テスト結果をもとにした1つ1つの改善のみで、そのまま直接コンバージョン率向上を実現出来るわけではありません。その改善が劇的な変化をもたらさない限り、一般的にはいくつかの改善を積み重ねることでようやく成果がでるものです。

そのため、A/Bテスト1つ1つについて明確な目的を設定して、テストを実施し結果の分析を行うことが重要となります。
目的が明確でなく手当たり次第にテストをしても、A/Bテストの効果は見込めません。仮にパターンごとの差が大きかったとしても、どういった要因で効果があがり、それをどう改善につなげればいいか見定めにくくなってしまいます。

（２）必ず仮説を立てて実施する

目的を設定したら、その目的とユーザー心理に基づいた仮説を立ててテストを実施することが必要です。

「このパターンは、○○を変更したから△△の改善につながる可能性がある」といった仮説をたてます。

仮説なしに検証を行っても、そのテストの意味を正確につかめないため、かえってコンバージョンを落としてしまう可能性さえあることを覚えておきましょう。

（３）異なる期間でA/Bテストをしない

当然のことですが、A/Bテストで用意した複数のパターンについてそれぞれ異なる期間でテストをしても、正確な分析ができない可能性があります。

例えば、ある飲料のホームページについて、7月にテストしたパターンAでは売上が伸びず、8月にテストしたパターンBで爆発的な売り上げをあげたとしましょう。
一見するとパターンBをもとにした改善をすると効果があるようにみえます。しかし実際には、猛暑などで冷たい飲料の売り上げが伸びただけかもしれません。

期間を変えてテストをしてしまうと、他の要因も混じってしまうため正確な分析を行えないわけです。
必ず全てのパターンでテスト期間をあわせ、それぞれのパターンのウェブページをランダムに表示させてA/Bテストを実施するようにしましょう。

（４）A/BテストはAとBの２パターンだけなんて決まりはない！

A/Bテストでは、一般的にある1つの特定の要素のみを変えたA・B2つのパターンを用意して行います。
一方で、複数の要素を変更したパターンの組み合わせを2つ以上用意しテストを行う場合もあります。
どの組み合わせパターンが最も効果が高いか、テストするのが目的です。

この方法では、1度に複数の要素の検証が行える上に、要素同士がどう影響しあい成果をだせるかの検証も行うことができます。
このようなテストのことをA/Bテストではなく、「多変量テスト」と呼ぶことも多いです。

例えば、ある化粧品のランディングページについて、掲載する体験談の量とサイトの色を変えた複数の組み合わせパターンを用意してテストを行います。これが多変量テストです。
体験談の量・色という2つの要素と、その組み合わせに関するテストを同時に行うことができます。

その結果、あるパターンの成果が最もよかったとします。
ただこの段階では、体験談の量・サイトの色のどちらの効果があったのか特定できません。

そこで、次にその結果をもとにして、体験談の量・色どちらか一方ずつだけを変更した2つのパターンを用意して改めてテストを行います。
これで、例えばサイトの色を変えた方の結果がよかったとしたら、改善すべきポイントを特定することが可能です。

４、既存サイトのA/Bテストはどうやって進めていくべきか？

次に、A/Bテストを進める上でおさえておくべきポイントを、3つまとめて紹介します。

（１）A/Bテストはどのタイミングですべき？

A/Bテストは適切なタイミングで行い、その効果を最大限に活かしたいものです。具体的には、以下にあげる3つのタイミングで行うことをおすすめします。

・思うようにアクセスが伸びず、ウェブページに改善すべき課題があると考えているタイミング
・ランディングページから商品購入ページなどへ遷移せずに離脱してしまう率が高いと判断されたタイミング
・ホームページのファーストビューに画像やボタン、コピーなど不空の要素が混在しており、どれが最も効果的か分からないと感じたタイミング

こういったタイミングでA/Bテストを行うことにより、より高い効果を期待することができます。

（２）A/Bテストをすべき場所はどこ？

A/Bテストで迷うことが多いのは、何をテストすべきか、ウェブサイトのどの場所をテストすべきか決めることです。
実際、A/Bテストを行っている方の中には、この点で迷う方が多いようです。

基本的には、改善する余地があると少しでも感じる場所であれば、どこでもA/Bテストを行う価値がありますが、結果が出やすく分かりやすいのはユーザーの行動を喚起する場所です。
ウェブサイトの目的は、ユーザーから商品の購入・ダウンロードなどの行為を引き出すことにあります。
そのため、その行為を引き出す場所をピンポイントで狙ってテストを行えば、改善の効果が出やすく、かつ分かりやすいでしょう。

具体的には、以下のような例があげられます。

・ウェブサイトに掲載したメールマガジン登録へのリンクを、目立つボタン形式にするか、サイトのデザインに溶け込むようなテキストのリンクにするか
・ランディングページから直接商品購入を促す場合に、そのリンクの文言を「今すぐ購入」にするか「カートへ追加」にするか
・そのページのCTAボタンの数や、サイズ、色、設置個所はどうすればよいか

（３）実施する目安は期間かCVか？

A/Bテストを実施するにあたって「1つのテストをどのくらいの期間行えばよいか」悩む方も多いようです。しかし結論から言うと、どのくらいの期間が必要になるのか目安をつけることはできません。

A/Bテストは、あるサンプル数に対してそれぞれのパターンの間で明らかなCVの差が生じることで結果を出すことができます。
例えばそのホームページの最終目的が資料請求の数だとして、いずれも1,000 UUずつ稼いだ上で、ページAの資料請求が5回、ページBが1回のみだったとします。
このときページAの方に施した内容（デザインなど）の方が適切と結果を出せるわけです。

仮に、このような明らかな差が生じない場合は、サンプル数を増やすことによって結論を出すことになります。
たとえば1,000UUで差が出なかった場合に、3,000UUずつ発生するまでテストを続けたとします。このとき、ページAの資料請求が7回、ページBが5回であれば、資料請求の数自体の差は少ないもののCVに直せば1,000UUのときより大きな差となり、それがA/Bテストの結果と考えることができるわけです。

UU数を集めるのに、テスト期間が長くなることもあり得ます。

５、A/BテストをするためのA/Bテストツール３選

A/Bテストツールは、A/Bテストを行うにあたって表示させるテストページへのアクセスを均等に振り分ける機能を提供します。

ここでは、A/Bテストをするにあたっておすすめしたい専用ツールを3つ厳選して紹介します。それぞれ一長一短があるので、まずは以下比較表で主な違いをまとめて比較します。各ツールの詳細は、その下の紹介で確認ください。

（１）Google オプティマイズ

Googleが提供する「Googleオプティマイズ360」の無償版です。
無料ではあるものの、A/Bテスト・多変量テストが一通り行えたり、Googleアナリティクスと連携できたりなど機能性は十分です。
Googleアナリティクスを普段から利用しているユーザーであれば、直感的に操作できるでしょう。

（２）Optimizely（オプティマイズリー）

世界的なシェアではトップを誇るA/Bテストツールです。
世界をはじめ、日本でも名だたる企業が利用しています。操作が非常に簡単な上に、このツールを利用すればデザイナーでなくてもウェブサイトの編集が可能です。手間もかかりません。

またウェブサイトだけでなく、ネイティブアプリでも利用できるのが注目すべきポイントです。両方を運用している管理者にとっては、Optimizely1つで管理ができて非常に便利です。

（３）VWO（Visual Website Optimizer）

Optimizelyの比較対象となることが多いA/Bテストツールで、こちらも世界中で利用実績があります。
テストできるドメイン数やサブアカウント数などに制限がありません。大規模なウェブサイトを運営する際に、特に適したツールと言えます。
このツールを利用することでページの読み込み速度が落ちない、という点を売りにしています。他ツールを使って、表示速度に不満がある場合は、VWOを試してみても良いでしょう。

まとめ

A/Bテストを行う際に重要なのは、まずゴールを明確にして、シンプルな仮説を立ててのぞむことです。これらをせずに無暗にA/Bテストを行っても、CVを落としてしまうこともあるので気を付けましょう。

またしっかりと計測した上で、仮説とあわせて分析・比較をすることで正しい結果や改善へと導くことが可能です。計測する期間は、テストするページで変えずにタイミングをあわせることはもちろんのこと、曜日・時間などを決めて計測することがおすすめです。

また、どんな場所の何をテストするとよいか（ダメか）は決めつけたりせずに、少しでも改善の余地があると思えばテストしてみることをおすすめします。