多変量テストとA/Bテストの比較（クイックスタートガイド）
従来の広告（マッドメンを思い浮かべてほしい）は、スローガンやキャッチフレーズ、そして世界を変えるような一発芸を思いつくことがすべてでした。
しかし、この種の広告はテストするのが非常に難しく、うまくいったかどうかを知るのは難しかったです。ほとんどの場合、自分たちの広告が効果的かどうかは誰にもわからなかったです。
現代のマーケティング、すなわちデータ主導型広告の世界に足を踏み入れましょう。
インターネットとMatomoのようなウェブ解析ツールのおかげで、ほとんど何でもすぐにテストし、サイトを改善することができます。
問題は、多変量テストを行うべきか、A/Bテストを行うべきか、ということです。
どちらにも利点がありますが、それぞれ特定のユースケースがあります。
このガイドでは、多変量テストとA/Bテストの違いを説明し、それぞれの長所と短所を挙げ、いくつかの例を紹介します。
A/Bテストとは？
A/Bテスト、またはスプリットテストとは、媒体内の個々の要素を、同じ要素の別のバージョンとテストし、どちらがより良い結果をもたらすかを確認することです。
A/Bテストは、ウェブサイト、ランディングページ、Eメール、広告など、2つの異なるバージョンのデジタルランドマークを作成して実施します。
目的は？どちらのバージョンがより良いパフォーマンスを発揮するかを把握することです。
例えば、主力商品のページでより多くの売上を上げたいとします。
2つのコールトゥアクションボタンをテストします： “今すぐ購入 “と “カートに入れる “です。
2週間テストを行った結果、”今すぐ購入 “は1.2%のコンバージョンを獲得し、”カートに入れる “は7.6%のコンバージョンを獲得しました。
このシナリオでは、あなたは勝者を見つけました：バージョンB、”カートに入れる”。
A/Bテストを定期的に実施することで、サイトを最適化し、エンゲージメントを高め、より多くの訪問者を顧客に変えることができます。
A/Bテストは完璧ではなく、常に勝利をもたらすわけではないことを覚えておいてほしいです。
AppSumoの創設者であるノア・ケイガンによると、同社が実施したA/Bテストのうち、大きな変化をもたらしたのは8回中1回だけだといいます。
A/Bテストの利点
A/Bテストは、マーケティング活動の特定の要素について正確な結果を迅速に得る必要がある場合に最適です。
ランディングページであれ、製品ページであれ、多くのトラフィックを必要とせずに素早く結果を得ることができます。
A/Bテストは、マーケティング担当者やビジネスオーナーに最も広く受け入れられ、使用されているテスト手法の1つです。
テストに使用する追跡変数の数を制限すれば、信頼できるデータを迅速に提供することができ、必要に応じて迅速に反復し、ピボットすることができます。
これは、あなたのマーケティング方法をテストするための素晴らしい方法です。
1日のトラフィックが少ない場合、（多変量テストのように）トラフィックをいくつかのセグメントに分けることは、正確な結果を得るために非常に難しいでしょう。
A/Bテストの最後の利点は、実施するのが簡単なので、チーム、意思決定者、利害関係者にテストと最適化を導入するのが比較的簡単な方法だということです。簡単な変更と具体的な証拠で、素早く価値を実証することができます。
A/Bテストのデメリット
では、A/Bテストのデメリットは何でしょうか？
A/Bテストは小さな変更で素早く結果を出すことができますが、限界があります。
A/Bテストは、ある要素を別の要素に対して測定することがすべてです。
つまり、テストできる要素の数がすぐに制限されてしまうのです。異なる変数をテストする必要がある場合、A/Bテストは最適な選択肢ではありません。
ウェブページ上で異なる要素の組み合わせが互いにどのように影響し合うかについての具体的な情報が必要な場合は、多変量解析が最適です。
多変量テストとは？
テストを次のレベルに進めたいのであれば、多変量テストを試してみることをお勧めします。
多変量テストは、A/Bテストと同じ基礎的なメカニズムに依存していますが、2つの要素を互いにマッチさせる代わりに、一度に多くの変数を比較します。
複数＋バリエーション＝多変量。
多変量テストでは、要素や変数の組み合わせがどのように相互作用するかを見ます。
A/Bテストのように、ページへのトラフィックは異なるウェブページのバージョン間で分割されます。多変量テストの目的は、各バージョンの他のバージョンに対する効果を測定することです。
最終的には、勝利の組み合わせを見つけることなのです。
多変量テストを使用するタイミング
多変量テストを使用するタイミングについての簡単な答えは、十分なトラフィックがある場合です。
しかし、どのくらいのトラフィックがあるのでしょうか？
決まった数字はありませんが、各バリアントが合理的な期間内に意味のある結果を出すのに十分なトラフィックを受け取るようにするためには、月に10,000人以上の訪問者を持つことを目指すべきです。
トラフィックの要件を満たしたら、使用例について話しましょう。
新しいメール登録を導入したいとしましょう。
でも、ゼロから作りたいし、何がオーディエンスにアクションを起こさせるのかわかりません。
そこで、登録フォーム、ヘッダー、画像を含むページを作成します。
多変量テストを実行するには、2つの長さの申し込みフォーム、4つの見出し、2つの画像を作成します。
次に、これらの16の組み合わせの間でトラフィックを分割するテストを作成します。
多変量テストの利点
十分なトラフィックがある場合、多変量テストは、ウェブページの何十もの組み合わせをテストすることで、A/Bテストをスピードアップできる素晴らしい方法です。
これは、新しいランディングページを作成し、デザインの特定の部分が勝者であるかどうかを判断したい場合に便利です。
多変量テストのデメリット
多変量テストの主な欠点は、始めるには多くのトラフィックが必要なことです。
多変量解析をしようとしても、トラフィックが少なければ、結果は正確ではありません（正確なデータを見るには長い時間がかかります）。
さらに、多変量テストはより複雑です。より多くの可動部分が作用するため、上級マーケターに最適です。
多変量テストとA/Bテストの主な違い
A/Bテストと多変量テストがどのようなものかを説明したところで、どちらが最適かを明確にするために、いくつかの主な違いを見てみましょう。
1. 組み合わせのバリエーション
A/Bテストと多変量テストの大きな違いは、組み合わせの数です。
A/Bテストでは、1つの要素だけを見ます（組み合わせはありません）。単純にページの一部分（つまりヘッドラインコピー）を取り出し、2つのバージョンを作ります。
多変量テストでは、異なる要素（見出しコピー、フォームの長さ、画像など）の組み合わせを調べます。
2. テストするページ数
次の違いは、テストするページ数にあります。
A/Bテストでは、ウェブサイトのトラフィックを2つの異なるページに分けます： AとBです。
しかし、多変量テストでは、4〜16の異なるテストページを用意することになるでしょう。
これは、一度に一握りの要素をテストし始めると、何十通りもの組み合わせができるためです。
例えば、2つの見出し、2つのフォームボタン、2つの画像を登録フォームでテストしたい場合、いくつかの組み合わせがあります：
- 見出しA、ボタンA、画像A
- 見出しA、ボタンA、画像B
- 見出しA、ボタンB、画像A
- 見出しA、ボタンB、画像B
- 見出しB、ボタンA、画像A
- 見出しB、ボタンA、画像B
- 見出しB、ボタンB、画像A
- 見出しB、ボタンB、画像B
このシナリオでは、トラフィックを送る8つのページを作成しなければなりません。
3. トラフィック要件
The next major difference between the two testing types is the traffic requirements.
2つのテストタイプの次の大きな違いは、必要なトラフィックです。
A/Bテストでは、多くのトラフィックは全く必要ありません。
テストするのは2つのページだけなので、トラフィックを2つのタイプの半分に分けることができます。
しかし、多変量テストを実施する予定であれば、少なくとも4つ以上の方法でトラフィックを分割することになるでしょう。
つまり、テストから正確なデータを得るためには、かなり多くのトラフィックが流入する必要があります。トラフィックが少なすぎるときにこれを行おうとすると、十分なサンプルサイズが得られません。
4. 時間要件
次は、トラフィックと同じように、時間の要件もあります。
A/Bテストでは、（1つの要素をテストしながら）2つのバージョンのページを互いにテストするだけです。つまり、多変量テストよりも早く、正確な結果を得ることができます。
しかし、多変量テストでは、数週間待つ必要があるかもしれません。これは、トラフィックを4、8、12、またはそれ以上のウェブページのバリエーションで分割するためです。正確性を期すには十分なサンプル数が必要なため、数ヶ月かかることもあります。
5. 大きな変化と小さな変化
A/Bテストと多変量テストのもう一つの違いは、変更の大きさです。
A/Bテストでは、ページの1つの要素に注目します。つまり、その要素を勝利バージョンに変更しても、デザインを大きく見直すことにはなりません。
しかし、多変量テストでは、勝利の組み合わせがコントロールページと大きく異なることがわかるかもしれません。
6. 結果の正確さ
A/Bテストは、ページ上の1つの要素の2つのバージョンを見るだけなので、多変量テストよりも解読が簡単です。
1つのヘッドラインが5%のコンバージョン率をもたらし、もう1つのヘッドラインが1.2%のコンバージョン率をもたらすなら、明確な勝者がいます。
しかし、多変量テストはページの非常に多くの組み合わせを見るので、何が針を動かしているのかを解読するのは少し難しいかもしれません。
長所と短所：多変量テストとA/Bテストの比較
テスト方法を選ぶ前に、簡単な長所と短所を見てみましょう。
A/Bテストの長所と短所
A/Bテストの長所と短所をご紹介します：
長所
- 結果が早く出ます
- 結果を解釈しやすいです
- 必要なトラフィックが少ないです
- 簡単に始められます
短所
- 適切なテスト要素に集中する必要があります
- ウェブページを最適化するために、テストにテストを重ねる必要があります
多変量テストの長所と短所
多変量テストの長所と短所を紹介しましょう：
長所
- ウェブページ全体のデザインを変更する際に便利です
- 一度に複数の変数をテストできます
- 一度に複数の変数をテストできます
- 一度に複数のデータインサイトが得られます
短所
- かなりのトラフィックが必要です
- 結果を正確に読み取るのが難しいです
- 始めるのが困難です（上級者向け）
Matomoを使ってサイトのテストと改善を始めましょう
画像
より多くのリードを獲得し、より多くのコンバージョンを獲得し、ビジネスを成長させたいのであれば、ウェブサイトを最適化する必要があります。
A/Bテストや多変量テストは、ウェブサイトを改善し、より良いユーザーエクスペリエンスを実現するために活用できる、実績のあるテスト手法です。
あなたは今、どちらかのテスト方法を好むかもしれません。
重要なのは、あなたがテストを始めているということです。世界最高のマーケティング担当者やアナリストは、テストを通じて何が効果的かを見つけ、勝利の戦術を倍増させます。
テストによるウェブサイトの改善を今すぐ始めたい方は、Matomoを無料でご利用ください。
Matomoを使えば、A/Bテストや多変量テストを簡単、正確、かつ倫理的に実施することができます。他のウェブ解析ツールとは異なり、Matomoはプライバシーを優先し次のようなサービスを提供しています。、
100％正確なデータをサンプリングなしで提供し、クッキーの同意の必要性を排除します。
バナーも必要ありません（イギリスとドイツを除く）。
Matomoを21日間無料でお試しください。クレジットカードは必要ありません。