Ally広告を修正したあと、申し込みが増えたとしても、広告文の変更だけが理由とは限りません。予算や配信対象、時期も変わっていれば、何が影響したのか判断しにくくなります。
広告のA/Bテストは、比較する条件をそろえ、変更の効果を確かめる方法です。初めて取り組むときは、何を変えるかに加えて、何を成果として判断するかを先に決めておきましょう。
この記事の目次
広告のA/Bテストとは
A/Bテストでは、基準となるA案と、条件を変えたB案を比較します。目的は見た目の好みで選ぶことではなく、広告の改善案をデータで検証することです。
比較する対象には、広告文、画像、リンク先のページ、入札設定などがあります。ただし、複数の要素を同時に変えると、どの変更が結果に影響したのか切り分けにくくなります。
配信前後の数値を見る方法も改善の参考にはなりますが、競合の出稿や季節の違いが混ざります。A/Bテストでは、できるだけ同じ期間に、比較対象以外の条件をそろえる設計が大切です。
広告のA/Bテストは仮説から始める
最初に「誰の、どんな迷いを減らすために、何を変えるのか」を言葉にします。仮説があると、結果が良くても悪くても次の改善につなげやすくなります。
変更する要素を一つに絞る
以下は、架空のオンライン講座の広告を使った例です。受講を検討する人が、学習と仕事を両立できるか不安に感じていると仮定します。
- A案の見出し：初心者向けのオンライン講座
- B案の見出し：仕事のあとに学べるオンライン講座
- そろえる条件：画像、説明文、リンク先、配信対象など
この比較では、見出しで学ぶ時間を具体的に伝えると、申し込みにつながるかを調べます。広告で伝える内容は、実際のサービスと一致させてください。
画像や価格、リンク先まで一度に変更した場合、広告全体の案としての比較はできます。一方、見出しだけの効果を確かめたとは言えません。調べたい問いに合わせて変更範囲を決めましょう。
リンク先とのつながりも確認する
広告で学習時間の柔軟さを伝えても、リンク先に説明がなければ、読者の疑問が残ります。テスト前に、広告の約束とページの内容がつながっているか確認が必要です。
ページ側の見直しは、広告のLP改善で確認したい順序も参考になります。
成果指標・予算・期間を配信前に決める
結果を見てから都合の良い指標を選ぶと、判断がぶれます。広告の目的に沿って主な判断指標を決め、使える予算と確認時期も記録しておきましょう。
申し込みが目的なら広告費・CV数・CPAから見る
まず、広告費とコンバージョン数（CV数）を確認します。CVは申し込みなど、計測対象として決めた成果です。CPAは、広告費をCV数で割った一件あたりの獲得費用を指します。
仮の数値として、A案が広告費3万円・CV数10件ならCPAは3,000円です。B案が広告費3万円・CV数12件ならCPAは2,500円になります。
この例ではB案のCPAが低くなっています。ただし、二件の差だけでB案が常に優れるとは判断できません。データの量やばらつきに加え、申し込みの内容やその後の成約も確認します。
成果を確認したあと、クリック率（CTR）、クリック単価（CPC）、コンバージョン率（CVR）で違いの理由を探ります。CTRが高い広告でも、申し込みにつながらなければ、目的に合う改善とは限りません。
日数だけで終了を決めない
必要な期間は、配信量やCVが発生する頻度によって変わります。「一週間たったから終了」「何件あれば十分」と、一律に決めることは避けましょう。
予算が少ない場合は、候補を増やしすぎず、比較する問いを絞ります。予定期間を終えても判断に必要なデータが集まらなければ、予算の範囲で延長するか、結論を保留するかを検討します。
比較条件をそろえてA/Bテストを実施する
広告を二つ登録するだけでは、比較条件がそろうとは限りません。利用する媒体のテスト機能を確認し、どのように配信を分けるのか把握してから始めます。
Google広告のテスト機能を使う場合
Google広告には、元のキャンペーンとテスト側に予算やトラフィックを配分して比較する機能があります。検索広告の文言の変更には広告バリエーション、入札設定やリンク先などの比較にはカスタムテストといった選択肢があります。
利用できるテストは、キャンペーンの種類や調べたい内容によって異なります。また、配分を50％ずつに設定しても、実際の表示回数やクリック数、広告費が同じになるとは限りません。
通常の配信で複数の広告を並べた結果と、配信を分けて行うテストの結果は区別してください。数値を比べる前に、対象や配信方法を確認しましょう。
途中の変更は記録する
検証中は、比較対象以外の設定をむやみに変えないことが基本です。計測の不具合やリンク切れがあれば対応を優先し、変更日時と内容を残します。
途中で予算やページ内容を大きく変えた場合は、その影響を含めて結果を読みます。当初の条件をそろえた比較が成立しなくなれば、テストを仕切り直す判断も必要です。
A/Bテストの結果を次の改善に生かす
最後は、採用する案だけでなく、分かったことと分からなかったことを整理します。結論が出なかった場合も、条件を記録しておけば次の検証に役立ちます。
媒体が示す結果の確かさも確認し、数値の差があるだけで勝敗を決めないようにします。データ不足や差が明確でない場合は、「優劣を判断できない」と記録して構いません。
- 検証前の仮説と、変更した要素
- 期間、広告費、CV数、CPA
- CTR・CPC・CVRなどから考えた理由
- 途中の変更、計測上の問題、判断の限界
- 採用・継続・保留の判断と、次に調べる問い
例えばB案のCPAが低くても、学習時間の表現が理由だと断定するには注意が必要です。申し込みの内容を確認し、必要に応じて同じ仮説を別の条件でも検証します。
まずは一つの問いから始め、比較条件と判断基準をそろえてみてください。広告文や計測の準備に迷う場合は、Allyのお問い合わせページからご相談いただけます。