General / 2011/12/14 水曜日

テストの奥行き

ウェブサイトでテストを行う場合、通常はAとBの比較をしてどちらが良いかを決めていくといったのが良くやるやり方かと思います。

ボタンのデザインはどちらが良いだろうか？文言の位置はどこが良いのだろうか？…　これはこれで効果が出る場合も多くあります。でも、これだけでテストをしていると言ってしまうと半分以上損をしているかもしれません。

仮説からきちんと組み立てながらテストをきちんと設計することで、より戦略的にその次のアプローチをテストを利用しながら組み立てていくことが出来るようになります。今回はそんなテストの奥行きについて少し触れてみたいと思います。

次のアクションのために

全てにおいてテストは連続的に出来るわけではありませんが、多くの場合、きちんと設定することでテストの次のアクションまで想定することが出来るようになります。とあるページの改善についてどう考えていくかという事を具体的に触れていきたいと思います。

Web解析ツールを利用した分析を行った結果、「Aというページにはコンバージョンへの貢献率が高いがトラフィックが少ない。もしかしたら、ページAのトラフィックを増やすことでさらにコンバージョンを増やすことが出来るかもしれない」という仮説がたったとします。

しかし、これと同時に「ページAは単に特定のニーズが発生したセグメントだけが利用しているだけで、必ずしもトラフィックを増やしたところでコンバージョンは増えないかもしれない。場合によっては全体として減ってしまうかもしれない」という疑問も沸き上がります。

こういう時にはテストの出番なわけです。まさにこういった疑問を解消するために利用するわけですよ。そして、より戦略的に実施するためにはまず、ちょっと強引なテストをしてツールA自体の効果を測れるようにします。

このような場合、テストを行うことで、その後の方針を決めることが可能です。最初にページAの全セグメントへの効果テストを行います。このテストによりページAは特定のセグメントのみに効果があるものなのか、そうではないかが判断出来るようになります。

もしページAのトラフィック自体を増やすことで、ページAのポテンシャルを効果的に発揮できる（ページAを使ったセグメントとそうではないセグメントでテスト結果を比較した時にページAを参照しているセグメントの方が効果が高かった場合）、その後はページAの誘導に力を入れる判断が出来ます。

逆にページAの利用がやはり特定のセグメントのみに効果がある（ページAの利用とそうではないセグメントとで利用者の方に効果が出なかった）場合、そのページの利用率しだいですが、ここには手を付けずに他の箇所を行うか、ページ自体の改修などを検討することになります。

解析ツールで得られた数字をベースに改善策を検討する場合、そこには何かしらの仮説、戦略が必要になってきます。テスト設計をうまく行うことで、テストには奥行きを設定することが可能性になります。

上記のご紹介した例を最も効率的に利用した例として、ランディングページを利用してコンテンツのニーズを探る検証・テストを数回繰り返し、ある程度効果的な要素が決まったところで、TOPページのリニューアルにも反映させ見事全体のコンバージョンのリフトにつながった例もあります。

TOPページのリニューアルなどでは、担当者の方にとってはリニューアルをすることでコンバージョンが下がるかもしれないというリスクがあり、それは同時に怖さでもあります。テストをうまく利用してリスクを取り除くことで、このリスクを最小限に抑えていくことが出来るようにもなります。

改善策を検討する際は、テストの奥行きについても意識をしておくことで、より効率的なリソース投下も出来るようになると思いますので、意識をしていただけると良いのではないかなぁと思います。