テストの文化を作ることに思う。

いくつかの方法を検証して、良いものを選択していく。これが最適化のプロセスです。

このコアとなるのが、テストです。テストを行っていくことって最適化プロセスをドライブさせるものだったりします。

しかし、テストの文化ってなかなか企業に根付きにくいんですよね。ということでこのテスト文化について感じる雑感など。

何故テストか？

Avinash Kaushikの Web Analytics 2.0 でもCreating Nurturing a Test Cultureという項目があるぐらいで、＜テストをする文化＞根付かせるのは難しいのは、良く起きる課題の１つだったりします。

しかしながら、Webで最適化を推進するにあたり、テストの概念ははずせないとも言えます。「その数学が戦略を決める」でも力強く書かれている部分でもあるのですが、Webはとくかくテストがしやすいプラットフォームなんですよね。

道沿いにあるような看板でテストをするとなると、同じ条件で、違う内容の広告はテストしにくいですし、結果の評価も街頭インタビューとかになってしまうわけです。

また、リアルで少し精度の高いテストを行うとなるとダイレクトメールとかになってくるわけですが、それでもやっぱり手間がかかってしまう。

ということで、ランダムにその人だけに表示している内容を変えることが出き、クリエイティブのコストも比較的安いウェブは、テストを行う土壌としては最適なわけです。

テストをすること自体の壁

さて、テストの文化を作っていくにあたり、まず、最初の壁が「テストすること自体」の壁だったりするわけです。

対マーケティング部門

よく成功体験ということが言われるのですが、これも１つ重要な要素で自社のサイト内でテストでの成功体験をしていただくことは非常に重要です。

しかしながら、そのテスト結果をシェアしたとしてもそれだけで文化できるほど簡単じゃなかったりするんですよね。テストは顕著に差を出してしまうこともあるわけで、まぁ、その方がテスト的には価値があるんですけどね。

ただ、そういった数字で示されれてしまうと、マーケティング部門、それはそれで自分の感性に近いところで行っていた方には、やっぱり受け入れがたい部分もあるんですよね。

自分が信じていた感覚を数字で否定されてしまうわけですね。特に長くマーケティングを行われている方に多い気がするので、そのうち変わってくるとは思いますが。

対制作部門

マーケティング側だけでなく、制作側から見てもやっぱりテストという文化に壁は存在しているような気がしています。

これは制作が関わる場合のほとんどがローンチまでであり、運用時も含めて細かく関わることが少ないということが大きい気がしていて、ちょっときつめの言葉を使うと「作りっぱなし」なんですよね。

精度をあげるためにユーザビリティやIAとかも勉強しているはずなのにもったいない限り。IAと言えば、コンセントの長谷川さんなどに聞くと、本来はフィードバックというプロセスがあるそうなのですが、普段そういう事が語られることが少ないようです。

IAも最初の組み立ては仮説ベースで組み立てを行っているわけなので、それが完全に正しいなんてわからないわけです。

なので、本来は正しいかどうかの検証をテストを通して行い、修正していくことも必要だと思っています。あえて言おうペルソナは仮説であると。

テスト案で息切れの壁

さて、ここまでがテストをそもそも行うという部分にフォーカスしたのですが、テストを行う文化になってくると２つ目の壁が立ちはだかるような気がしています。

それがテスト案を考える中で息切れをしてしまうケースだったりします。ランディングページでテストをして、そのテスト内容は「パターンAとパターンBの比較」というのを行ったりするわけですが、こういったテストを繰り返しているとパターン出しに息切れしちゃうんですよね。

これは＜仮説＞が置き去りでテストを実施してしまっているパターンで、頭を悩ませながらUIのパターンなどを創りだしてテストしていく方法です。

それ自体は良い結果を生み出す場合もあるので、パッと思いついたアイデアでテストも実施することは重要です。ただ、あくまでパッと思いついた場合のみで、これを恒常的に実施するのはかなり辛いです。

仮説ベースのものとは、例えば「ここのページはセグメントAの訪問が中心であり、それらのニーズは甲と乙が考えられるので、ニーズの特定のためにパターンAとBのテストを実施する。」といったものです。

こうなると次のテストが非常に組み立て易いんですよね。「テストの結果、ニーズ甲を想定していたパターンAが良かったので、ニーズ甲の興味をさらにアップするために〜〜についてさらにテストします。」

といったように、仮説のどちらが採用されたかで、仮説のステップが１つ進み、次のテストの設計が非常にしやすくなるわけです。

まとめ

ということで、テストの文化を作っていくことに関して、感じている壁についてパッと書きだしてみました。

通常のクリエイティブだと、最初に作ったものが最終型なわけですが、Webでのテストを繰り返しながらの最適化は必ずしもそうでもなかったりします。

仮説の検証を繰り返しながら、より先良いものを作りだすために結果を意識した完成形ではない一時的なページを作って、その後、最終版に落としこむといった方法も選択できたりします。

これがリアルだけではない、Webの最適化の本当に面白いところなんですよね。だから好きなんです。