General / 2008/6/10 火曜日

テストと計画と結果の解釈

Web解析ツールを利用している場合に、そこで得られた数値の解釈は結構難しいんですよね。特に画面のデザインやナビゲーションを判断する場合は気をつける必要があったりします。

今回は珍しく、簡単な例をあげながら少し考えていきたいと思います。

バナー位置のテスト

バナーをページ上部に設定していた場合に、同じリンク先のバナーを下部に設定した方が良いかを検証したいとします。そして、上下両方ともにも設定した方が良い可能性もあるかもしれません。こういった場合はA/B/Cテストを行ってみます。

前提としては、今回のケースはバナーの位置の検証とするため、バナーのクリエイティブは同じものを利用することにします。ここでクリエイティブを変えてしまうと、位置なのか、クリエイティブなのかの判断が出来なくなってしまうからです。

アクセスを振り分けてテストが出来るのであれば、1週間などを決めた上で判断できるので期間についてそれほど意識する必要はないと思います。もし、それが難しいのであれば期間を区切ってパターンを入れ替えてテストを行っていく必要があります。

切り替える場合の期間はサイトによっても設定が難しいのですが、曜日変動が少ないサイトであれば、数が取れれば1～2日でも大丈夫だと思います。曜日変動を排除するには、1週間ずつの切り替えぐらいが妥当かと。

これ以上長くしてしまうと今度は別の変動要素が入りやすくなってしまうので、分析結果を簡単に判断できなくなってしまう可能性があるので長めに取る場合はご注意を。

テストパターンが３つもあると、切り替えて行う場合はかなり時間がかかってしまいます。

このときに時間の短縮を図るためにパターンC だけを行って、よく利用されているバナーの方だけ採用する、もしくは、ある程度使われているのであれば両方を採用するという考えがおきるかもしれません。しかし、それこそが落とし穴です。

ページ上にリンクがある限り、そのリンクのクリックがゼロになることはありません。そして、両方クリックされているからといってユーザビリティが向上されたということは言い切れないからです。

なぜなら、バナーを増やすことでページ内の情報は増えています。つまり、それだけ情報を取捨選択をしにくくさせている可能性もあるわけです。ユーザビリティには「混乱させないこと」も重要な要素だったりします。

もちろん、２つ設定することでユーザビリティの向上が果たせる場合もあるのでこの方法ではどちらとも判断できないわけです。そういった判断のためにも上のケースは３つをきちんと行う必要があるわけです。

結果の判断ですが、この場合は CTR で良いと思います。各パターンの CTR を比較し、最も良いものを採用すれば良いと思います。

このとき、バナーを上下に２つ設定しているパターンC については、２つの合計として CTR を出します。その上でパターンCの CTR が高いのであれば、パターンC を採用ということで良いと思います。

バナーのクリエイティブ内容について比較するのであれば CVR の方が良い場合もありますが、今回のケースでは同じ前提なので CTR で十分に比較が出来ると思います。

何をテストしたいかによって、そのテストの実施方法や結果の見方は変わってきます。ただし、これは結構難しかったりもします。

Web解析ツールは行動の結果しか数字に出て来ません。そして、人はデザインされた以上のことは行わないし、学んでしまう可能性もあるんですよね。

だからこそ、「想像」の部分が出て来てしまうので難しいのだと思います。ということで、ご参考になれば。