実験

概要

実験は、セグメンテーションにおけるオプション機能であり、ユーザーがセグメンテーションシステムのさまざまな部分のパフォーマンスをテストできるようにするものです。実験は、名前とターゲット設定アクションのリストのみで構成されます。

実験上のアクションリストとセグメント上のアクションリストの主な違いは、実験ではセグメンテーション中にリストから1つのアクションのみが選択され、トリガーされる点です。

ターゲット設定アクション

実験は任意数のアクションを持つことができますが、この機能を最大限に活用するには、実験に複数の有効なアクションを含める必要があります。セグメンテーション時に有効なアクションがない実験は無視されます。

図1：実験上のアクション

実験がセグメントの一部としてトリガーされると、システムは使用するアクションの1つを選択します。選択プロセスは、各有効なアクションが均等な回数使用されるように設計されたラウンドロビンシステムに基づいています。1つのセッション中に実験が複数回トリガーされた場合でも、システムは実験が最初にトリガーされたときに選択したのと同じアクションを使用し続けます。

実験に設定されたアクション間の関係については、何の要件もありません。それらは属性を共有したり、何らかの形で関連している必要はありません。しかし、そうすることが有利である場合がよくあります。詳細については、以下の実験戦略を参照してください。

実験戦略

上記のとおり、実験には特定のあらゆる設定を持つ任意数のアクションを添付できます。しかし、実験を使用する理想的な方法は、アクションの特定の側面を分離してテストすることです。これは、1つの設定を除いて完全に同じである2つ以上のアクションを作成することで行われます。変更された設定はテストする変数と見なされ、他のすべては定数となります。アクション上のどの設定も変数として使用できますが、最も一般的なのはウィジェット、バリアント、オファーです。

以下に、一般的なテスト戦略のいくつかについて説明します。以下のセクションでは、2つの有効なアクションを持つ実験があるものとします。とはいえ、これらの戦略は3つ以上のアクションを持つ実験にも適用されます。

パフォーマンス関連のデータはすべてインサイトで利用可能であることを忘れないでください。

ウィジェットテスト

ウィジェットテストは、あるアクションが「ウィジェットA」を参照し、別のアクションが「ウィジェットB」を参照する場合に発生します。理想的には、ウィジェットをテストするには、両方のアクションで他のすべてを同一に保つ必要がありますが、多くの場合そうではありません。これは、ウィジェットを変更すると、アクションの残りの部分で利用可能なオプションに大きな影響を与える可能性があるためです。たとえば、「ウィジェットB」がオファーをサポートしない場合、そのアクションにはオファーを添付できませんが、おそらく「ウィジェットA」はアクションにオファーを許可するでしょう。

それにもかかわらず、2つの異なるウィジェットを含む状況はウィジェットテストを構成します。ウィジェットテストは、どのウィジェットが最も多くのクリックを誘導し、最大の収益をもたらすかを判断するのに役立ちます。

図2：ウィジェットテストの例

バリアントテスト

バリアントテストは、あるアクションが「バリアントA」を参照し、別のアクションが「バリアントB」を参照する場合に発生します。ウィジェットとは異なり、アクションにバリアントを設定しても、アクションの残りの部分で利用可能な設定に影響はありません。これは、2つのアクションがバリアントを除いて完全に同一であることは十分に可能であり、推奨されることを意味します。また、定義されたバリアントの代わりに、1つのアクションがデフォルトバリアントを使用することも許容されます。

バリアントテストは、特定のウィジェット内のバリアントのパフォーマンスを判断するために使用できます。たとえば、より明るい色のウィジェットの背景は、より多くのクリックにつながる可能性があります。バリアントテストは、これを決定する優れた方法となるでしょう。

図3：バリアントテストの例

オファーテスト

オファーテストは、あるアクションが「オファーA」を参照し、別のアクションが「オファーB」を参照する場合に発生します。バリアントと同様に、選択されたオファーは、アクションの残りの利用可能な設定に影響を与えるべきではありません。これは、2つのアクションがアクティブなオファーを除いて同一であるべきであることを意味します。もちろん、オファーテストは、アクションがオファーをサポートするウィジェットを参照している場合にのみ利用可能です。

オファーテストは、おそらく実験テストの最も一般的な形式であり、どのオファーが最も多くのウィジェットクリックまたはオファーコードの使用を生成するかを確認する簡単な方法です。

図4：オファーテストの例