第三个需要考虑的因素是时间窗口。
你通常什么时候打开电子邮件?你的答案可能是:视情况而定。
你可能在线,看到邮件进来,并在5分钟内点击。或者你可能在邮件发送2小时后才第一次看到它。或者,也许主题栏不够吸引你,你没有打开邮件。
这些都是真实的场景,这就是为什么在运行A/B测试时应该有足够的时间窗口。
虽然你可以在发送后2小时内发送标题和打开内容等变量,但如果你要衡量点击量,你可能需要等待更长的时间。当你在活跃订阅用户上测试你的通讯时,你可以缩短等待时间。
研究表明,等2个小时,测试的准确率会在80%左右。时间越长,你的结果就越准确。要达到99%的准确率,最好要等上一整天。
要知道,等待的时间并不总是越长越好。有些通讯是时间敏感的,应该尽快发送。在其他情况下,等待太久会导致获奖邮件在周末发送。工作日与周六或周日对你的电子邮件统计数据有很大的不同(如果你想知道什么时候是周末,可以看看这篇文章发送电子邮件的最佳时间).
在定义正确的发送时间优化时,主要规则是:每个业务都是不同的,因此必须监控您的指标并继续测试。
第四个因素是交货时间。
请记住,一旦测试周期结束,获奖邮件将自动发送。由于这一群体可能包含了最多的订阅者,所以安排电子邮件自动化来联系这些人是个好主意。
假设你在20%的订阅者身上测试2个主题行(每组包含10%)。您希望获奖的时事通讯在上午10点到达人们的收件箱,并且您希望测试2小时的开放率。
这意味着你必须在上午8点开始测试,所以你的A/B测试可以运行2个小时,然后获胜的变体在上午10点发送出去。
最后,第五个因素是每次只测试一个变量。
假设你同时发送两封电子邮件。内容和发件人的名称相同。唯一不同的是主题行。几个小时后,您会发现版本a的打开率要高得多。
当你一次只测试一件事情,并且你看到你正在分析的指标有明显的差异时,你可以得出准确的结论。但是,如果您也更改了发件人的姓名,那么就不可能得出主题行造成了所有差异的结论。