App Store排名波动:多少日常变动是正常的?
关键词移动一个位置并不自动意味着趋势。我们检查了47个可比较的排名变化,以建立一个早期基线,了解在你能解释之前有多少移动。
排名追踪会制造出大量危险的表面精度。图表显示一个应用从第二掉到第三,线条变红,自然的结论就是出了问题。但位置是一个不断变化的市场输出:竞争对手更新、客户行为改变、评分累积,商店也在不断演进其搜索系统。一次读数无法告诉你哪个输入起了作用。
因此有用的问题不是 “did the number change?” 而是 “is this movement larger or more persistent than the ordinary variation in the series?” 基线是将排名提醒从噪音变成证据的关键。
我们测量了什么
我们使用了 AsoTheory 的第一个可用重复排名队列:11 个应用-关键词序列,在美国至少有四次排名观测。该队列包含 58 次读数和 47 对相邻观测值,其中两个观测值都有数值排名。它涵盖了 Calm、Duolingo、Cal AI 和 IP Tools 在 iOS 和 Android 上的列表,关键词包括 “meditation,” “sleep sounds,” “learn spanish,” “language learning,” “calorie,” “ip scanner” 和 “scan ip.”
我们计算了每对相邻观测值之间的绝对变化。从第一到第三和从第三到第一都算作两位,因为第一轮测量的是幅度而不是方向。未排名的观测值被排除,而不是转换为虚构的位置。
各个序列的情况
有几个序列在五次观测中完全持平:Duolingo 在两个商店的 “learn spanish” 上都保持第一;iOS 列表在 “language learning” 上保持第一;Calm 在 iOS 上保持第五 “sleep sounds”,在 Android 上保持第六 “meditation”。这种稳定性很重要,因为它表明当结果保持不变时,重复测量并不会制造变动。
变动的序列幅度不大。Calm 在 Android 上对 “sleep sounds” 的排名在第六和第七之间交替。Duolingo 在 Android 上对 “language learning” 的排名从第一到第二再回到第一。IP Tools 对 “ip scanner,” 从第二到第一再到第三,产生了队列中唯一的两位转换。
为什么你的列表没有变化时排名会变动
Apple 表示搜索排名会使用文本相关性——包括标题、副标题、关键词和主要类别——以及用户行为,例如下载量、评分和评论。Apple 还表示该系统会持续演进。Google 描述了一个类似的上下文系统,基于查询相关性、元数据、应用质量以及用户对结果的响应。两家公司都没有公布确定性的公式。
这意味着未更改的列表并不是未更改的实验。另一个应用可以更改其元数据。新评分可以改变客户行为。一次发布可以改善或损害质量信号。搜索该关键词的人群也可能改变。一位变动是一个观测结果,而不是诊断。
实用的提醒规则
这个基线证明了什么——以及没有证明什么
这证明早期跟踪的队列大部分是稳定的,并且一位的反转在没有足够证据归因的情况下发生。它并不能证明一位总是噪音、前十名结果普遍稳定,或者更大的变动是由元数据引起的。这些需要更广泛的面板和明确的前后对比窗口。
本研究的下一版本将按平台、国家、排名深度和类别对变动进行细分。这就是每天收集而不是在看起来有趣时截图的意义:基线必须在意外出现之前就存在。