App Store 排名波動:每日變動多少算正常?
關鍵字移動一位並不一定代表趨勢。我們檢查了 47 個可比較的排名轉變,以建立早期基線,了解在你能解釋之前會出現多少變動。
排名追蹤製造了危險的明顯精確度。圖表顯示應用程式從第二掉到第三,線條變紅,自然的結論是出了問題。但位置是變動市場的輸出:競爭對手更新、顧客行為改變、評分累積,商店持續演進其搜尋系統。單一讀數無法告訴你哪個輸入造成了影響。
因此有用的問題不是 “did the number change?” 而是 “is this movement larger or more persistent than the ordinary variation in the series?” 基準線是將排名警示從雜訊轉化為證據的關鍵。
我們測量了什麼
我們使用了 AsoTheory 第一個可用的重複排名同類群組:11 個應用程式-關鍵字序列,在美國至少有四次排名觀測。該同類群組包含 58 次讀數和 47 對相鄰觀測值,其中兩個觀測值都有數值排名。它涵蓋了 Calm、Duolingo、Cal AI 和 IP Tools 的 iOS 和 Android 列表,關鍵字包括 “meditation,”、“sleep sounds,”、“learn spanish,”、“language learning,”、“calorie,”、“ip scanner” 和 “scan ip.”。
我們計算了每對相鄰觀測值之間的絕對變動。從第一到第三和從第三到第一都算作兩名,因為這第一階段測量的是幅度,不是方向。未排名的觀測值被排除,而不是轉換成捏造的位置。
個別序列的樣子
有幾個序列在五次觀測中完全持平:Duolingo 在兩個商店都維持第一名 “learn spanish”;iOS 列表維持第一名 “language learning”;Calm 在 iOS 維持第五名 “sleep sounds”,在 Android 維持第六名 “meditation”。這種穩定性很重要,因為它顯示當結果保持不變時,重複測量不會製造變動。
變動的序列幅度不大。Calm 在 Android 上針對 “sleep sounds” 的排名在第六和第七之間交替。Duolingo 在 Android 上針對 “language learning” 的排名從第一變到第二再回到第一。IP Tools 針對 “ip scanner,” 從第二變到第一然後第三,產生了同類群組中唯一的兩名轉換。
為什麼排名會在你沒有變更列表時變動
Apple 表示搜尋排名會使用文字相關性——包括標題、副標題、關鍵字和主要類別——以及使用者行為,例如下載次數、評分和評論。Apple 也表示系統會持續演進。Google 描述了類似的脈絡系統,基於查詢相關性、中繼資料、應用程式品質以及使用者對結果的反應。兩家公司都沒有公布確定性的公式。
這表示未變動的列表並非未變動的實驗。其他應用程式可以變更中繼資料。新評分可以改變顧客行為。版本發布可以改善或損害品質訊號。搜尋該詞的人群可以改變。一名的變動是觀測值,不是診斷。
實用的警示規則
這個基準線證明了什麼——以及沒有證明什麼
這證明了早期追蹤的同類群組大多穩定,且一名反轉的發生沒有足夠證據歸因於某個原因。它並不證明一名永遠是雜訊、前十名結果普遍穩定,或較大的變動是由中繼資料造成的。那些需要更廣泛的面板和明確的前後時間窗。
本研究的下一版將按平台、國家、排名深度和類別來區分變動。這就是每天收集而不是在看起來有趣時才截圖的重點:基準線必須在意外發生前就存在。