App Storeランク変動：毎日の動きはどのくらいが正常か？

キーワードが1つ順位を上げたからといって、自動的にトレンドとは限らない。説明できるようになる前でも、どれだけの動きが現れるかの初期ベースラインを確立するために、47件の同等の順位変動を調査した。

ランク追跡は危険なほどの見かけの精度を生み出す。チャートがアプリが2位から3位に動いたと言い、線が赤くなると、何かが間違っていたという自然な結論になる。しかし、ポジションは変化する市場の出力だ。競合他社が更新し、顧客行動が変わり、評価が蓄積し、ストアは検索システムを進化させ続ける。1回の読み取りではどの入力が重要だったかは分からない。

したがって、有用な質問は“did the number change?”ではない。“is this movement larger or more persistent than the ordinary variation in the series?”だ。ベースラインこそがランクアラートをノイズから証拠に変える。

測定したもの

AsoTheoryの最初の使用可能な反復ランクコホートを使用した。米国で少なくとも4回のランク付き観測がある11のアプリ–キーワードシリーズ。コホートには58回の読み取りと、両方の観測が数値ランクを持つ47の隣接ペアが含まれた。Calm、Duolingo、Cal AI、IP ToolsのiOSおよびAndroidリスティングを、“meditation,”、“sleep sounds,”、“learn spanish,”、“language learning,”、“calorie,”、“ip scanner”、“scan ip.”などのキーワードでカバーした。

隣接する各ペア間の絶対変化を計算した。1位から3位への動きと3位から1位への動きはどちらも2ポジションとして数える。なぜなら、この最初のパスでは方向ではなく大きさを測定するからだ。ランク外の観測は、発明されたポジションに変換するのではなく除外した。

個々のシリーズの様子

いくつかのシリーズは5回の観測にわたって完全に平坦だった。Duolingoは両ストアで“learn spanish”の間1位を維持し、iOSリスティングは“language learning”の間1位を維持し、CalmはiOSで“sleep sounds”の間5位、Androidで“meditation”の間6位を維持した。この安定性は、結果が変わらない場合、繰り返し測定が動きを作り出さないことを示すため重要だ。

動いたシリーズは控えめだった。CalmのAndroidでの“sleep sounds”のランクは6位と7位を交互に繰り返した。DuolingoのAndroidでの“language learning”のランクは1位から2位に動き、1位に戻った。IP Toolsは“ip scanner,”で2位から1位、そして3位に動き、コホートで唯一の2ポジション遷移を生み出した。

リスティングが変わっていないのにランクが動く理由

Appleは、検索ランキングがタイトル、サブタイトル、キーワード、プライマリカテゴリなどのテキスト関連性と、ダウンロード、評価、レビューなどのユーザー行動を組み合わせて使うと述べている。また、システムは継続的に進化しているとも述べている。Googleも、クエリ関連性、メタデータ、アプリの品質、ユーザーの反応に基づく同様の文脈依存システムを説明している。どちらの企業も決定的な計算式を公開していない。

つまり、変更されていないリスティングは変更されていない実験ではないということだ。別のアプリがメタデータを変更できる。新しい評価が顧客行動を変える可能性がある。リリースが品質シグナルを改善または損なう可能性がある。そのキーワードを検索する人口が変わる可能性がある。1ポジションの動きは観測であり、診断ではない。

実用的なアラートルール

このベースラインが証明することと証明しないこと

これは、初期の追跡コホートがほとんど安定しており、1ポジションの反転が原因を特定する十分な証拠なしに発生したことを証明する。1ポジションが常にノイズであること、トップ10の結果が普遍的に安定していること、またはより大きな動きがメタデータによって引き起こされたことを証明するものではない。それらにはより広範なパネルと明示的な前後ウィンドウが必要だ。

この研究の次のバージョンでは、プラットフォーム、国、ランク深度、カテゴリ別に動きをセグメント化する。何か面白そうなときにスクリーンショットを撮るのではなく、毎日収集する理由はそこにある。ベースラインは驚きの前に存在しなければならない。