Волатильность рангов App Store: сколько ежедневных движений является нормой?

Перемещение ключевого слова на одну позицию не всегда является трендом. Мы изучили 47 сопоставимых переходов рангов, чтобы установить ранний базовый уровень того, сколько движения появляется ещё до того, как его можно объяснить.

Отслеживание рангов создаёт опасное количество кажущейся точности. График говорит, что приложение переместилось со второго на третье место, линия становится красной, и естественный вывод — что-то пошло не так. Но позиция — это результат меняющегося рынка: конкуренты обновляются, поведение клиентов меняется, накапливаются оценки, а магазин продолжает развивать свою поисковую систему. Одно снятие показаний не может сказать, какой фактор имел значение.

Полезный вопрос, следовательно, не “did the number change?”, а “is this movement larger or more persistent than the ordinary variation in the series?”. Базовая линия — это то, что превращает оповещение о ранге из шума в доказательство.

Что мы измеряли

Мы использовали первую пригодную когорту повторных рангов AsoTheory: 11 рядов приложение–ключевое слово с как минимум четырьмя ранжированными наблюдениями в Соединённых Штатах. Когорта содержала 58 снятий показаний и 47 соседних пар, где оба наблюдения имели числовой ранг. Она охватывала листинги iOS и Android для Calm, Duolingo, Cal AI и IP Tools по терминам, включая “meditation,” “sleep sounds,” “learn spanish,” “language learning,” “calorie,” “ip scanner” и “scan ip.”

Мы рассчитали абсолютное изменение между каждой соседней парой. Переход с первого на третье и с третьего на первое оба считаются как две позиции, потому что этот первый проход измеряет величину, а не направление. Нерankingованные наблюдения были исключены, а не преобразованы в выдуманную позицию.

Как выглядели отдельные ряды

Несколько рядов были совершенно плоскими на протяжении пяти наблюдений: Duolingo удерживал первое место для “learn spanish” в обоих магазинах; листинг iOS удерживал первое место для “language learning”; Calm удерживал пятое место для “sleep sounds” на iOS и шестое для “meditation” на Android. Эта стабильность важна, потому что показывает, что повторные измерения не создают движение, когда результат остаётся на месте.

Движущиеся ряды были скромными. Ранг Calm в Android для “sleep sounds” чередовался между шестым и седьмым. Ранг Duolingo в Android для “language learning” переместился с первого на второе и обратно на первое. IP Tools переместился со второго на первое, а затем на третье для “ip scanner,”, создав единственный двухпозиционный переход в когорте.

Почему ранг может измениться, когда ваш листинг не менялся

Apple заявляет, что ранжирование в поиске использует текстовую релевантность — включая название, подзаголовок, ключевые слова и основную категорию — наряду с поведением пользователей, таким как загрузки, оценки и отзывы. Apple также говорит, что система постоянно развивается. Google описывает аналогичную контекстную систему, основанную на релевантности запроса, метаданных, качестве приложения и реакции пользователей на результаты. Ни одна компания не публикует детерминированную формулу.

Это означает, что неизменённый листинг — не неизменённый эксперимент. Другое приложение может изменить свои метаданные. Новые оценки могут изменить поведение клиентов. Релиз может улучшить или ухудшить сигналы качества. Популяция, ищущая термин, может измениться. Перемещение на одно место — это наблюдение, а не диагноз.

Практичное правило оповещений

Что эта базовая линия доказывает — и чего не доказывает

Это доказывает, что ранняя отслеживаемая когорта была в основном стабильной и что однопозиционные развороты происходили без достаточных оснований для установления причины. Это не доказывает, что одна позиция всегда является шумом, что результаты из топ-10 универсально стабильны или что более крупное изменение было вызвано метаданными. Для этого требуется более широкая панель и явные окна до и после.