App Store 순위 변동성: 일일 움직임이 얼마나 정상인가?
키워드가 한 단계 이동하는 것이 자동으로 추세는 아닙니다. 설명하기 전에도 얼마나 많은 움직임이 나타나는지 초기 기준을 설정하기 위해 47개의 유사한 순위 변동을 조사했습니다.
순위 추적은 위험할 정도로 많은 겉보기 정밀도를 만들어냅니다. 차트가 앱이 2위에서 3위로 이동했다고 말하고 선이 빨간색으로 바뀌면 뭔가 잘못됐다는 자연스러운 결론이 나옵니다. 하지만 위치는 변화하는 시장의 산출물입니다. 경쟁사가 업데이트하고, 고객 행동이 바뀌고, 평점이 쌓이고, 스토어가 검색 시스템을 계속 진화시킵니다. 한 번의 판독으로 어떤 입력이 중요했는지 알 수 없습니다.
따라서 유용한 질문은 “did the number change?”가 아닙니다. “is this movement larger or more persistent than the ordinary variation in the series?”입니다. 기준선이 순위 알림을 노이즈에서 증거로 바꿔줍니다.
우리가 측정한 것
우리는 AsoTheory의 첫 번째 사용 가능한 반복 순위 코호트를 사용했습니다. 미국에서 최소 네 번의 순위 관측치가 있는 11개의 앱-키워드 시리즈입니다. 코호트에는 58개의 판독과 두 관측치 모두 숫자 순위가 있는 47개의 인접 쌍이 포함되었습니다. Calm, Duolingo, Cal AI, IP Tools의 iOS 및 Android 리스팅을 다루었으며 키워드에는 “meditation,” “sleep sounds,” “learn spanish,” “language learning,” “calorie,” “ip scanner” 및 “scan ip.”가 포함되었습니다.
우리는 인접한 각 쌍 사이의 절대 변화를 계산했습니다. 1위에서 3위로의 이동과 3위에서 1위로의 이동 모두 두 단계로 계산됩니다. 이 첫 번째 통과는 방향이 아니라 크기를 측정하기 때문입니다. 순위가 없는 관측치는 가상의 위치로 변환하지 않고 제외했습니다.
개별 시리즈의 모습
여러 시리즈가 다섯 번의 관측 동안 완전히 평평했습니다. Duolingo는 두 스토어에서 “learn spanish” 동안 1위를 유지했고, iOS 리스팅은 “language learning” 동안 1위를 유지했으며, Calm은 iOS에서 “sleep sounds” 동안 5위, Android에서 “meditation” 동안 6위를 유지했습니다. 이러한 안정성은 결과가 그대로일 때 반복 측정이 움직임을 만들어내지 않는다는 것을 보여주기 때문에 중요합니다.
움직이는 시리즈는 미미했습니다. Calm의 Android “sleep sounds” 순위는 6위와 7위를 오갔습니다. Duolingo의 Android “language learning” 순위는 1위에서 2위로 갔다가 다시 1위로 돌아왔습니다. IP Tools는 “ip scanner,” 동안 2위에서 1위로 갔다가 3위로 이동하여 코호트에서 유일한 두 단계 전환을 만들어냈습니다.
리스팅이 변경되지 않았는데 순위가 움직일 수 있는 이유
Apple은 검색 순위가 제목, 부제, 키워드, 기본 카테고리를 포함한 텍스트 관련성과 다운로드, 평점, 리뷰 같은 사용자 행동을 함께 사용한다고 말합니다. Apple은 또한 시스템이 지속적으로 진화한다고 말합니다. Google은 쿼리 관련성, 메타데이터, 앱 품질, 사용자가 결과에 반응하는 방식을 기반으로 한 유사한 맥락적 시스템을 설명합니다. 어느 회사도 결정론적 공식을 공개하지 않습니다.
즉, 변경되지 않은 리스팅은 변경되지 않은 실험이 아닙니다. 다른 앱이 메타데이터를 바꿀 수 있습니다. 새로운 평점이 고객 행동을 바꿀 수 있습니다. 릴리스가 품질 신호를 개선하거나 손상시킬 수 있습니다. 해당 키워드를 검색하는 인구가 바뀔 수 있습니다. 한 단계 이동은 관측이지 진단이 아닙니다.
실용적인 알림 규칙
이 기준선이 증명하는 것과 증명하지 않는 것
이는 초기 추적 코호트가 대체로 안정적이었고 한 단계 반전이 원인을 할당할 충분한 증거 없이 발생했음을 증명합니다. 한 단계가 항상 노이즈라거나, 상위 10위 결과가 보편적으로 안정적이라거나, 더 큰 움직임이 메타데이터 때문이라는 것을 증명하지는 않습니다. 그러려면 더 넓은 패널과 명시적인 전후 창이 필요합니다.
이 연구의 다음 버전은 플랫폼, 국가, 순위 깊이, 카테고리별로 움직임을 세분화할 것입니다. 흥미로워 보일 때 스크린샷을 찍는 대신 매일 수집하는 이유가 바로 이것입니다. 기준선은 놀라움이 생기기 전에 존재해야 합니다.