Μεταβλητότητα κατάταξης App Store: πόση καθημερινή κίνηση είναι φυσιολογική;

Μια λέξη-κλειδί που μετακινείται μία θέση δεν είναι αυτόματα τάση. Εξετάσαμε 47 συγκρίσιμες μεταβάσεις κατάταξης για να δημιουργήσουμε μια πρώιμη βάση για το πόση κίνηση εμφανίζεται ακόμα και πριν μπορέσεις να την εξηγήσεις.

Η παρακολούθηση κατάταξης δημιουργεί επικίνδυνη φαινομενική ακρίβεια. Το γράφημα δείχνει μια εφαρμογή από δεύτερη τρίτη, η γραμμή γίνεται κόκκινη και φυσικά συμπεραίνεις ότι κάτι πήγε στραβά. Όμως η θέση προκύπτει από μια μεταβαλλόμενη αγορά: ανταγωνιστές ενημερώνονται, συμπεριφορές πελατών αλλάζουν, βαθμολογίες συσσωρεύονται και το κατάστημα εξελίσσει συνεχώς την αναζήτηση. Μία μέτρηση δεν λέει ποια είσοδος έπαιξε ρόλο.

Η χρήσιμη ερώτηση δεν είναι “did the number change?” αλλά “is this movement larger or more persistent than the ordinary variation in the series?” Δηλαδή όχι αν άλλαξε ο αριθμός, αλλά αν η κίνηση είναι μεγαλύτερη ή πιο επίμονη από τη συνηθισμένη διακύμανση. Η βάση σύγκρισης μετατρέπει την ειδοποίηση κατάταξης από θόρυβο σε στοιχείο.

Τι μετρήσαμε

Χρησιμοποιήσαμε το πρώτο αξιοποιήσιμο δείγμα επαναλαμβανόμενων κατατάξεων του AsoTheory: 11 σειρές εφαρμογής–λέξης-κλειδιού με τουλάχιστον τέσσερις παρατηρήσεις με κατάταξη στις ΗΠΑ. Περιείχε 58 μετρήσεις και 47 διαδοχικά ζεύγη όπου και οι δύο είχαν αριθμητική θέση. Κάλυπτε iOS και Android για Calm, Duolingo, Cal AI και IP Tools, με όρους όπως “meditation,” “sleep sounds,” “learn spanish,” “language learning,” “calorie,” “ip scanner” και “scan ip.”

Υπολογίσαμε την απόλυτη αλλαγή ανάμεσα σε κάθε διαδοχικό ζεύγος. Από πρώτη σε τρίτη θέση και από τρίτη σε πρώτη μετρά και στις δύο περιπτώσεις δύο θέσεις, επειδή αυτή η πρώτη ανάλυση μετρά μέγεθος και όχι κατεύθυνση. Παρατηρήσεις χωρίς κατάταξη αποκλείστηκαν αντί να μετατραπούν σε επινοημένη θέση.

Πώς έμοιαζαν οι επιμέρους σειρές

Αρκετές σειρές έμειναν απόλυτα σταθερές σε πέντε παρατηρήσεις: το Duolingo ήταν πρώτο για “learn spanish” και στα δύο καταστήματα και πρώτο στο iOS για “language learning”. Το Calm ήταν πέμπτο για “sleep sounds” στο iOS και έκτο για “meditation” στο Android. Η σταθερότητα έχει σημασία: δείχνει ότι η επαναλαμβανόμενη μέτρηση δεν κατασκευάζει κίνηση όταν το αποτέλεσμα μένει ίδιο.

Οι μεταβαλλόμενες σειρές είχαν μικρές κινήσεις. Το Calm στο Android για “sleep sounds” εναλλασσόταν μεταξύ έκτης και έβδομης θέσης. Το Duolingo στο Android για “language learning” πήγε από πρώτο δεύτερο και ξανά πρώτο. Το IP Tools πήγε από δεύτερο πρώτο και μετά τρίτο για “ip scanner,” δημιουργώντας τη μοναδική μετάβαση δύο θέσεων του δείγματος.

Γιατί αλλάζει η κατάταξη χωρίς να αλλάξει η σελίδα σου

Η Apple αναφέρει ότι η αναζήτηση χρησιμοποιεί συνάφεια κειμένου — τίτλο, υπότιτλο, λέξεις-κλειδιά και κύρια κατηγορία — μαζί με συμπεριφορά χρηστών, όπως λήψεις, βαθμολογίες και κριτικές. Αναφέρει επίσης ότι το σύστημα εξελίσσεται συνεχώς. Η Google περιγράφει αντίστοιχο σύστημα που λαμβάνει υπόψη συνάφεια ερωτήματος, μεταδεδομένα, ποιότητα εφαρμογής και ανταπόκριση χρηστών στα αποτελέσματα. Καμία δεν δημοσιεύει ντετερμινιστικό τύπο.

Μια αμετάβλητη σελίδα δεν σημαίνει αμετάβλητο πείραμα. Μια άλλη εφαρμογή μπορεί να αλλάξει μεταδεδομένα. Νέες βαθμολογίες μπορούν να μεταβάλουν τη συμπεριφορά. Μια έκδοση μπορεί να βελτιώσει ή να βλάψει σήματα ποιότητας. Το κοινό που αναζητά τον όρο μπορεί να αλλάξει. Μια μετακίνηση μιας θέσης είναι παρατήρηση, όχι διάγνωση.

Ένας πρακτικός κανόνας ειδοποίησης

Τι αποδεικνύει και τι δεν αποδεικνύει αυτή η βάση

Δείχνει ότι το πρώιμο δείγμα ήταν κυρίως σταθερό και ότι αναστροφές μιας θέσης συνέβησαν χωρίς αρκετά στοιχεία για απόδοση αιτίας. Δεν αποδεικνύει ότι μία θέση είναι πάντα θόρυβος, ότι η πρώτη δεκάδα είναι παντού σταθερή ή ότι μεγαλύτερη κίνηση προκλήθηκε από μεταδεδομένα. Αυτά απαιτούν ευρύτερο δείγμα και σαφή χρονικά παράθυρα πριν και μετά.

Η επόμενη έκδοση της μελέτης θα χωρίζει τις μεταβολές ανά πλατφόρμα, χώρα, βάθος κατάταξης και κατηγορία. Αυτός είναι ο λόγος της καθημερινής συλλογής αντί για στιγμιότυπα όταν κάτι φαίνεται ενδιαφέρον: η βάση σύγκρισης πρέπει να υπάρχει πριν από την έκπληξη.

Σχετικά

Ιστολόγιο · Μελέτες περίπτωσης · Free ASO tools · Προϊόντα · Απόρρητο και όροι · AsoTheory