Umiestňujú sa aplikácie s hodnotením 4,8 hviezdičky vyššie? Analyzovali sme 1 000 vyhľadávaní v App Store

Apple uvádza hodnotenia ako vstup pre umiestňovanie, takže folklór nasleduje: dosiahnite 4,8 a stúpate. Vzali sme 1 000 sád výsledkov, 18 796 jednotlivých výsledkov vyhľadávania a pozreli sme sa. Hodnota hviezdičiek nevysvetľuje takmer nič. Počet hodnotení vysvetľuje šesťkrát viac.

Prečo sa oplatí položiť otázku poriadne

Apple uvádza, že výsledky vyhľadávania sú založené na “text relevance (matches for your app’s title, subtitle, keywords, and primary category), as well as user behavior (downloads, ratings and reviews, and more)”. Táto jediná veta je pôvodom obrovského množstva rád o naháňaní vyššieho priemeru hviezd, zvyčajne s 4.8 označeným ako prah, na ktorom záleží.

Ale “ratings and reviews” je nejednoznačné presne na mieste, na ktorom záleží. Mohlo by to znamenať hodnotu hviezd alebo počet ľudí, ktorí ju zanechali, alebo oboje. To sú rôzne veci a naznačujú úplne inú prácu: zvýšenie priemeru je problém produktu a zvýšenie počtu je problém distribúcie.

Metóda

Zbierame denné výsledky vyhľadávania pre výrazy, ktoré naši zákazníci sledujú. Pre túto štúdiu sme vzali každý odlišný výraz a krajinu, ktoré kolektor videl za sedem dní do 12 septembra 2026, každý započítaný raz pri jeho najnovšom pozorovaní, a ponechali sme sady výsledkov, kde aspoň osem z prvých 20 aplikácií malo v zázname hodnotu hviezd aj počet hodnotení. To dáva 1,000 sád výsledkov a 18,796 individuálnych výsledkov vyhľadávania.

Započítať každý výraz raz je dôležité. Rovnaké vyhľadávanie v po sebe idúcich dňoch vracia takmer rovnaké aplikácie v takmer rovnakom poradí, takže započítanie dvakrát by zdvojnásobilo vzorku bez pridania informácií a urobilo by každý údaj istejším, než je.

Surový obraz: takmer plochý

Existuje gradient a je maličký. Najlepšie hodnotené pásmo nie je najlepšie umiestnené pásmo: 4.5-4.7 ho predbieha. Pod 4.5 je rozdiel asi jedna pozícia z dvadsiatich a skupina pod 3.0 sa umiestňuje lepšie ako skupina 3.0-3.9, čo je druh inverzie, ktorú vidíš, keď je efekt väčšinou šum.

Záporné číslo znamená, že vyššia hodnota sedí bližšie k prvej pozícii. Obe to robia a počet je zhruba šesťkrát silnejší signál. Ani jeden nie je veľký: dokonca aj počet vysvetľuje len niekoľko percent toho, kde sa aplikácia nachádza, čo je užitočná pripomienka, že relevancia, nie popularita, robí väčšinu práce vo výsledku vyhľadávania.

Mätúci faktor a čo sa stane, keď ho odstrániš

Hviezdy a počty hodnotení cestujú spolu, takže surové porovnanie ich nedokáže oddeliť. V našej vzorke má pásmo 4.5-4.7 medián 13,507 hodnotení a pásmo 3.0-3.9 má 72. Porovnanie týchto dvoch skupín je väčšinou porovnanie veľkých aplikácií s malými.

Takže sme rozdelili rovnaké umiestnenia do pásiem podobného počtu hodnotení a pozreli sme sa na efekt hviezd v každom pásme, kde je mätúci faktor zväčša držaný v pokoji.

Čítaj stĺpec nadol a efekt škály je zrejmý: rovnaké pásmo hviezd sa posúva z približne pozície 12 na približne pozíciu 9, keď počet hodnotení rastie. Čítaj riadok naprieč a efekt hviezd je malý, nekonzistentný a v najmenšom pásme beží dozadu — aplikácie hodnotené 4.8-5.0 s menej ako 200 hodnoteniami sedeli najnižšie zo všetkých skupín v tabuľke.

Táto inverzia nie je záhadná. Priemer 4.9 z 30 recenzií zvyčajne patrí veľmi malej aplikácii a byť veľmi malý je to, čo sa ukazuje v pozícii. Je to čistá ukážka, prečo by sa surový gradient nemal čítať ako efekt hviezd.

Čistejší test: porovnaj v rámci jednej sady výsledkov

Porovnanie finančného výrazu s výrazom logickej hry porovnáva dve rôzne populácie. Porovnanie prvých troch s pozíciami 8-20 toho istého vyhľadávania nie. Spustili sme tento párový test na 990 sadách výsledkov s dostatkom hodnotených aplikácií na oboch koncoch.

Aplikácie na vrchole sady výsledkov sú hodnotené o 0.023 hviezd vyššie ako aplikácie na jej spodku. Majú zhruba deväťkrát toľko hodnotení. Skupina s vyšším hodnotením držala prvé tri v 52.6% sád a spodok v 22.8%, takže smer je skutočný — je to veľkosť, ktorá je zanedbateľná.

Čo hovorí literatúra

Toto nie je akademicky nová otázka a publikovaná práca pristáva na podobnom mieste. Sällberg, Wang a Numminen, píšuci v Journal of Marketing Analytics v 2022, sledovali 341 aplikácií denne približne dva roky od ich spustenia v App Store a oddelili informácie o hodnotení od textu recenzie. Pre aplikácie produktivity uvádzajú, že priemerné skóre hodnotenia nemalo žiadny významný priamy efekt na stiahnutia, zatiaľ čo objem hodnotení mal. Pre herné aplikácie bol efekt objemu negatívny, čo je samo o sebe varovaním pred zaobchádzaním s ktorýmkoľvek z týchto ako s jednoduchými pákami.

Práca na vizuálnych aktívach ukazuje rovnakým smerom o limitoch jednopremenného myslenia: Wang a Li v Electronic Commerce Research v 2016 extrahovali farebné, komplexnostné a symetrické črty z Android ikon a našli merateľné vzťahy so správaním pri sťahovaní. Širšie pole ťažby obchodov s aplikáciami otvorili Harman, Jia a Zhang na MSR 2012, ktorí ustanovili, že metadáta obchodov možno analyzovať vo veľkom meradle vôbec.

Čo to znamená pre tvoj záznam

Obmedzenia tejto štúdie

Jeden týždeň, iba iOS a 3,564 výrazy, ktoré náš kolektor sleduje, ktoré sa prikláňajú ku kategóriám, v ktorých pracujú naši zákazníci, a nie k náhodnej vzorke App Store. Počet hodnotení je proxy pre inštalačnú základňu a je zašumený, pretože aplikácie vyzývajú veľmi rôznymi rýchlosťami. Pozícia je observačná: nemôžeme randomizovať priemer hviezd aplikácie, takže nič tu nie je kauzálny odhad. A korelácia taká malá by bola prehlušená akýmkoľvek efektom kategórie, ktorý sme nemodelovali.

Čo prežije tieto obmedzenia, je porovnanie medzi dvoma signálmi meranými rovnakým spôsobom na rovnakých údajoch. Akékoľvek skreslenie sedí v našej vzorke a platí pre obe, a počet stále prekonáva hodnotu hviezd zhruba šesť ku jednej.

Vyhľadaj kľúčové slovo zadarmo

AsoTheory, ako fungujú skóre

Súvisiace

Blog · Prípadové štúdie · Free ASO tools · Produkty · Ochrana osobných údajov a podmienky · AsoTheory