- Формула рейтинга
- Ranking formula
Ilgu laiku quest reitings tika aprēķināts pēc noteiktas formulas (mēs to atgādināsim arī šeit). Taču kopš 2022. gada sākuma mēs nolēmām to atjaunināt un padarīt dzīvīgāku un dinamiskāku, lai tas pēc iespējas labāk atspoguļotu pašreizējo situāciju un reitings būtu aktuāls. Apskatīsim, kā tas notika, kādas problēmas radās un kā mēs tās atrisinājām.
Iepriekš mūsu formula izskatījās šādi:
Ja viņš ir izgājis daudz kvestu (un attiecīgi atstājis par tiem objektīvas nozīmīgas atsauksmes), tad uzticības līmenis viņam būs augstāks. Tas nozīmē, ka jaunpienācējam “uzticēšanās” būs 0, tam, kurš ir izgājis vismaz 5 kvestus un var vairāk vai mazāk salīdzināt - 1, un tā tālāk. Katram (IS) ir savs noteikts svars galīgajā vērtējumā: ar uzticību 0, 1, 2 un 3 attiecīgi 10%, 20%, 30% un 40% tiek ieskaitīti vērtējumā. Aplūkosim piemēru:
Kvestu “Atrast čības” novērtēja 15 iesācēji (IS 0), 7 nedaudz pieredzējušāki (IS 1) un 3 pieredzējušākie (IS 3). Pirmajiem bija vidēji 9,3 punkti, otrajiem - vidēji 8,9 punkti, bet pēdējiem - tikai 8,8 punkti. Rezultātā iegūstam 9,3 * 0,1 + 8,9 * 0,2 + 8,8 * 0,4 = ..... Bet, ja pamanījāt, mums nav atsauksmju ar uzticību 2, un tās svars kādam ir jāpiešķir, citādi skaitlis būs pārāk zemu novērtēts. Šajā gadījumā tās svars ir vienādi sadalīts starp pārējām, tāpēc mēs iegūstam šādu rezultātu: 9,3 * 0,2 + 8,9 * 0,3 + 8,8 * 0,5 = 8,93, kas, saprotams, atšķiras no vienkārši visu atsauksmju vidējā rezultāta.
Vēl ir pāris nianšu: mēs automātiski novērtējam pārāk zemu, ja meklējumam ir mazāk par 30 atsauksmēm un/vai ja visām atsauksmēm viņam ir tikai nulles ticamības līmenis (šeit ir jāgaida, kamēr pazinēju kontingents būs daudzveidīgāks).
Kopumā pati klasifikācija nebija slikta, ar dažiem foršiem kvestiem augšgalā. Kāpēc mēs nolēmām to mainīt? Ilgu laiku bija sakrājies daudz momentu, kurus nolēmām labot.
1) Reitingi bija neelastīgs
Kad tika izveidots mazāk stingrs reitings, to bija grūti mainīt. Tas demotivēja dažus uzdevumu veicējus.
2) Reitingi ne vienmēr bija aktuāli.
Mēs, pirmkārt, vēlējāmies izslēgt situācijas, kad kvests tika stingri pārskatīts un atjaunināts, bet to uz leju velk agrīni vērtējumi. Otrkārt, izslēgt situācijas, kad kvests iegūst minimālo atsauksmju slieksni un pēc tam necenšas iegūt jaunas atsauksmes. Tas nozīmē, ka kvests ar 30 atsauksmēm un visiem desmitiem būtu augstāks nekā kvests ar 300 atsauksmēm, kurā ir dažāda veida vērtējumi.
3) meistaru un profesionāļu ietekme bija pārmērīga.
Jā, varēja būt tā, ka viena meistara vērtējums pielika punktu kvesta karjerai :) Tas nav gluži pareizi, īpaši situācijā, kad meistars dod vērtējumu agrīnā posmā un kvests pēc tam tiek būtiski uzlabots (sk. 2. punktu).
4) Reitingā netika ņemta vērā kvesta popularitāte.
Pārskatu skaits (proti, cilvēku vēlme dalīties savās emocijās), mūsuprāt, atspoguļo kvesta popularitāti. Un robeža starp popularitāti un reitingu ir ļoti plāna =)
Kā ir tagad?
Kā darbojas jaunā formula?
Mēs to pārāk detalizēti neaprakstīsim. Tā izskatās diezgan sarežģīta. Taču mēs aprakstīsim galvenos faktorus, kas ietekmē reitinga veidošanos.
- Pēdējo 2 gadu vērtējumi un spēlētāju līmenis
- Kopējais atsauksmju skaits
- Recenziju skaits trīs mēnešu laikā
- Apstiprināto spēļu īpatsvars (kad persona rezervē spēli vietnē un mēs zinām, ka atsauksmei var uzticēties).
Sadalīsim katru no punktiem.
Pēdējo 2 gadu reitingi un spēlētāju līmeņi
Šeit mēs atrisinājām reitinga neelastības un pārāk lielas meistaru ietekmes problēmu. Un zināmā mērā arī atbilstības problēmu. Iepriekš reitings tika aprēķināts par visām atsauksmēm, tagad tikai par tām, kas atstātas pēdējo 2 gadu laikā. Agrāk bija 4 uzticības līmeņi ar ļoti lielu svaru izkliedi (0,1, 0,2, 0,3 un 0,4), tagad tie ir 2, un izkliedes gandrīz nav. Iesācēji, amatieri un pieredzējušie ir iekļuvuši pirmajā uzticēšanās līmenī ar svaru 0,33, bet profesionāļi un meistari ir iekļuvuši otrajā līmenī, un to svars ir 0,34.
Kopējais atsauksmju skaits
Mēs uzskatām, ka atsauksmju skaits patiesībā būtiski atspoguļo meklējumu “reitingu”. Par dažiem kvestiem cilvēki labprātāk un biežāk atstāj atsauksmes, un tas norāda uz to popularitāti un līdz ar to arī uz reitingu kopumā. Turklāt lielāks atsauksmju skaits sniedz objektīvāku paraugu un vērtējumu.
Pārskatu skaits 3 mēnešu laikā
Runa ir par to, ka, ja atsauksmju skaits ir labs, reitingam tiek pievienots neliels bonuss, bet, ja atsauksmju skaits ir pārāk mazs (mazāk nekā 5 atsauksmes 3 mēnešu laikā), to var ievērojami samazināt.
Apstiprināto spēļu īpatsvars procentos
Šeit viss ir vienkārši. Ja spēle ir notikusi, tad mums nav iemesla neuzticēties pārskatam =) Un, ja lielākajai daļai atsauksmju ir ikona “apstiprināts” (zila ķeksītis), tad šāds meklējums saņems bonusu pie vērtējuma. Tam, mūsuprāt, vajadzētu veicināt objektīvāka galīgā vērtējuma veidošanos.
У нас долгое время рейтинг квестов считался по определённой формуле (её мы здесь вспомним также). Но с начала 2022 года мы решили её обновить и сделать более живой и динамичной, чтобы она максимально отражала действующее положение вещей, а рейтинг был актуальным. Давайте разберёмся, как она работала, какие проблемы возникали и как мы их решили.
Ранее наша формула выглядела так:
Есть 4 степени доверия, которые в основном зависят от опыта человека - если он прошел много квестов (и соответственно оставил на них объективные осмысленные отзывы), то уровень доверия к нему будет выше. То есть у новичка "доверие" будет 0, у того, кто прошел хотя бы 5 квестов и может более менее сравнивать - 1, и так далее. У каждого УД свой удельный вес в финальном балле: с доверием 0, 1, 2 и 3 соответственно в оценку идут 10%, 20%, 30% и 40%. Рассмотрим на примере:
квесту "Найди тапки" поставили оценки 15 новичков (УД 0), 7 чуть более опытных (УД 1) и 3 самых опытных (УД 3). У первых средний балл 9.3, у вторых - 8.9, третьи же дали только 8.8. В итоге мы должны получить 9.3 * 0.1 + 8.9 * 0.2 + 8.8 * 0.4 = ... Но, если вы заметили, у нас не оказалось отзывов с доверием 2, а его вес должен кому-то достаться, иначе цифра окажется заниженной. В этом случае ее вес поровну распределяется на остальные, то бишь получим в итоге такой расклад: 9.3 * 0.2 + 8.9 * 0.3 + 8.8 * 0.5 = 8.93, что по понятным причинам отличается от просто среднего балла всех отзывов.
Есть еще пара нюансов: мы автоматически занижаем оценку, если на квест есть меньше 30 отзывов и/или если все отзывы у него только с нулевым уровнем доверия (тут уж придется подождать, пока контингент ценителей станет более разношерстным).
В целом, рейтинг сам по себе был неплохой, в топе были крутые квесты. Почему же мы решили её поменять? За долгое время накопилось немало моментов, которые мы решили исправить.
1) Рейтинг был негибким
После того, как сформировалась более менее твёрдая оценка, её поменять было сложно. Это демотивирует некоторых квестмейкеров.
2) Рейтинг не всегда был актуальным
Мы хотели, во-первых, исключить ситуации, когда квест был сильно переработан и обновлён, но его тянут вниз ранние оценки. Во-вторых, исключить ситуации, когда квест набирает минимальный порог отзывов и дальше вообще не стремится к получению новых. То есть квест с 30 отзывами и всеми десятками был бы выше квеста с 300 отзывами, где есть оценки разного рода.
3) Влияние мастеров и профи было чрезмерным
Да, могло быть так, что оценка одного мастера ставила крест на карьере квеста :) Это не совсем правильно, особенно в ситуации, когда мастер ставит оценку на раннем этапе, а квест потом значительно дорабатывается (см. п. 2).
4) Рейтинг не учитывал популярность квеста
Количество отзывов (а именно желание людей делиться своими эмоциями), на наш взгляд, отражает популярность квеста. А грань между популярностью и рейтинговостью очень тонкая =)
А что же теперь?
Как работает новая формула?
Мы не будем расписывать её слишком подробно. Она довольно сложно выглядит. Но мы распишем основные факторы, которые влияют на формирование рейтинга.
1.Оценки за последние 2 года и уровень игроков
2.Общее количество отзывов
3.Количество отзывов за три месяца
4.Процент подтверждённых игр (когда человек бронирует игру на сайте и мы знаем, что отзыву можно доверять)
Разберём каждый из пунктов.
Оценки за последние 2 года и уровни игроков
Тут мы решили проблему негибкости рейтинга и чрезмерного влияния мастеров. А в некоторой мере и проблему актуальности. Ранее рейтинг считался по всем отзывам, сейчас же только по тем, что были оставлены за последние 2 года. Ранее было 4 уровня доверия с очень большой разбежкой весов (0.1, 0.2, 0.3 и 0.4), сейчас же их стало 2, и почти без разбежки. Новички, любители и опытные вошли в первый уровень доверия с весом 0.33, а профи и мастера - во второй и имеют вес 0.34.
Общее количество отзывов
Мы считаем, что количество отзывов на самом деле значительно отражает "рейтинговость" квеста. На какие-то квесты люди оставляют отзывы охотнее и чаще, и это свидетельствует о его популярности, а значит и рейтинге в целом. Кроме того, большее количество отзывов даёт более объективную выборку и оценку.
Количество отзывов за 3 месяца
Суть в том, что при хорошем количестве отзывов к рейтингу добавляется небольшой бонус, если же отзывов слишком мало (менее 5 за 3 месяца), то он может и значительно урезаться.
Процент подтверждённых игр
Тут всё просто. Если игра состоялась, то у нас нет поводов не доверять отзыву =) И если большая часть отзывов имеют значок "подтверждённый" (голубенькая галочка), то такой квест получит бонус к рейтинговой оценке. Это должно, на наш взгляд, поспособствовать формированию более объективной итоговой оценки.
For a long time, the escape room ranking was calculated according to a certain formula (we will remember it here as well). But since the beginning of 2022, we decided to update it and make it more lively and dynamic, so that it would reflect the current state of affairs as much as possible, and the rating would be up-to-date. Let's take a look at how it worked, what problems arose and how we solved them.
Previously, our formula looked like this:
There are 4 degrees of trust, which mainly depend on the experience of the person - if he has passed a lot of escape rooms (and accordingly wrote on them objective meaningful reviews), then the level of trust in such a User will be higher. That is, the beginner “trust” will be 0, the one who has passed at least 5 escape rooms and can more or less compare - 1, and so on. Each LoT(level of trust) has its own specific weight in the final score: with trust 0, 1, 2 and 3 respectively, 10%, 20%, 30% and 40% go into the score. Let's take an example:
The escape room called “Find the slippers” was rated by 15 beginners (LoT 0), 7 slightly more experienced (LoT 1) and 3 most experienced (LoT 3). The former had an average score of 9.3, the latter had an average score of 8.9, and the latter gave only 8.8. We should end up with 9.3 * 0.1 + 8.9 * 0.2 + 8.8 * 0.4 = .... But, if you noticed, we have no reviews with trust 2, and its weight must go to someone, otherwise the figure will be underestimated. In this case, its weight is equally distributed on the rest, that is, we get this result: 9.3 * 0.2 + 8.9 * 0.3 + 8.8 * 0.5 = 8.93, which for obvious reasons differs from just the average score of all reviews.
There are a couple more nuances: we automatically underestimate if the escape room has less than 30 reviews and / or if all the reviews he has only with zero level of trust (here you have to wait until the contingent of connoisseurs will be more diverse).
Overall, the ranking itself wasn't bad, with some cool escape rooms at the top. Why did we decide to change it? For a long time a lot of moments have accumulated, which we decided to correct.
And what now?
1) The rating was inflexible
Once a less firm rating was formed, it was difficult to change it. This demotivates some escape room owners.
2) The rating was not always up to date
We wanted, firstly, to exclude situations where the escape room was heavily revised and updated, but it was being dragged down by early ratings. Secondly, to exclude situations when the escape rooom gains a minimum threshold of reviews and then does not seek to get new ones. That is, an escape room with 30 reviews and all tens would be higher than an escape room with 300 reviews, where there are scores of all kinds.
3) The influence of masters and pros was excessive
Yes, it could be that the evaluation of one Master player put an end to the career of the escape room :) This is not quite right, especially in a situation where a master gives a rating early on and the escape room is then significantly refined (see point 2).
4) Rating did not take into account the popularity of the escape room
The number of reviews (namely the desire of people to share their emotions), in our opinion, reflects the popularity of the game. And the line between popularity and rating is very thin =)
How does the new formula work?
We won't describe it in too much detail. It looks rather complicated. But we will describe the main factors that influence the formation of the rating.
1.Evaluations for the last 2 years and the level of players
2.Total number of reviews
3.Number of reviews for three months
4.Percentage of confirmed games (when a person books a game on the site and we know that the review can be trusted).
Let's break down each of the points.
Ratings for the last 2 years and player levels
Here we solved the problem of inflexibility of rating and excessive influence of masters. And to some extent the problem of relevance. Previously, the rating was calculated on all reviews, now only on those that have been written for the last 2 years. Previously there were 4 levels of trust with a very large spread of weights (0.1, 0.2, 0.3 and 0.4), now they are 2, and almost no spread. Beginners, amateurs and experienced have entered the first trust level with a weight of 0.33, while pros and masters have entered the second and have a weight of 0.34.
Total number of reviews
We believe that the number of reviews actually significantly reflects the “ranking” of the escape room. On some escape rooms people leave reviews more willingly and more often, and this indicates its popularity, and therefore the rating as a whole. In addition, a greater number of reviews gives a more objective sample and evaluation.
Number of reviews in 3 months
The point is that if the number of reviews is good, a small bonus is added to the rating, but if the number of reviews is too low (less than 5 in 3 months), it can be significantly reduced.
Percentage of confirmed games
It's simple. If a game has been played, then we have no reason not to trust the review =). And if most of the reviews have the icon “confirmed” (blue check mark), then such an escape room will get a bonus to the rating. This should, in our opinion, contribute to the formation of a more objective final assessment.
