Zmiana skali ocen skrzynek

Wszystko co może pomóc w rozwoju serwisu opencaching.pl, sugestie, pomysły, także zauważone błędy

Moderator: Moderatorzy

wodsoft
Nowy na forum
Posty: 15
Rejestracja: niedziela 22 marca 2009, 16:42
Lokalizacja: Krakow

Post autor: wodsoft » poniedziałek 04 stycznia 2010, 00:32

rushcore pisze:Jest też dość dyskusyjna opcja odjęcia gwiazdki z jakiegoś kesza, osobiście nie widziałem, żeby ktoś stosował.
hehe, a ja widziałem...
[url=http://www.opencaching.pl/viewprofile.php?userid=6064][img]http://www.opencaching.pl/statpics/6064.jpg[/img][/url]

Awatar użytkownika
smok6
Stały bywalec
Posty: 128
Rejestracja: środa 28 października 2009, 20:38
Lokalizacja: Warszawa

Post autor: smok6 » poniedziałek 04 stycznia 2010, 11:12

wodsoft pisze:
rushcore pisze:Jest też dość dyskusyjna opcja odjęcia gwiazdki z jakiegoś kesza, osobiście nie widziałem, żeby ktoś stosował.
hehe, a ja widziałem...
To troszkę dziwne podejście. Chyba, że w międzyczasie skrzynce przytrafiła się jakaś katastrofa i jej jakość znacznie się pogorszyła.

Fajny ten pomysł z supergwiazdkami. Natomiast wg. mnie obecny system gwiazdek jest ok. Trzeba się dobrze zastanowić i dawać je tym rzeczywiście najfajniejszym skrzyneczkom. Gdyby było ich więcej, to straciłyby na swojej wadze gatunkowej :)

Jeśli chodzi o oceny, to moim zdaniem przy większej ilości ocen średnia już coś mówi i może zachęcić lub nie do odwiedzenia danej skrzynki. Szczególnie jeśli ma się mało czasu na odwiedzenie danej okolicy.
[url=http://www.opencaching.pl/viewprofile.php?userid=14296][img]http://www.opencaching.pl/statpics/14296.jpg[/img][/url][url=http://geokrety.org/mypage.php?userid=4033][img]http://geokrety.org/statpics/4033.png[/img][/url]

wodsoft
Nowy na forum
Posty: 15
Rejestracja: niedziela 22 marca 2009, 16:42
Lokalizacja: Krakow

Post autor: wodsoft » poniedziałek 04 stycznia 2010, 11:48

smok6 pisze: To troszkę dziwne podejście. Chyba, że w międzyczasie skrzynce przytrafiła się jakaś katastrofa i jej jakość znacznie się pogorszyła.
Pan X nie znalazł skrzynki i marudził na nią że dużo śmieci w okolicy.
Pan Y później wpisał że fajna skrzynka i dał gwiazdkę i powiedział żeby X nie marudził. Później panowie się pokłócili trochę używając takich czy innych ciosów. Właściciel skrzynki chcąc zażegnać konflikt usunął ich kłótnię z logów (informując ich wcześniej o tym) i poprosił o edycję wpisu żeby nie zawierały wobec siebie wycieczek. Pan Y zmienił swój wpis przy okazji usuwając gwiazdkę.
Nie wiem, może przypadkiem :)
[url=http://www.opencaching.pl/viewprofile.php?userid=6064][img]http://www.opencaching.pl/statpics/6064.jpg[/img][/url]

Awatar użytkownika
smok6
Stały bywalec
Posty: 128
Rejestracja: środa 28 października 2009, 20:38
Lokalizacja: Warszawa

Post autor: smok6 » poniedziałek 04 stycznia 2010, 11:52

Acha :)
[url=http://www.opencaching.pl/viewprofile.php?userid=14296][img]http://www.opencaching.pl/statpics/14296.jpg[/img][/url][url=http://geokrety.org/mypage.php?userid=4033][img]http://geokrety.org/statpics/4033.png[/img][/url]

alex22
Forumator
Posty: 591
Rejestracja: poniedziałek 01 września 2008, 19:46
Lokalizacja: Zachodniopomorskie

Post autor: alex22 » poniedziałek 04 stycznia 2010, 13:40

A ja po kontroli skrzynek, w których ostatni wpis był dokonany w grudniu przed świętami sprawdziłem oceny na starej stronie OC i porównałem z tym co teraz jest na nowej stronie. I opadła mi kopara. Wynika że:

stare oceny - nowe oceny

3,0-2,6 znakomita
2,5-2,1 dobra
2,0-1,3 normalna
1,2- brak danych poniżej przeciętnej
0,3- brak danych słaba

Czyli wszystkie od 0 co -3 zostały wrzuczone razem do jednego wora. A skrzynki oceniane na 1 są teraz poniżej przeciętnej- to chyba nie jest normalne?
[url=http://geokrety.org/mypage.php?userid=1110][img]http://geokrety.org/statpics/1110.png[/img][/url][url=http://www.opencaching.pl/viewprofile.php?userid=4502][img]http://www.opencaching.pl/statpics/4502.jpg[/img][/url]

kufel
Wyjadacz
Posty: 354
Rejestracja: czwartek 29 maja 2008, 14:17
Lokalizacja: Podkarpacie

Post autor: kufel » poniedziałek 04 stycznia 2010, 16:00

alex22 pisze:
Czyli wszystkie od 0 co -3 zostały wrzuczone razem do jednego wora. A skrzynki oceniane na 1 są teraz poniżej przeciętnej- to chyba nie jest normalne?
Oceny minusowe były praktycznie nie używane,a jeśli już to w stosunku do skrzynek wirtualnych.Skrzynki tradycyjne dostawały minimum zero.
Obrazek

Awatar użytkownika
smok6
Stały bywalec
Posty: 128
Rejestracja: środa 28 października 2009, 20:38
Lokalizacja: Warszawa

Post autor: smok6 » poniedziałek 04 stycznia 2010, 16:18

Zależy które. Zdarzało mi się dać skrzynce tradycyjnej ujemną ocenę. Poza tym właśnie wirtuale miały oceny ujemne. Więc czemu skrzynkom tradycyjnym ocenę zaniżać?
[url=http://www.opencaching.pl/viewprofile.php?userid=14296][img]http://www.opencaching.pl/statpics/14296.jpg[/img][/url][url=http://geokrety.org/mypage.php?userid=4033][img]http://geokrety.org/statpics/4033.png[/img][/url]

Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10

Post autor: Bas » poniedziałek 04 stycznia 2010, 16:37

alex22 pisze:skrzynki oceniane na 1 są teraz poniżej przeciętnej- to chyba nie jest normalne?
Nie jest normalne.
Skala byla od -3 do +3. Zero bylo srodkiem skali, a wiec oceną neutralną. W takich warunkach 1 byla nawet powyzej oceny neutralnej, wiec w nowej skali powinna byc na poziomie co najmniej oceny przecietnej...

Awatar użytkownika
darkmoor
Wyjadacz
Posty: 284
Rejestracja: środa 20 lutego 2008, 14:10

Post autor: darkmoor » poniedziałek 04 stycznia 2010, 17:18

Dobrze że temat niesprawiedliwej oceny powrócił- ale czy ktoś z RR wogule to czyta- bo odnoszę wrażenie że te nasz pogadanki są g...uzik warte.
[url=http://www.opencaching.pl/viewprofile.php?userid=61][img]http://www.opencaching.pl/statpics/61.jpg[/img][/url]
[url=http://www.kel.com.pl]Wydawnictwo muzyczne[/url]

alex22
Forumator
Posty: 591
Rejestracja: poniedziałek 01 września 2008, 19:46
Lokalizacja: Zachodniopomorskie

Post autor: alex22 » poniedziałek 04 stycznia 2010, 17:51

Taki szybki przykład na podstawie pierwszego lepszego swojego kesza:
Stary: http://www.opencaching.pl/old/viewcache ... cheid=4969 ocena 1,2
Nowy:http://www.opencaching.pl/viewcache.php?cacheid=4969 ocena ponirzej przeciętnej.
Czyli wszystkie skrzynki które nie zasługiwały na ocenę 2 są bardzo KIEPSKIE- TO JEST CHORE.
[url=http://geokrety.org/mypage.php?userid=1110][img]http://geokrety.org/statpics/1110.png[/img][/url][url=http://www.opencaching.pl/viewprofile.php?userid=4502][img]http://www.opencaching.pl/statpics/4502.jpg[/img][/url]

Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Lokalizacja: N 53° 07.208' E 23° 05.935'
Kontakt:

Post autor: ted69 » poniedziałek 04 stycznia 2010, 18:58

alex22 pisze:Czyli wszystkie skrzynki które nie zasługiwały na ocenę 2 są bardzo KIEPSKIE- TO JEST CHORE.
Walczymy o wyzsza jakosc skrzynek :D :D :D
A wlascicieli skrzynek "ponizj przecietnej" - pod pregierze !!
Obrazek . Obrazek

Awatar użytkownika
picek
Wyjadacz
Posty: 474
Rejestracja: środa 06 maja 2009, 11:36
Lokalizacja: między lasem a centrum miasta
Kontakt:

Post autor: picek » wtorek 12 stycznia 2010, 14:07

http://forum.opencaching.pl/viewtopic.php?p=71974#71974
gwoli komentarza do tej tabelki:
Kod:
1 3
2 1,7
3 0,7
4 -0,5
5 -2
chyba powinno być odwrócenie w jednej z kolumn
ocena "5" z leweej to "stare 3" czy też "stare -2"?
chyba, że to są "numer wyboru z listy" czyli:
słaba - 1,
poniżej przeciętnej - 2
itd
ale to też nie pasuje ;)

A sama zmiana mi pasuje, tylko ta tabelka razi me oczy :P
Osiedle w mieście Łańcut - Łańcut - osiedle Sikorskiego

tATO
Wyjadacz
Posty: 424
Rejestracja: poniedziałek 05 maja 2008, 01:38

Post autor: tATO » wtorek 12 stycznia 2010, 14:10

Zaraz zmienię :)
[url=http://www.opencaching.pl/viewprofile.php?userid=1887][img]http://www.opencaching.pl/statpics/1887.jpg[/img][/url][img]http://img.geocaching.com/stats/img.aspx?txt=opencaching.pl&uid=629fd528-38cb-418c-83ac-86892464b4fe&bg=1[/img][url=http://geokrety.org/mypage.php?userid=486][img]http://geokrety.org/statpics/486.png[/img][/url]

Awatar użytkownika
smok6
Stały bywalec
Posty: 128
Rejestracja: środa 28 października 2009, 20:38
Lokalizacja: Warszawa

Post autor: smok6 » wtorek 12 stycznia 2010, 14:39

Sądzę, że zmiana jest w porównaniu do poprzedniej opcji na lepsze, bo lepiej wyważa zdania obu stron. Pozytywne jest to, że skrzynki powyżej 0 nie dostają ocen negatywnych.
[url=http://www.opencaching.pl/viewprofile.php?userid=14296][img]http://www.opencaching.pl/statpics/14296.jpg[/img][/url][url=http://geokrety.org/mypage.php?userid=4033][img]http://geokrety.org/statpics/4033.png[/img][/url]

Awatar użytkownika
Highlander
Forumator
Posty: 1353
Rejestracja: czwartek 12 lutego 2009, 22:31

Post autor: Highlander » niedziela 31 stycznia 2010, 23:32

Minął już miesiąc z nowym systemem ocen skrzynek. Minęły trzy tygodnie od ustabilizowania się przeliczników oceniania i prezentacji danych. Miałem więc trochę czasu żeby poobserwować jak to wygląda z punktu widzenia użytkownika (wspomagając się również wersją /old/ systemu która umożliwia wciąż podejrzenie oceny liczbowej). Zaznaczam że nie mam dostępu do szczegółowych danych statystycznych z bazy i są to jedynie obserwacje wybranych skrytek własnych oraz kolegów z Trójmiasta (starych i nowych).

Garść wniosków:

Koncepcja oceniania opisowego jest bardzo dobra i z pewnością unormuje rozkład ocen w długim okresie. Wg mnie niestety nie najlepszym pomysłem jest zastosowane podejście techniczne, czyli pozostawienie w bazie dotychczasowych ocen liczbowych i wprowadzenie nierównomiernego przelicznika nowych ocen opisowych na liczby wstawiane ostatecznie do bazy. Wg mnie jest ono "krzywdzące" dla nowych skrytek.

Postaram się to poniżej wytłumaczyć:

Obecna skala opisowa jest w założeniu symetryczna (5 ocen, 2 ponad średnią, 1 średnia, 2 poniżej średniej). Ale:
- każda z tych ocen jest ostatecznie przeliczana na liczbę ze starego zakresu {+3/-3} w sposób niesymetryczny (+3; +1.7; +0.7; -0.5; -2.0).
- średnia z 5 możliwych ocen to 0.58, czyli mamy lekkie przesunięcie w dół względem oceny normalnej (0.7)
- w dodatku różnice pomiędzy poszczególnymi ocenami są nierównomierne (różnice wynoszą od 1.5 do 1.0) co powoduje że waga niektórych ocen pod kątem średniej jest większa

Zakładając że ludzie zaczęli oceniać równomiernie, w dłuższym okresie czasu średnia ocena skrzynki będzie dążyć do 0.7. Jeśli będzie lekka przewaga dobrych to może dojdziemy do 1.0 - wciąż ocena "normalna" (chętnie bym się zapoznał z danymi z bazy za styczeń które może wyciągnąć RT - może moje założenia są błędne).

Problem w tym że starsze skrzynki jeśli tylko spełniały standardy przyzwoitości to z reguły miały oceny wokół 2.0 (ocena "dobra"). W efekcie skrzynki oceniane dopiero od stycznia mimo podobnej oceny w oczach znalazcy dostają relatywnie mniej punktów a więc i gorszą ocenę. Różnice te mogą się nigdy nie zniwelować jeśli starsza skrytka zdążyła już zebrać solidne 50 albo i więcej ocen wg starej skali.

Czy nie lepszym rozwiązaniem będzie wykonanie masowego przeskalowania wszystkich indywidualnych ocen sprzed 24.XII.2009 wg ustalonego przez RT klucza wagowego, który spowoduje że historyczne oceny wejdą w zakres {+2/-2} ze średnią w okolicach 0 (lub innej ustalonej przez RT na bazie średniej oceny za styczeń 2010), a obecnym ocenom opisowym przypisać symetryczne wartości {+2, +1, 0, -1, -2} ?

Wg mnie takie rozwiązanie umożliwi realną porównywalność starych i nowych skrytek.


DRUGA SPRAWA:

Dodatkowo zastanowiłbym się nad dokładniejszą prezentacją "średniej opisowej". Poprzednie bogactwo skali ocenowej zamieniliśmy na pięć opisów, z czego realnie w użyciu są górne cztery. Obecnie skrytka która zebrała połowę not "dobrych" i połowę "normalnych" ma taki sam uśredniony wynik ("normalna") co skrytka z połową "poniżej przeciętnej" i połową "normalnych". Dla mnie jest to zbytnie uogólnienie.

Receptą na to jest dodanie plusów lub minusów do oceny opisowej jeśli ocena jest bliska progu dolnego (dobra-) lub górnego (dobra+) albo prezentowanie w nawiasie za oceną opisową faktycznej średniej liczbowej - niemniej do tego drugiego rozwiązania trzeba by usymetrycznić oceny liczbowe o czym pisałem w pierwszej części wpisu.


Co o tym sądzicie - pytanie szczególnie kieruję do RT która dysponuje odpowiednimi danymi statystycznymi?
ObrazekObrazekObrazek

ODPOWIEDZ