Zafałszowane statystyki przez przemieszczające się kesze

Tu piszemy na tematy związane z serwisem Opencaching.pl

Moderator: Moderatorzy

Awatar użytkownika
krystiant
Forumator
Posty: 1927
Rejestracja: środa 29 października 2008, 23:55
Podziękował: 114 razy
Otrzymane podziękowania: 330 razy

Zafałszowane statystyki przez przemieszczające się kesze

Post autor: krystiant » niedziela 24 listopada 2019, 21:22

Hej,
długo się zastanawiałem czy podczepić się pod Smutny los zarchiwizowanych, czy zacząć nowy temat... Zacząłem nowy, bo mimo, że sprawa dotyczy zarchiwizowanych, to jednak jest to inny problem.

Kolega Tomaszg zrobił ciekawą stronkę ze statystykami i dopóki jej nie było to nie przeszkadzało mi, że niektórzy archiwizując kesze topili je w oceanie, ale patrząc na statystyki zobaczyłem, że na południe to byłem prawie na równiku, a wiem że ten kesz był koło Alwerni przy wiadukcie nad A4 i tym sposobem statystyki zafałszowane...

Rozwiązania problemu widzę dwa:
1. Decyzją COG w miarę możliwości staramy się przywrócić oryginalne (lub chociaż przybliżone) współrzędne - tylko tu wpadamy w stały problem "kesze są własnością zakładającego"
2. Dodajemy do bazy pole "współrzędne_znalezienia" i w statystykach znalazców to jest brane pod uwagę - zabezpieczy to przed opisywanym problemem "utopionych" keszy oraz "fałszowaniem" statystyk znalezień w rejonach powodowane przez przemieszczające się owny i mobiniaki (już słyszę jak deg narzeka, że to dużo roboty i geościeżki są ważniejsze :wink: )
Użytkownicy, którzy podziękowali autorowi krystiant za post:
Kika
Poczytaj zanim się zapytasz :wink:
Proszę o przemyślane wypowiedzi zgodne z REGULAMINEM FORUM a w szczególności z punktem 11

Obrazek Obrazek Obrazek
Staram się zachowywać właściwe proporcje - znalezień więcej niż postów ;-)

Awatar użytkownika
tomaszg
Nowy na forum
Posty: 18
Rejestracja: wtorek 10 września 2019, 10:56
Kontakt:

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: tomaszg » niedziela 24 listopada 2019, 22:16

Moje statystyki chwilowo pomijają owny i mobilniaki - co też jest pewnym fałszowaniem statystyk.

Ponadto takie geostatystyki są też fałszowane przez skrzynki niezgodne z regulaminem, np. czysto wirtualne skrzynki i quizy z abstrakcyjnymi współrzędnymi startowymi - typu OP07E9, OP1A37, OP1A65. W sumie można takich keszy nie logować na swoim koncie... Tu sytuacje uratowałby tylko jakiś tag typu "zdalna", ale trudno wymagać teraz od kogokolwiek przejrzenia całej bazy.
Obrazek Obrazek

rapotek
Stały bywalec
Posty: 198
Rejestracja: piątek 26 lutego 2016, 11:54
Lokalizacja: Pomorze

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: rapotek » niedziela 24 listopada 2019, 22:48

krystiant pisze:
niedziela 24 listopada 2019, 21:22
2. Dodajemy do bazy pole "współrzędne_znalezienia" i w statystykach znalazców to jest brane pod uwagę - zabezpieczy to przed opisywanym problemem "utopionych" keszy oraz "fałszowaniem" statystyk znalezień w rejonach powodowane przez przemieszczające się owny i mobiniaki (już słyszę jak deg narzeka, że to dużo roboty i geościeżki są ważniejsze :wink: )
Nie analizowałem tego, ale tak na szybko dla nowych znalezień wystarczyłoby dodać pole do tabeli i zmodyfikować jeden trigger. Nie jest to rozwiązanie eleganckie, jednak u nas działa w kilku przypadkach. Natomiast wiarygodne uzupełnienie bazy dla wcześniejszych znalezień, przy uwzględnieniu, że np. współrzędne się zmieniły pomiędzy znalezieniami - to osobna kwestia, nie wiem czy w ogóle wykonalna.

To tylko taka uwaga techniczna, na temat celowości wprowadzania tego typu rozwiązań się nie wypowiadam.

Awatar użytkownika
deg
Forumator
Posty: 1071
Rejestracja: sobota 07 grudnia 2013, 04:31

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: deg » poniedziałek 25 listopada 2019, 10:21

rapotek pisze:
niedziela 24 listopada 2019, 22:48
Nie analizowałem tego, ale tak na szybko dla nowych znalezień wystarczyłoby dodać pole do tabeli i zmodyfikować jeden trigger.
Niby tak, ale... to by nic nie zmieniło ;)
Jeśli dobrze rozumiem - strona ze statystykami czyta dane po OKAPI. Więc należałoby do tego dorobić jakąś metodę OKAPI i tu zaczynają się schody. Co w tym miejscu miałby publikować OC DE (OKAPI łączy zarówno nasz kod jak i kod OC DE)? I jeszcze jedno - ilość developerów zaangażowanych w rozwój OKAPI wynosi równe 0. Wrygiel wycofał się dłuższy czas temu, niedawno wycofał się following5 z Niemiec. Rapotek - jeśli chcesz i możesz - przejmij ten projekt i poprowadź dalej, bo jesteś to w stanie zrobić. Pamiętając jednak, że tu jesteśmy powiązani z OC DE, ich strukturą danych i odmienną od nas filozofią funkcjonowania serwisu.

Ponadto tego typu rozwiązanie nie rozwiązuje problemu fałszywych wyników wstecz. Analiza wstecz gdzie był dany kesz w momencie logowania to wykonalne, ciekawe zagadnienie, ale też mocno czasochłonne.
krystiant pisze:
niedziela 24 listopada 2019, 21:22
(już słyszę jak deg narzeka, że to dużo roboty i geościeżki są ważniejsze :wink: )
Do usług ;)
Zapomniałbym dodać, że geościeżki czekają na zrobienie ;)

A tak serio to faktycznie mocno RT cierpi na brak rąk do pracy. Jeśli ktoś ogarnia PHP + model MVC + MySQL/MariaDB + GIT i ma czas oraz ochotę się zaangażować w rozwój projektu - niech śmiało pisze na rt małpa OC PL.

A może by @tomaszg w swoim rozwiązaniu dał możliwość ignorowania pewnych keszy i przeliczania wyników bez nich?
"Kto ma rację dzień wcześniej od innych, ten przez dobę uchodzi za idiotę" Antoni de Rivarol
Obrazek

Awatar użytkownika
tomaszg
Nowy na forum
Posty: 18
Rejestracja: wtorek 10 września 2019, 10:56
Kontakt:

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: tomaszg » poniedziałek 25 listopada 2019, 11:45

deg pisze:
poniedziałek 25 listopada 2019, 10:21
Jeśli dobrze rozumiem - strona ze statystykami czyta dane po OKAPI. Więc należałoby do tego dorobić jakąś metodę OKAPI i tu zaczynają się schody.
Niekoniecznie metodę - wystarczy pole w istniejącej services/logs/entry albo w zrzucie bazy danych services/replicate/fulldump.
Co w tym miejscu miałby publikować OC DE (OKAPI łączy zarówno nasz kod jak i kod OC DE)?
null lub rzucić error, tak jak w przypadku innych metod/pól wspieranych tylko przez niektóre instalacje. Jest ich w końcu całkiem sporo.

Ogólnie taka funkcjonalność pewnie miałaby sens, ale nie naprawiłaby wszystkich problemów ze statystykami. Może lepszym rozwiązaniem tego problemu przemieszczających się keszy byłoby wprowadzenie ograniczenia zmiany współrzędnych do jakiegoś zakresu, np. 1km. Jeśli trzeba zmienić współrzędne o więcej, to raczej trudno mówić, że wciaż mamy do czynienia z tym samym keszem. Oczywiście z punktu widzenia statystyk da to jeszcze mniej - nie załatwi ownów i mobili. Ale przynajmniej nie wymaga ruszania OKAPI - można ograniczyć się do zapisu w regulaminie i ew. małej zmiany w kodzie serwisu.

Ponadto problem nie dotyczy tylko współrzędnych - także innych cech, które można zmieniać - np. trudność, teren, wielkość (o ile można je zmieniać, nie sprawdzałem).
deg pisze:
poniedziałek 25 listopada 2019, 10:21
Zapomniałbym dodać, że geościeżki czekają na zrobienie
Teraz sobie pomyślałem, że mógłbym do statystyk zbierać dane o ścieżkach zbierać bezpośrednio ze strony. Nie wiem tylko czy serwer by przetrzymał taki atak :)
deg pisze:
poniedziałek 25 listopada 2019, 10:21
A może by @tomaszg w swoim rozwiązaniu dał możliwość ignorowania pewnych keszy i przeliczania wyników bez nich?
Już dodałem ignorowanie ownów i mobili. Trudno jednak wykryć, które współrzędne są od czapy. Ignorować wszystkie archiwizowane? Stworzyć bazę "złych" keszy? Odrzucać wszystkie poza Polską?
Obrazek Obrazek

Awatar użytkownika
deg
Forumator
Posty: 1071
Rejestracja: sobota 07 grudnia 2013, 04:31

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: deg » poniedziałek 25 listopada 2019, 17:24

tomaszg pisze:
poniedziałek 25 listopada 2019, 11:45
Może lepszym rozwiązaniem tego problemu przemieszczających się keszy byłoby wprowadzenie ograniczenia zmiany współrzędnych do jakiegoś zakresu, np. 1km. Jeśli trzeba zmienić współrzędne o więcej, to raczej trudno mówić, że wciaż mamy do czynienia z tym samym keszem. Oczywiście z punktu widzenia statystyk da to jeszcze mniej - nie załatwi ownów i mobili. Ale przynajmniej nie wymaga ruszania OKAPI - można ograniczyć się do zapisu w regulaminie i ew. małej zmiany w kodzie serwisu.
To jest kwestia wyboru co jest ważniejsze - czy statystyki w zewnętrznym serwisie, czy wolność keszerów decydowania o własnych keszach.

A tak bardziej merytorycznie - nie chciałbyś się zająć rozwojem naszego serwisu? Całość statystyk OC warta jest przerobienia, optymalizacji i unowocześnienia. Z resztą - leży już ponad 300 tematów do ogarnięcia (https://github.com/opencaching/opencaching-pl/issues) i czeka na wolne ręce do pracy.
"Kto ma rację dzień wcześniej od innych, ten przez dobę uchodzi za idiotę" Antoni de Rivarol
Obrazek

Awatar użytkownika
tomaszg
Nowy na forum
Posty: 18
Rejestracja: wtorek 10 września 2019, 10:56
Kontakt:

Re: Zafałszowane statystyki przez przemieszczające się kesze

Post autor: tomaszg » poniedziałek 25 listopada 2019, 18:12

deg pisze:
poniedziałek 25 listopada 2019, 17:24
tomaszg pisze:
poniedziałek 25 listopada 2019, 11:45
Może lepszym rozwiązaniem tego problemu przemieszczających się keszy byłoby wprowadzenie ograniczenia zmiany współrzędnych do jakiegoś zakresu, np. 1km. Jeśli trzeba zmienić współrzędne o więcej, to raczej trudno mówić, że wciaż mamy do czynienia z tym samym keszem. Oczywiście z punktu widzenia statystyk da to jeszcze mniej - nie załatwi ownów i mobili. Ale przynajmniej nie wymaga ruszania OKAPI - można ograniczyć się do zapisu w regulaminie i ew. małej zmiany w kodzie serwisu.
To jest kwestia wyboru co jest ważniejsze - czy statystyki w zewnętrznym serwisie, czy wolność keszerów decydowania o własnych keszach.
To prawdopodobnie dotyczy również statystyk wewnętrznych, czy choćby podglądu na wbudowanej mapie. Nie upieram się przy swoim pomyśle, ale nie nazwałbym tego zamachem na wolność keszerów - raczej próbą utrzymania porządku. Trudno jest uzasadnić sens przenoszenia kesza niemobilnego np. na drugi koniec Polski, czy do Afganistanu. W każdym razie po to jest regulamin, by tak ograniczyć wolność wszystkich, żeby wszystkim było wygodnie, wliczając w to szukających.
A tak bardziej merytorycznie - nie chciałbyś się zająć rozwojem naszego serwisu?
Za słabo znam PHP i SQL, żeby za coś tak dużego się brać. Już te zapytania do moich statystyk przekraczają mój poziom ;) Samo opanowanie podstaw już istniejącego kodu to poważny wysiłek. Nie wykluczam, że w przyszłości zacznę w tym grzebać, ale na razie lekko przeraża mnie to trochę. Może w wolnym czasie popatrzę na stronę statystyk, ale trochę duplikowałbym już zrobioną przez siebie robotę ;)
Obrazek Obrazek

ODPOWIEDZ