InfoNarzędzia dla geokeszera

Wszystko co bazy dotyczy, pytania, wątpliwości, sprzęt itp...

Moderator: Moderatorzy

Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

filips pisze:z tym, że zipy bez obrazków. Uaktualniane codziennie.
Również - jeśli jest wola, mogę:
a) dodać uaktualnienia dzienne/tygodniowe
b) dodać tego zipa do rsynca - ... DO tego jakiś sprytny bat, który by to rozpakowywał
Mozna zrobic tak:
- najpierw pobrac zip z plikami html (uaktualnianymi codziennie) i rozpakowac
- pozniej uruchamiac rsync ;)

Jestem pewien, ze bedzie szybciej.

Radary z UMP sa tak uaktualniane:

Kod: Zaznacz cały

@echo off
wget -N http://ump.waw.pl/mapy/UMP-radary.zip
unzip32 -o UMP-radary.zip
del UMP-radary.zip
a na koncu niech bedzie uruchomienie "starego" rsynca. Co Wy na to?
Rozwiazanie jest elastyczne - nie trzeba wielkich zmian. A moze juz mozna pobrac paczke z plikami html przez wget :?:

Uwaga:
jezeli "codzienne" oznacza pliki z ostatniej doby, to lepsze byloby jednak "tygodniowe" - nabiera sensu zwlaszcza po weekendowych wpisach. Optymalne byloby... "3-5 dni"? Zeby nie pobierac tych samych skrzynek przy czestych aktualizacjach i nie zalapac sie na weekendowy boom nowych wpisow, gdy uaktualnienie robimy np. w czwartek.
Ostatnio zmieniony niedziela 20 lipca 2008, 14:26 przez Bas, łącznie zmieniany 1 raz.
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

Powstaje pytanie: gdzie ów zip miał by być trzymany - bo np na karcie pamieci było by to dodatkowe n-dziesiąt MB....

Sztywne pobieranie bazy zip wgetemza każdym razem - to strata łącza, bo wszak wtedy pobierane są wszystkie dane, bez względu na to, czy się zmieniły...

Bas: wgetem już można pobierać - tego zipa co podałem wyżej.


A z innej beczki: a Wy nie na keszach dziś?
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

ZIP - taki maly. Tylko nowe dane z ostatnich kilku dni. Wyjdzie niecaly 1MB.
(dopisalem ciut wyzej)

Wycieczki:
teraz obiad, a pozniej na rowery :)

filips pisze:Sztywne pobieranie bazy zip wgetem za każdym razem - to strata łącza, bo wszak wtedy pobierane są wszystkie dane
Spojrzalem na swieza baze. Pliki skrzynek z ostatnich 4 dni zajmuja 2.5MB. Spakowane 1.1MB. Nie wiem jak czesto synchronizujecie baze (tu najwazniejsza bylaby mediana wsrod osob krzystajacych z bazy Filipsa), ale czesciej chyba malo kto? Zawsze mozna zmniejszyc ten okres do np. 3 dni.
Straty lacza nie ma - wrecz przeciwnie. Dla powyzszego przykladu zysk jest 2.27 na korzysc zipa. Niektorzy na pewno synchonizuja codziennie - oni moga pobierac zip "1-dniowy" lub w ogole z zipa zrezygnowac. To bylyby linijki w pliku bat do REMowania 8)
Oczywiscie musialby byc na serwerze plik 1.zip i np. 3.zip (odpowiednio dla plikow z ostatniej doby i dni trzech)
Mogloby tak byc?
@Filips: jak to widzisz?

Oczywiscie, co nie bedzie uaktualnione w zipie to uaktualni sie chwile pozniej przez rsync...
UWAGA: w paczce warto dolaczyc pliki regionow i inne "grupowe".
Awatar użytkownika
shchenka
Moderator
Posty: 4284
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 3 razy
Otrzymał podziękowań: 8 razy
Kontakt:

Post autor: shchenka »

Czytam ten wątek i jakoś nie rozumiem co kombinujecie :(
Chcecie wspomagać rsync zipem jakoś, żeby odciążyć procka w serwerze filipsa czy coś w tym rodzaju ? (przepraszam że głupio pytam, bo widzę że dla was to jest jakieś oczywiste, a ja nie rozumiem)
[url=http://www.opencaching.pl/viewprofile.php?userid=972][img]http://www.opencaching.pl/statpics/972.jpg[/img][/url][img]http://geokrety.org/statpics/29.png[/img][url=http://www.geocaching.com/profile/?guid=7d375aa5-7415-4320-8f25-55df640ebdc7][img]http://img.geocaching.com/stats/img.aspx?txt=Opencaching+rulez&uid=7d375aa5-7415-4320-8f25-55df640ebdc7[/img][/url]
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

na bazie ostatnich doswiadczen: oplaca sie pobrac baze w jednym spakowanym pliku zip, niz te same pliki pobierac przez rsync.
Stad pomysl, zeby najpierw -> pobrac spakowane pliki z ostatnich np. 3 dni (opcja dla eksperymentatorow) -> rozpakowac -> uruchomic rsync.
(wszystko z jednego pliku bat, zeby nie klikac za duzo)

Jesli ktos uaktualnia baze codziennie, to jest to zbyteczne(?)
Na pewno korzystne dla tych, ktorzy robia to co kilka dni - zamiast pobierac 464 pliki z ostatnich 4 dni mozna pobrac jeden: bedzie zdecydownie mniejszy i zajmie to mniej czasu.
Tak to widze.
Ostatnio zmieniony niedziela 20 lipca 2008, 16:03 przez Bas, łącznie zmieniany 1 raz.
Awatar użytkownika
Hern
Forumator
Posty: 1022
Rejestracja: wtorek 15 lipca 2008, 01:34
Podziękował;: 10 razy
Otrzymał podziękowań: 13 razy

Post autor: Hern »

Cóż trzeba znaleźć złoty środek między wygodą a szybkością.
Na 100% opłaca się pobierać zipa od zera , czy po dłuższym czasie bez synchronizacji. 3 dni ... to zależy od ilości zmienionych danych. W lecie być może zip, w zimie na pewno rsync :)
ObrazekObrazekObrazek
NIE wyhaczam, NIE zaliczam, po prostu znajduję. A reszta o drzewo ...
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

zima nie spimy - sam sie przekonasz ;)
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

Patrzylem na pliki skrzynek (bez obrazkow i plikow "tematycznych"" z ostatnich 3 dni - wpisy weekendowe. Raport:
358 plikow = 1.92MB -> po spakowaniu 852kB

pliki tematyczne (okolice, rejony, tyt, usr):
102 pliki = 785 kB -> 242kB

razem:
460 plikow = 2.68 MB -> 1.09 MB

Jezeli mozna pobrac taka paczke przed rsync, to zysk jest oczywisty.
Zwlaszcza ilosc (460 plikow !!) robi wrazenie.

Pliki z tygodnia - tez 3 dni (od wtorku do czwartku):
252 pliki = 1.35 MB -> 0.6 MB

jezeli dolaczyc do tego pliki tematyczne, to wychodzi jeszcze ladniej.
Mysle, ze warto robic paczke z ostatnich 3 dni do pobrania wget przed rsync.
@Filips: co Ty na to?

(w okresie zimowym mozna zrobic REM lub wydluzyc okres z 3 do np. 5 dni)
Awatar użytkownika
shchenka
Moderator
Posty: 4284
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 3 razy
Otrzymał podziękowań: 8 razy
Kontakt:

Post autor: shchenka »

Bas pisze:razem:
460 plikow = 2.68 MB -> 1.09 MB

Jezeli mozna pobrac taka paczke przed rsync, to zysk jest oczywisty.
A ile to byłoby bajtów w przypadku transferu przez rsync ?
[url=http://www.opencaching.pl/viewprofile.php?userid=972][img]http://www.opencaching.pl/statpics/972.jpg[/img][/url][img]http://geokrety.org/statpics/29.png[/img][url=http://www.geocaching.com/profile/?guid=7d375aa5-7415-4320-8f25-55df640ebdc7][img]http://img.geocaching.com/stats/img.aspx?txt=Opencaching+rulez&uid=7d375aa5-7415-4320-8f25-55df640ebdc7[/img][/url]
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

A ja mam inny problem ktory moze sie trafic i innym. Do grzebania po telefonie SE K800i uzywam MyPhoneExplorer 1.6.7
http://www.fjsoft.at/en/
bardzo fajny soft, ma sporo uzytecznych rzeczy (jak np synchronizacje zdjec aparat - PC). Niestety, program wywala sie na folderze z baza filipsa - widac, za duzo plikow. A przeciez skrzynek bedzie przybywalo, zdjec do nich tez - wiec tego typu problem moze sie dosc szybko pojawic u kogos innego, na innym programie.
Rozwiazania widze dwa:
- skomasowanie troche plikow na zasadzie np jeden plik dla skrzynek ktorych numer zaczyna sie na kolejnej cyfery (ewentualnie dwoch pierwszych cyfr) - czyli plik 0.htm, 1.htm itd - a linki kierowalyby do odpowiedniego miejsca w takim pliku.
Rozwiazanie drugie - rozbudowanie struktury katalogow czyli zamiast duzego pliku 0.htm - katalog w ktorym byly by pliki ktorych nr zaczyna sie od 0.
Nie wiem, nie umiem powiedziec, jak posczegolne urzadzenia zachowywalyby sie przy takiej rozbudowanej strukturze.
Wariat pierwszy powodowalby wieksze transfery - zmiana jednej skrzynki z 0 na poczatku wymuszalaby wymiane calego duzego pliku.
Wydaje mi sie ze utrzymywanie dalej obecnego stanu (wszystkie pliki w jednym katalogu) moze dosc szybki "zatkac" cala baze.
Obrazek . Obrazek
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

Ted, Ty Spiochu :!:
Postulowalem wprowadzenie folderow na pliki jakis czas temu, Filips przymierza sie do przerobienia bazy, a ja w miedzyczasie juz to zrobilem, zeby znowu nie miec problemow z karta pamieci.

Otworz oczy i przeczytaj jeszcze raz watek:

http://forum.opencaching.pl/viewtopic.php?t=2488
;)
Ostatnio zmieniony poniedziałek 21 lipca 2008, 19:01 przez Bas, łącznie zmieniany 1 raz.
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Cos przegapilem ? :oops:
Jak sie nie czyta od razy to pozniej trudno sie wyrobic

EDIT
Tiaaaaa - zapamietalem tylko ten Twoj problem z kropeczkami - reszta gdzies mi uciekla :D A moze to juz skleroza :?:
Ostatnio zmieniony poniedziałek 21 lipca 2008, 19:02 przez ted69, łącznie zmieniany 1 raz.
Obrazek . Obrazek
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

napisalem ciut wyzej ;)
Awatar użytkownika
shchenka
Moderator
Posty: 4284
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 3 razy
Otrzymał podziękowań: 8 razy
Kontakt:

Post autor: shchenka »

Bas pisze:napisalem ciut wyzej ;)
No bo wydaje mi się, że kompresja wbudowana w rsync jest bardziej efektywna niż zip ?
[url=http://www.opencaching.pl/viewprofile.php?userid=972][img]http://www.opencaching.pl/statpics/972.jpg[/img][/url][img]http://geokrety.org/statpics/29.png[/img][url=http://www.geocaching.com/profile/?guid=7d375aa5-7415-4320-8f25-55df640ebdc7][img]http://img.geocaching.com/stats/img.aspx?txt=Opencaching+rulez&uid=7d375aa5-7415-4320-8f25-55df640ebdc7[/img][/url]
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

@Bas:
Jak będę miał chwilę, to popracuję nad zipami. Najpierw sprawdzę taką opcję:
jeden zip ze wszystkim uaktualniany na bieżąco, synchronizowany z zipem u usera na komputerze (jeden plik do porównania) a potem u tegoż usera rozpakowywany.
Jak będzie działało lepiej, to to wdrożę, jak nie, to zobaczymy :)

@Ted:
- skomasowanie troche plikow na zasadzie np jeden plik dla skrzynek ktorych numer zaczyna sie na kolejnej cyfery (ewentualnie dwoch pierwszych cyfr) - czyli plik 0.htm, 1.htm itd - a linki kierowalyby do odpowiedniego miejsca w takim pliku.
Problemem jest, że niektóre urządzenia (np mój nie taki stary SE K750i) nie wyświetla co większych stron, ew ładuje bardzo długo... więc może być to problem.

Najlepiej by było napisać aplikację w javie do obsługi danych, wtedy dane można by trzymać w dowolnej formie. Jest nawet coś ala MySQL pod jave, ale ja nie umiem, a nie mam czasu się uczyć, niestety.
Ale może ktoś będzie chętny :)
ODPOWIEDZ