Opencaching Polska - Forum

filips pisze:z tym, że zipy bez obrazków. Uaktualniane codziennie.
Również - jeśli jest wola, mogę:
a) dodać uaktualnienia dzienne/tygodniowe
b) dodać tego zipa do rsynca - ... DO tego jakiś sprytny bat, który by to rozpakowywał

Mozna zrobic tak:
- najpierw pobrac zip z plikami html (uaktualnianymi codziennie) i rozpakowac
- pozniej uruchamiac rsync

Jestem pewien, ze bedzie szybciej.

Radary z UMP sa tak uaktualniane:a na koncu niech bedzie uruchomienie "starego" rsynca. Co Wy na to?
Rozwiazanie jest elastyczne - nie trzeba wielkich zmian. A moze juz mozna pobrac paczke z plikami html przez wget

Uwaga:
jezeli "codzienne" oznacza pliki z ostatniej doby, to lepsze byloby jednak "tygodniowe" - nabiera sensu zwlaszcza po weekendowych wpisach. Optymalne byloby... "3-5 dni"? Zeby nie pobierac tych samych skrzynek przy czestych aktualizacjach i nie zalapac sie na weekendowy boom nowych wpisow, gdy uaktualnienie robimy np. w czwartek.

Powstaje pytanie: gdzie ów zip miał by być trzymany - bo np na karcie pamieci było by to dodatkowe n-dziesiąt MB....

Sztywne pobieranie bazy zip wgetemza każdym razem - to strata łącza, bo wszak wtedy pobierane są wszystkie dane, bez względu na to, czy się zmieniły...

Bas: wgetem już można pobierać - tego zipa co podałem wyżej.


A z innej beczki: a Wy nie na keszach dziś?

ZIP - taki maly. Tylko nowe dane z ostatnich kilku dni. Wyjdzie niecaly 1MB.
(dopisalem ciut wyzej)

Wycieczki:
teraz obiad, a pozniej na rowery

filips pisze:Sztywne pobieranie bazy zip wgetem za każdym razem - to strata łącza, bo wszak wtedy pobierane są wszystkie dane

Spojrzalem na swieza baze. Pliki skrzynek z ostatnich 4 dni zajmuja 2.5MB. Spakowane 1.1MB. Nie wiem jak czesto synchronizujecie baze (tu najwazniejsza bylaby mediana wsrod osob krzystajacych z bazy Filipsa), ale czesciej chyba malo kto? Zawsze mozna zmniejszyc ten okres do np. 3 dni.
Straty lacza nie ma - wrecz przeciwnie. Dla powyzszego przykladu zysk jest 2.27 na korzysc zipa. Niektorzy na pewno synchonizuja codziennie - oni moga pobierac zip "1-dniowy" lub w ogole z zipa zrezygnowac. To bylyby linijki w pliku bat do REMowania
Oczywiscie musialby byc na serwerze plik 1.zip i np. 3.zip (odpowiednio dla plikow z ostatniej doby i dni trzech)
Mogloby tak byc?
@Filips: jak to widzisz?

Oczywiscie, co nie bedzie uaktualnione w zipie to uaktualni sie chwile pozniej przez rsync...
UWAGA: w paczce warto dolaczyc pliki regionow i inne "grupowe".

Czytam ten wątek i jakoś nie rozumiem co kombinujecie
Chcecie wspomagać rsync zipem jakoś, żeby odciążyć procka w serwerze filipsa czy coś w tym rodzaju ? (przepraszam że głupio pytam, bo widzę że dla was to jest jakieś oczywiste, a ja nie rozumiem)

na bazie ostatnich doswiadczen: oplaca sie pobrac baze w jednym spakowanym pliku zip, niz te same pliki pobierac przez rsync.
Stad pomysl, zeby najpierw -> pobrac spakowane pliki z ostatnich np. 3 dni (opcja dla eksperymentatorow) -> rozpakowac -> uruchomic rsync.
(wszystko z jednego pliku bat, zeby nie klikac za duzo)

Jesli ktos uaktualnia baze codziennie, to jest to zbyteczne(?)
Na pewno korzystne dla tych, ktorzy robia to co kilka dni - zamiast pobierac 464 pliki z ostatnich 4 dni mozna pobrac jeden: bedzie zdecydownie mniejszy i zajmie to mniej czasu.
Tak to widze.

Cóż trzeba znaleźć złoty środek między wygodą a szybkością.
Na 100% opłaca się pobierać zipa od zera , czy po dłuższym czasie bez synchronizacji. 3 dni ... to zależy od ilości zmienionych danych. W lecie być może zip, w zimie na pewno rsync

zima nie spimy - sam sie przekonasz

Patrzylem na pliki skrzynek (bez obrazkow i plikow "tematycznych"" z ostatnich 3 dni - wpisy weekendowe. Raport:
358 plikow = 1.92MB -> po spakowaniu 852kB

pliki tematyczne (okolice, rejony, tyt, usr):
102 pliki = 785 kB -> 242kB

razem:
460 plikow = 2.68 MB -> 1.09 MB

Jezeli mozna pobrac taka paczke przed rsync, to zysk jest oczywisty.
Zwlaszcza ilosc (460 plikow !!) robi wrazenie.

Pliki z tygodnia - tez 3 dni (od wtorku do czwartku):
252 pliki = 1.35 MB -> 0.6 MB

jezeli dolaczyc do tego pliki tematyczne, to wychodzi jeszcze ladniej.
Mysle, ze warto robic paczke z ostatnich 3 dni do pobrania wget przed rsync.
@Filips: co Ty na to?

(w okresie zimowym mozna zrobic REM lub wydluzyc okres z 3 do np. 5 dni)

Bas pisze:razem:
460 plikow = 2.68 MB -> 1.09 MB

Jezeli mozna pobrac taka paczke przed rsync, to zysk jest oczywisty.

A ile to byłoby bajtów w przypadku transferu przez rsync ?

A ja mam inny problem ktory moze sie trafic i innym. Do grzebania po telefonie SE K800i uzywam MyPhoneExplorer 1.6.7
http://www.fjsoft.at/en/
bardzo fajny soft, ma sporo uzytecznych rzeczy (jak np synchronizacje zdjec aparat - PC). Niestety, program wywala sie na folderze z baza filipsa - widac, za duzo plikow. A przeciez skrzynek bedzie przybywalo, zdjec do nich tez - wiec tego typu problem moze sie dosc szybko pojawic u kogos innego, na innym programie.
Rozwiazania widze dwa:
- skomasowanie troche plikow na zasadzie np jeden plik dla skrzynek ktorych numer zaczyna sie na kolejnej cyfery (ewentualnie dwoch pierwszych cyfr) - czyli plik 0.htm, 1.htm itd - a linki kierowalyby do odpowiedniego miejsca w takim pliku.
Rozwiazanie drugie - rozbudowanie struktury katalogow czyli zamiast duzego pliku 0.htm - katalog w ktorym byly by pliki ktorych nr zaczyna sie od 0.
Nie wiem, nie umiem powiedziec, jak posczegolne urzadzenia zachowywalyby sie przy takiej rozbudowanej strukturze.
Wariat pierwszy powodowalby wieksze transfery - zmiana jednej skrzynki z 0 na poczatku wymuszalaby wymiane calego duzego pliku.
Wydaje mi sie ze utrzymywanie dalej obecnego stanu (wszystkie pliki w jednym katalogu) moze dosc szybki "zatkac" cala baze.

Ted, Ty Spiochu
Postulowalem wprowadzenie folderow na pliki jakis czas temu, Filips przymierza sie do przerobienia bazy, a ja w miedzyczasie juz to zrobilem, zeby znowu nie miec problemow z karta pamieci.

Otworz oczy i przeczytaj jeszcze raz watek:

http://forum.opencaching.pl/viewtopic.php?t=2488

Cos przegapilem ?
Jak sie nie czyta od razy to pozniej trudno sie wyrobic

EDIT
Tiaaaaa - zapamietalem tylko ten Twoj problem z kropeczkami - reszta gdzies mi uciekla A moze to juz skleroza

napisalem ciut wyzej

Bas pisze:napisalem ciut wyzej

No bo wydaje mi się, że kompresja wbudowana w rsync jest bardziej efektywna niż zip ?

@Bas:
Jak będę miał chwilę, to popracuję nad zipami. Najpierw sprawdzę taką opcję:
jeden zip ze wszystkim uaktualniany na bieżąco, synchronizowany z zipem u usera na komputerze (jeden plik do porównania) a potem u tegoż usera rozpakowywany.
Jak będzie działało lepiej, to to wdrożę, jak nie, to zobaczymy

@Ted:

- skomasowanie troche plikow na zasadzie np jeden plik dla skrzynek ktorych numer zaczyna sie na kolejnej cyfery (ewentualnie dwoch pierwszych cyfr) - czyli plik 0.htm, 1.htm itd - a linki kierowalyby do odpowiedniego miejsca w takim pliku.

Problemem jest, że niektóre urządzenia (np mój nie taki stary SE K750i) nie wyświetla co większych stron, ew ładuje bardzo długo... więc może być to problem.

Najlepiej by było napisać aplikację w javie do obsługi danych, wtedy dane można by trzymać w dowolnej formie. Jest nawet coś ala MySQL pod jave, ale ja nie umiem, a nie mam czasu się uczyć, niestety.
Ale może ktoś będzie chętny