InfoNarzędzia dla geokeszera

Bas · Post autor: **Bas** » poniedziałek 09 czerwca 2008, 17:47

A, nie ma sprawy

za kazdym razem zastanawiam sie, czy Ci to zglaszac...
Baza dziala i ma sie dobrze. Czasami cos wyskoczy, ale to drobiazgi. Jesli pojawiaja sie przypadkowo, to zglaszanie ich nie ma sensu, a jesli mozna cos poprawic, to ma to sens. Jak to jest?

Bas · Post autor: **Bas** » niedziela 20 lipca 2008, 02:20

Problem:
podczas synchronizacji pobrane zostaje 5-7 skrzynek w sesji, po czym rsync staje. Ponowne uruchomienie pozwala pobrac kolejnych 5-7 skrzynek i znowu STOP. Probowalem tak kilka razy - jeszcze nie dotarlem do synchronizacji obrazkow...

Tez tak macie??

EDIT:
pomyslalem, ze zamiast pelnej (z obrazkami) zrobie synchronizacje tylko html - jest mniej plikow do synchronizacji. Efekt: synchronizacja idzie pieknie, ale w koncu sie zatrzymuje. Na dodatek pliki na dysku nie ulegly zmianie (nawet te z ekranu synchronizacji) - w kazdym razie nie widac tego po datach plikow. Znowu STOP

Osiagnelismymy jakis limit??

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 06:26

Puscilem wlasnie pelna synchronizacje na dysk i poszlo OK

Number of files: 14476
Number of files transferred: 186
Total file size: 136.77M bytes
Total transferred file size: 1.74M bytes
Literal data: 280.58K bytes
Matched data: 1.46M bytes
File list size: 588505
File list generation time: 40.076 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 18.16K
Total bytes received: 878.66K

sent 18.16K bytes received 878.66K bytes 12.90K bytes/sec
total size is 136.77M speedup is 152.50
---------------------------------
Synchronizacja bazy zakoÂ˝czona

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 06:50

Zapuscilem tez synchronizacje na telefon - idzie OK ale chyba wiem na czym polega Twoj problem - jestes niecierpliwy

Jesli przy synchronizacji zmienia plik na na pozycji 9000 i nastepny dopiero 5000, to wyglada to tak, jakby sie zawiesil - mruga kursor i nic sie nie dzieje przez kilka minut. Wystarczy cierpliwie poczekac

Bas · Post autor: **Bas** » niedziela 20 lipca 2008, 09:57

ted69 pisze:chyba wiem na czym polega Twoj problem - jestes niecierpliwy
...Wystarczy cierpliwie poczekac

czekalem, Ted.
Po 10 minutach zamykane jest polaczenie i tyle.

Za to puscilem dzisiaj rano i:

2008/07/20 09:22:19 [1028] Wygenerowano dnia: Sun, 20 Jul 2008 09:16:17 +0200
2008/07/20 09:22:19 [1028] Czas wykonywania skryptu: 12.69s.
2008/07/20 09:22:19 [1028] Dane pochodza z serwisu opencaching.pl [1] i zostaly przekonwertowane
...
2008/07/20 09:22:26 [3268] receiving file list
2008/07/20 09:24:00 [3056] .d..t...... oc/
2008/07/20 09:24:01 [3056] >f+++++++++ oc/.html
2008/07/20 09:24:02 [3056] >f.s....... oc/0319.html
2008/07/20 09:24:02 [3056] >f.s....... oc/031A.html
2008/07/20 09:24:02 [3056] >f.st...... oc/031B.html
... i tak po kolei...
2008/07/20 09:24:16 [3056] >f.s....... oc/036A.html
2008/07/20 09:24:16 [3056] >f.s....... oc/036B.html
2008/07/20 09:24:16 [3056] >f.s....... oc/036C.html
2008/07/20 09:24:16 [3056] >f.s....... oc/036D.html
2008/07/20 09:24:17 [3056] >f.s....... oc/036E.html
2008/07/20 09:24:17 [3056] >f.s....... oc/036F.html
2008/07/20 09:24:17 [3056] >f.s....... oc/0370.html
2008/07/20 09:24:17 [3056] >f.s....... oc/0371.html
2008/07/20 09:24:18 [3056] >f.s....... oc/0372.html
2008/07/20 09:24:18 [3056] >f.s....... oc/0373.html
2008/07/20 09:24:18 [3056] >f.s....... oc/0374.html
2008/07/20 09:24:18 [3056] >f.s....... oc/0375.html
2008/07/20 09:24:18 [3056] >f.s....... oc/0376.html
2008/07/20 09:34:18 [3056] io timeout after 600 seconds -- exiting
2008/07/20 09:34:18 [3056] rsync error: timeout in data send/receive (code 30) at io.c(239) [receiver=3.0.2]
2008/07/20 09:34:18 [3268] rsync: connection unexpectedly closed (74 bytes received so far) [generator]
2008/07/20 09:34:18 [3268] rsync error: error in rsync protocol data stream (code 12) at io.c(635) [generator=3.0.2]

wiec............ teraz zsynchronizuje wylacznie html -jesli sie uda

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 10:06

Hmmmm - to moze jakies klopoty na laczach ? Sprawdzales na jakichs innych plikach, z innych serwerow ?

Bas · Post autor: **Bas** » niedziela 20 lipca 2008, 10:37

Sprawdzalem lacza

Miedzy jednym rsync a drugim pobralem mape UMP (ok. 55 MB) - poszlo z maksymalna predkoscia.

Widze, ze Filips przebudowal baze - pliki pobierane sa kolejno numerami...

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 10:46

To ja zupelnie nie mam pomyslow. Teraz (10:45) zapuscilem synchronizacje jeszcze raz - 114 plikow poszlo "jak burza".

Bas · Post autor: **Bas** » niedziela 20 lipca 2008, 10:53

mam jeden pomysl

Ty wgrywales baze wczoraj - masz wszystko nowe.
Wyrznalem cala baze html i na pustej bazie puscilem rsync - na razie dziala i pobiera skrzynki jedna po drugiej, bez zadnych grymasow. Doszedl juz do OP 0B20 i pobiera nastepne...

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 10:55

Od nowa wgrywalem na karte w telefonie - na dysku mialem dosc stara - ale jesli dziala ......

filips · Post autor: **filips** » niedziela 20 lipca 2008, 11:09

Bas pisze:Widze, ze Filips przebudowal baze - pliki pobierane sa kolejno numerami...

Być może obliczyły się Najbliższe Skrzynki (obliczają się co 10 dni). Zwiększyłem też liczbę ostatnich logów (do 20 chyba).

Hern · Post autor: **Hern** » niedziela 20 lipca 2008, 11:20

Wczoraj, kiedy pytałem bazę BAS podał to jawnie jej adres. Może masę ludzi się na nią rzuciło ? To pytanie do właściciela serwera, z ilu adresów wczoraj po południu była synchronizacja.
Mnie też parę razy zerwało. W tej chwili mam całość.

Dopiero w nocy zorientowałem się, że nie tak powinno się robić. Tam są zipy całości. Ściągnięcie jednego pliku trwa znacznie krócej niż synchronizacja ponad 14 tys. Jeżeli ktoś startuje od zera, powinien ściągnąć zipa, rozpakować i dopiero po tym puścić synchronizację. Byłoby szybciej i ekonomiczniej.

Bas · Post autor: **Bas** » niedziela 20 lipca 2008, 11:40

sa zipy?
To super!
Kiedys byly i to byla swietna sprawa. Pozniej nie bylo, nie bylo.... nie bylo... Teraz sa? (zawsze byly???)
Byla tez kiedys mozliwosc pobierania tygodniowych aktualizacji - juz znowu jest? Bedzie?
@Filips: napiszesz slowko?

Na bazie walk z baza:
ja pobieralem ok. 1 w nocy. Dzisiaj probowalem rano i tez klapa. Dopiero usuniecie calej bazy html uratowalo sytuacje - rsync pobral wszystko od nowa bez problemow

Teraz synchronizacja calosci: widze, ze juz przeskoczyl html i synchronizuje obrazki

...
Edit: wszystko pieknie zsynchronizowane!

filips · Post autor: **filips** » niedziela 20 lipca 2008, 13:45

Bas pisze:sa zipy?
To super!
Kiedys byly i to byla swietna sprawa. Pozniej nie bylo, nie bylo.... nie bylo... Teraz sa? (zawsze byly???)
Byla tez kiedys mozliwosc pobierania tygodniowych aktualizacji - juz znowu jest? Bedzie?
@Filips: napiszesz slowko?

ZIPy były, są i chyba będą

DO pobrania tutaj:
http://oc.achjoj.info/index-n.php#old
z tym, że zipy bez obrazków. Uaktualniane codziennie.

Chyba rzeczywiście warto - gdy ktoś zaczyna "od zera" - żeby nie rsyncował całej bazy, ale ściągnął zipa a potem już różnicowo pobierał tylko uaktualnienia.

Również - jeśli jest wola, mogę:
a) dodać uaktualnienia dzienne/tygodniowe
b) dodać tego zipa do rsynca - może ściągnięcie poprawki jednego pliku będzie szybsze niż kilku tysięcy? To jest chyba dobra myśl! DO tego jakiś sprytny bat, który by to rozpakowywał tak, by dla usera wszystko było po staremu... - co myślicie?

ted69 · Post autor: **ted69** » niedziela 20 lipca 2008, 13:52

filips pisze: b) dodać tego zipa do rsynca - może ściągnięcie poprawki jednego pliku będzie szybsze niż kilku tysięcy? To jest chyba dobra myśl! DO tego jakiś sprytny bat, który by to rozpakowywał tak, by dla usera wszystko było po staremu... - co myślicie?

Np jakos samorozpakowujacy sie zip (dla Win) - gorzej beda mieli jabluszkowcy.