Opencaching Polska - Forum

Napisałem mały programik ułatwiający mi pracę na bazie filipsa i na bazie strony opencaching.pl.

Może komuś się przyda. Program pisałem głównie na własny użytek i pod swoim kontem, więc jego funkcjonalność dla niektórych może być niewygodna. Zdecydowałem się go trochę przerobić i opublikować tu na forum.

Kilka informacji technicznych:

* RACZEJ NA WINDOWS XP

*Program pobiera bazę filipsa z internetu
*Program zapisuje w telefonie całą bazę z dysku twardego (musi być wcześniej pobrana lub zaktualizowana)
*Program pozwala importować z opencaching.pl pliki UAM, TXT, GPX itp do max 100 skrzynek jednocześnie (tworzy też w tym czasie zmodyfikowaną bazę na podstawie bazy filipsa)
*Program może być niestabilny ponieważ jest to jego pierwszy wypust
*Program jest oczywiście freeware


UWAGA: Ze względu na to, że program pobiera z opencaching.pl i ze strony filipsa jakieś dane, zalecam szczególną rozwagę przy korzystaniu z programu, żeby nie marnować niepotrzebnie transferu tych stron!!!

Dodatkowe informacje:
W katalogu programu jest tworzony folder "baza" z bazą filipsa (zawierający index.html i katalog OC), więc jeśli już masz bazę filipsa na komputerze, postaraj zainstalować się program w taki sposób, aby w folderze z instalacją był katalog baza zawierający bazę.
Na karcie pamięci (domyślnie narazie tylko tak można transferować - przez czytnik kart) tworzony jest katalog opencaching a w nim katalog bazamobilna itp. To już zobaczysz korzystając z programu.

PIERWSZE ściągnięcie całej bazy (jeśli nie masz lub coś zrobisz nie tak jak trzeba może potrwać do kilku godzin). To samo tyczy się pierwszego przenoszenia na kartę pamięci.



Link do programu: http://pulpit.ovh.org/setup.exe


Pamiętaj, program może być niedopracowany lub zawierać błędy. Ale wszystkie słowa krytyki mile widziane, jendak jeśli cie się nie podoba to nie musisz mieszać mnie z błotem. Poprostu nie korzystaj.

elektronika pisze:*Program pobiera bazę filipsa z internetu
*Program zapisuje w telefonie całą bazę z dysku twardego (musi być wcześniej pobrana lub zaktualizowana)
*Program pozwala importować z opencaching.pl pliki UAM, TXT, GPX itp do max 100 skrzynek jednocześnie

Aktualizacja danych:
Napisalbys slowko o aktualizacjach bazy - kolejnych uruchomieniach? Pobierana jest calosc/tylko zmiany? Do tej pory korzystalem z rsync. W czym bedzie korzysc dla programu?

Telefon:
Czy jest mozliwosc przeslac dane do pocketa? Nie widac go w systemie jako naped i komunikacja odbywa sie przez ActiveSync - strasznie meczace. Przez zewnetrzny czytnik kart oczywiscie tak.

100 skrzynek:
Ktore skrzynki sa pobierane? Wg jakiego klucza?
Jest goraca potrzeba pobrania WSZYSTKICH skrzynek w jednym pliku - myslisz, ze w przyszlosci bedzie to mozliwe?

Kilka słów wyjaśnienia dla Basa:

1. Tak program później uaktualnia gdy ma bazę na dysku. Dalej jest to rsync, tylko trochę przerobiony (zarówno przy aktualizacji na komputer jak i z komputera na kartę). To oznacza, że później pobierane i kopiowane są tylko zmiany. Pierwsza część programu jest to tylko typowa nakładka na bazę filipsa. Natomiast moduł exportu 100 skrzynek to już trochę co innego, ponieważ znacznie zmienia strukturę bazy filipsa. A ograniczenie do 100 skrzynek jest ze względu, na to, że muszę bardzo popracować nad metodą aktualizacji (nie przez rsync) poprzez porównywanie dat plików. Aktualnie te max 100 skrzynek pobierane jest od podstaw (tylko HTML jest brany z dysku twardego).

2. Aktualnie obsługuje tylko czytnik kart czyli napęd widziany jako dysk. Pracuję jeszcze nad obsługą PocketPC przez Activesync, ale to trochę potrwa. Chociaż ze względu na wolny transfer activesynca będzie to męczące, dlatego lepszy jest czytnik kart.

3. Akualnie obsługa 100 skrzynek wygląda tak: Wyszukujesz przez współrzędne (wyniki pobiera bezpośrednio z OC PL), dodajesz wg nazwy waypointa a potem usuwasz zbędne i zostawiasz 100 możliwych, które kopiuje wg klucza: kartapamięci \opencaching\bazamobilna\OPxxxx\ rózne pliki dotyczące skrzynki.

4. Popracuję nad bazą danych dla pocketpc w jednym pliku, ale to długo potrwa, ponieważ muszę dokształcić się w .net framework dla windows mobile i w javie dla komórek.

Bas pisze: Jest goraca potrzeba pobrania WSZYSTKICH skrzynek w jednym pliku - myslisz, ze w przyszlosci bedzie to mozliwe?

Ale jeszcze opisz to dokładniej. O co chodzi. W konkretnym formacie, czy bazie danych?

elektronika pisze:Pracuję jeszcze nad obsługą PocketPC przez Activesync, ale to trochę potrwa. Chociaż ze względu na wolny transfer activesynca będzie to męczące

Rozumiem, ze nawet jesli bedzie to mozliwe, to z przyczyn odgornych nie ma szans na szybki transfer? No, to bieda

elektronika pisze:3. Akualnie obsługa 100 skrzynek wygląda tak...

Uff, musze to sprawdzic na zywo. Zerkne wieczorem

Wszystko w jednym pliku:
na razie mozna pobierac pliki gpx/uam/txt w paczkach po 500 skrzynek. Byloby swietnie gdyby mozna bylo pobrac dane wszystkich skrzynek z OC w jednym pliku gpx/uam/wpt...

To pobieranie w jednym pliku to niezły pomysł. Popracuje nad tym w pierwszej kolejności. Na początek będę musiał jednak dobrać się do wnętrza tych plików i przestudiować ich architekturę. No i jest jeszcze problem aktualizacji (ale to można by rozwiązać zczytywaniem dat z plików w bazie filipsa i dołączaniem kolejnych skrzynek do istniejącego pliku, przynajmniej mam taką nadzieję).


EDIT:

Po wstępnej analizie:

Większość plików (GPX, loc, xml...) to czysty tekst w xml wiec nie bedzie z tym problemu, przynajmniej w takiej postaci jak są. Ale może być problem z plikami do automapy, ponieważ to już nie jest czysty tekst i muszę chwilę pomyśleć jak się do nich dobrać.

Napiszę tak: Będzie możliwe w jednej z najbliższych wersji programu wygenerowanie plików z całą bazą skrzynek na podstawie zaktualizowanej przez program bazy filipsa. To kwestia tygodnia, może dwóch (mam nadzieję)

Chociaż wydaje mi się, że łatwiej by było o ile jest taka możliwość i chęci Rady Technicznej, aby generować i wystawiać te pliki po stronie serwera, tak jak są generowane teraz przy wyszukiwaniu.

Obawiam się, że porównywanie bazy filipsa i sciąganie poszczególnych plików do każdej skrzynki oraz doklejanie ich może pożreć ogromne ilości transferu, a za to ktoś mógłby mnie zjeść

elektronika pisze:Obawiam się, że porównywanie bazy filipsa i sciąganie poszczególnych plików do każdej skrzynki oraz doklejanie ich może pożreć ogromne ilości transferu

Moze nie porownywac?
Jesli okaze sie, ze plik skrzynki jest nowszy i jest pobierany przez rsync, to automatycznie pobrac gpx dla tej skrzynki (opcjonalnie, checkbox)

(zerkam na program jednym okiem)
- Moze dac wieksza szerokosc formy lub zmienic tytul, bo sie nie miesci?
- moze dolaczyc pozniej readme.txt?
- w czasie aktualizacji nie ma zadnej informacji o postepie. Nie wiadomo, czy to potrwa chwile, czy kilka godzin. Moze chociaz nazwa aktualizowanej skrzynki? Jakies info, zeby uspokoic usera, ze program dziala i ma ma sie dobrze. Po minucie dzialania program antywirusowy zglosil zadanie dostepu do internetu - ze strony programu nie ma informacji, ze nie moze dostac sie do bazy. Nazwa okienka aktualizacji nie miesci sie w formie.

na razie trwa aktualizacja...
cdn.

Te drobiazgi dopracuje, troche sie tego znajdzie.

A co do wszystkich plików połąconych w jeden:
GPX mam już opracowane. Pobiera najnowsze ze strony oraz zmodyfikowane i dorzuca do jednego pliku. Myślę, że całość będzie gotowa w ciągu max 2 tygodnie i będzie moduł do aktualizacji pliku w wybranym formacie. Najwięcej problemów będę miał z UAM. Te pliki od autmapy muszę jeszcze rozgryźć.


Co do nazwy okienka aktualizacji nie mieszczacej sie w formie: Moze masz powiekszona lub zmieniona czcionke? Ale i tak powieksze wszystkie okna.



Problemem przy aktualizacji jest to, ze program wywoluje w tle dosowy skrypt rsynca z bazy filipsa. Staralem sie go ukryc, ale nie mam niestety wtedy opcji zczytania na jakim etapie jest rsync.

Ale czekam dalej na uwagi. Pomoze mi to dopracowac przyszle wersje. Moze komus to sie przyda.

Pierwsze sciągnięcie całej bazy zajeło mi około 90 minut (jesli na dysku nie ma bazy filipsa) to samo pierwsze wgranie calej bazy do telefonu.
Później aktualizacje to juz po kilka minut max.
Popracuje nad zmiana metody i uniezalenieniem tego od bazy filipsa i rsynca. Chociaz domyślnie pierwsza czesc programu jest poprostu prostą graficzną nakładką na bazę filipsa.

elektronika pisze:A co do wszystkich plików połąconych w jeden:
GPX mam już opracowane

Super

elektronika pisze:Moze masz powiekszona lub zmieniona czcionke? Ale i tak powieksze wszystkie okna

Czcionka duza, to fakt. Mozna dac krotsze nazwy okien.

elektronika pisze:nie mam niestety wtedy opcji zczytania na jakim etapie jest rsync.

Moze przechwycic dane wrzucane normalnie przez rsync na okno DOS? Da sie?

Na poczatku wrzucilem baze Filipsa do folderu "baza", ale okazalo sie, ze w folderze "baza" najpierw tworzony jest folder "oc" i dopiero w nim pliki - moze dopisac to do info.

W symulatorze PPC przydalby sie przycisk "back"

W opcji "eksport na karte pamieci" dane zgrywane sa do glownego katalogu karty? Jesli tak, to moze jednak dac userowi mozliwosc wskazania folderu z baza, a wybor zapamietac dla przyszlych uruchomien?

Export 100:
- komunikat: masz juz zakolejkowanych 39. Pamietaj, ze z tego wybierzesz tylko 100 mozliwych
(moze zmienic kolejnosc? "Docelowo mozesz wybrac max. 100... aktualnie wybrano 39")
- okienko z podgladem skrzynki - listbox miga po wyborze.
- dobrze byloby zapisac efekt nie tylko na karcie pamieci, ale opcjonalnie na dysku. Moze byc tak, ze wczesniej chcemy przygotowac dane do wycieczki, a w dogodnej chwili podpiac karte i przeslac dane. Przy probie zapisu na dysk (a wczesniej byl komunikat, ze wybrano dysk lub karte) zglosil komunikat "Nie mozna skopiowac plik: Nie mozna odczytac z pliku lub dysku zrodlowego"
Hmmm, tutaj program wyswietlil mi te same kolejne okienka po kliknieciu enter, a pozniej okienka z bledem dotyczace poszczegolnych skrzynek. Mozna to uwzglednic przy nierozgarnietych userach (lub nie)

Rozumiem, ze to wystapilo przy probie zapisu na dysk - miala byc karta.

EDIT: a jednak mimo komunkatow o bledach zapisane zostaly dane o skrzynkach na dysku. Razem ze zdjeciami i plikiem index

Moze przy podawaniu wspolrzednych zastosowac format typu "N53 02.246 E18 38.661"
Wtedy wystraczyloby wkleic wspolrzedne prosto z MapSource

Ograniczenie do 100 jest przykladowe? Nie jest jakos szczegolnie ograniczone innymi wzgledami? Mysle o skrzynkach w Wawie - tam wstawienie kolka o promieniu da w wyniku 390 skrzynek... Jak z nich recznie wycinac skrzynki do 100?

Pliki gpx z exportu moze skleic w jeden? Dodatkowo oprocz tych pojedynczych?

To byly uwagi, ale oczywiscie

program jest ciekawy i mysle, ze bede z niego korzystac

Mnie sie podoba

Wygodna obsluga, opisy, kreator exportu...
Bardzo dobrze korzysta sie z tego programu

Podoba mi sie parser kodu html i zmiana, zeby adresowac fotki do biezacego folderu skrzynki, i wycieta sekcja "foto na serwerze" (bo juz zbedna).

Propozycja 1:
obecnie program szuka folderu "baza", a w nim folderu "oc" i tam dalej dziala... Zwykle juz mamy folder oc w jakims miejscu plus dodatkowe foldery i teraz trzeba to wszystko przestawiac...
Moze zrobic tak, ze program i pliki mu towarzyszace wrzucic do jednego folderu OBOK folderu oc? W folderze xx bylby wiec folder oc i folder programu, a sam program odwolywalby sie do folderu "oc" umieszczonego NAD folderem z programem.

Propozycja 2:
funkcja export generuje plik index, ale skrzynki w nim nie sa chyba posortowane?? Dobrze byloby zlikwidowac polskie znaki, a moze zostawic tylko OP xxxx? Przy wiekszych ilosciach skrzynek (nawet w ramach 100) lista bedzie bardzo meczaca do przewijania w telefonie - przydalby sie skrot na poczatku. Plik index wygladalby wtedy mniej wiecej tak:
http://tceglinski.neostrada.pl/pliki/wykaz.htm

(index 239 skrzynek wygenerowany przez maly program na podstawie danych z MapSource, z zachowana komunikacja gora/dol na potrzeby malych ekranow nie_dotykowych)

Co do komunikatu z błędem o kopiowaniu:
Opisz dokładnie w jakich okolicznościach to się pojawia. Co eksportujesz. Mnie się to nie zdarza, o ile jest zaktualizowana baza filipsa. A może z internetu nie ściągnęło jakichś wymaganych plików?

Co do zapisyu na dysk: Baza jest zapisywana podczas exportu tez w katalogu kompaktowa (w folderze programu) ale bez html.

Dodatkowo, przy wyszukiwaniu współrzędne należy podać właśnie w formacie XX*xx.xx' tak jak jest z mapsource. zwróć na to uwagę.

Dodatkowo nie powinno mieć też różnicy czy zapisujesz na karcie pamięci czy wybierzesz jako cel kóryś z dysków twardych. Ale dopracuję program pod kątem napisanych w tym wątku uwag.

Martwi mnie tylko komunikat o błędzie kopiowania. Ten komunikat pojawia się, gdy podczas exportu brakuje jakichś plików w folderze źródłowym (folder tymczasowy z danymi ściągniętymi z internetu). Muszę najwyraźniej popracować na metodą kopiowania i exportu oraz wprowadzeniem logów (np. tego i tego nie skopiowalo, etc.).


Ogromne dzięki za cenne uwagi. Wezmę je z całą pewnością pod uwagę i mam nadzieję, że następna wersja będzie zawierała szereg ulepszeń i usprawnień.
Jeszcze raz dzięki za owocną współpracę. Licze na dalsze rozwinięcie tego tematu. Bardzo przydatne są uwagi i zewnętrzne spojrzenie na program obiektywnym okiem.

Podsumowując:
Ogólnie rzecz biorąc program będzie się rozwijał dwutorowo:
1. Obłsuga bazy Filipsa
2. Export bazy na podstawie zebranych od użytkownika danych

I teraz mam jeszcze do przemyślenia dylemat:
Generować aktualizowane pliki na podstawie bazy Filipsa, czy danych ściąganych z internetu.
Aktualnie jest i jedno i drugie. Tzn. Opisy, współrzędne, html jest brany z bazy filipsa, gpx, i inne pliki z internetu. Każde rozwiązanie ma swoje duze wady. W przypadku uzależniania się od bazy filipsa (co byłovy lepsze ze względu na mniejszą ilość pobieranego transferu z OCPL ) każda zmiana wprowadzona przez filipa w strukturze wewnętrznej html wymuszać będzie na mnie szereg zmian w programie. Z drugiej strony, gdy zacznę aktualizować baże na dysku i pobierać z internetu potrzebne dane o skrzynkach i dopiero generować pliki wtedy na dysku, może się okazać, że program pochłonie niepotrzebnie ogromne ilości transferu OCPL (dlatego jest teraz ograniczenie do 100). Z drugiej strony nie chciałbym aby mój program stał się konkurencją dla bazy filipsa (a do tego zaczyna to dążyć). Muszę, więc przez kilka najbliższych dni rozważyć wszystkie za i przeciw i przeanalizować jeszcze raz cały topik i wizje programu.

elektronika pisze:Co do komunikatu z błędem o kopiowaniu: Opisz dokładnie w jakich okolicznościach to się pojawia. Co eksportujesz. Mnie się to nie zdarza, o ile jest zaktualizowana baza filipsa. A może z internetu nie ściągnęło jakichś wymaganych plików?

Najpierw zaktualizowalem baze - poszlo bez problemow.
Na kolejnym etapie eksportu kilkakrotnie (kilkanascie razy?) wyskoczyl ten sam komunikat (napisalem wczesniej). Juz myslalem, ze moze program sie zawiesil, ale poszedl dalej i pozniej juz byly komunikaty o bledzie dla pojedynczych skrzynek - identyczne w tresci z wyjatkiem nazwy skrzynki (z petli?)

elektronika pisze:Co do zapisyu na dysk: Baza jest zapisywana podczas exportu tez w katalogu kompaktowa (w folderze programu) ale bez html.

Dodatkowo, przy wyszukiwaniu współrzędne należy podać właśnie w formacie XX*xx.xx' tak jak jest z mapsource. zwróć na to uwagę.

Wskazalem dysk C jako nosnik/karte. Pojawil sie folder kompaktowa, a w nim plik index.html i foldery skrzynek - w kazdym plik html (!) i obrazki oraz plik gpx.
Obrazki:
kilka takich samych obrazkow o nazwach np. OP01CF_1 -> OP01CF_6.jpg

i
obrazki ze skrzynek wielkosci 188x250

elektronika pisze:Dodatkowo, przy wyszukiwaniu współrzędne należy podać właśnie w formacie XX*xx.xx' tak jak jest z mapsource. zwróć na to uwagę.

Obecnie trzeba wpisac w oddzielne okna tekstowe kolejno stopien i minuty.dziesiate oddzielnie dla szerokosci i oddzielnie dla dlugosci.

Jesli natomiast wyznaczysz punkt w MapSource i chcialbys wstawic waypoint, to z reki mozesz skopiowac tekst typu:
N53 02.456 E18 39.414 (jeden łańcuch) - tak mozna szybciej wprowadzic dane.

elektronika pisze:...Generować aktualizowane pliki na podstawie bazy Filipsa, czy danych ściąganych z internetu.
- Opisy, współrzędne, html jest brany z bazy filipsa, gpx, i inne pliki z internetu.
- każda zmiana wprowadzona przez filipa w strukturze wewnętrznej html wymuszać będzie na mnie szereg zmian w programie.
- nie chciałbym aby mój program stał się konkurencją dla bazy filipsa

Wygodnie jest oprzec sie na bazie Filipsa, bo to JUZ jest na dysku i na dodatek zawsze aktualne. Co do zmian: Filips w ciagu roku wprowadzil chyba 3 istotne zmiany w kodzie, wiec nie jest to az taki problem, zwlaszcza ze zasadnicza struktura pozostaje bez zmian. Skutkowalo to drobnymi korektami w programie, ktory zrobilem (cos na ksztalt Twojego eksportu) i w makrach, ktore wykorzystuje, zeby zrobic sobie wyciag ze skrzynek - w kazdym razie nie jest to duzy problem, choc zawsze to zatrzymanie. Za to nie trzeba recznie generowac plikow html, bo to juz jest zrobione.
Konkurencja: rok temu byla wylacznie baza Filipsa i dzieki niej mozna bylo z przyjemnoscia szukac skrzynek. Obecnie jest:
- Colorado, ktore wymusza dodatkowe dzialania,
- GSAK z mozliwoscia np. zaawansowanych statystyk i odfiltrowania skrzynek na trasie przejazdu z bazy OC (dla mnie bomba); wczesniej chyba tylko Ted korzystal z GSAK.
- SmartGPX na Symbiana (nie probowalem z obrazkami)
- inne programy

Jak na razie baza Filipsa ma kosmiczne atuty

Jesli powstanie narzedzie, ktore bedzie generowac pliki html i sciagac zdjecia, a do tego gpx wszystkich skrzynek z OC i np. gpx dla zbioru "export 100", to bedzie dodatkowy swietny program Pewnie beda zwolennicy jednego i drugiego, choc zapewne malo bedzie osob, ktore beda korzystac z obydwu.
Duzo zalezy od sprzetu/potrzeb.
Jesli mialbym Colorado (nie planuje), to podstawowym narzedziem bylby GSAK, bo umozliwia generowanie pelnych gpx dla wybranych skrzynek.
W telefonie (N80) nie moge uzywac bazy Filipsa - zwalnia caly system, a w PPC kilka razy podczas synchronizacji powstaly bledy na karcie, ktore konczyly sie formatowaniem karty - mniejsze ilosci danych w jednym folderze tego nie robily -> stad program do "export 100" we wlasnym zakresie, choc nikt takich problemow jakos nie akcentuje, wiec to raczej lokalne zawirowania (lub... inne przyczyny).
Wszystko zalezy od mozliwosci programu i potrzeb uzytkownikow

OT:
Ciekawe ile osob korzysta z MapSource do geocachingu? Dla mnie to podstawowe narzedzie. Za to z map na OC nie korzystalem wcale, ale u innych osob proporcje sa wrecz odrotne

Dzięki za odpowiedź. Zacyznam sobie kreować pewną wizję programu.
Dobrze też, że podałeś info o 6 takich samych plikach obrazach.
Te obrazy to powinny być mapy google dla skrzynek. W różnym przybliżeniu. Z jakiegoś względu nie zostały pobrane. Być może google api z którego korzystam został zablokowany już wczoraj wieczorem na kilka godzin i nie pobrało prawidłowych map google. To bardzo ważna informacja. Dzięki. Czekajcie więc na następną wersję programy z pewnymi zmianami strukturalnymi i dorbnymi w kosmetyce.

hmmm, nie da sie wyjsc z kreatora export 100 przez przycisk Anuluj - przez X jak najbardziej.

Mam pytanie do ew. użytkowników, potrzebuje koncepcji:


Kogo, ewentualnie interesuje generowanie plików GPX (lub innych formatów i jakich!!!) z bazy danych filipsa uaktualnianej przez program.

Propozycja taka: Z w pełni uaktualnionej bazy filipsa generowany jest np. duży plik GPX całej bazy lub plik z wybranymi skrzynkami z bazy (na jakiej podstawie, jaka funkcjonalność).

Druga sprawa: Mapy google (ograniczenie do 100 skrzynek dziennie), kogoś to wogóle interesuje?

Bardzo prosze o wszelkie komentarze, propozycje etc.