Jakies klopoty

Wszystko co bazy dotyczy, pytania, wątpliwości, sprzęt itp...

Moderator: Moderatorzy

starypatyk
Wyjadacz
Posty: 245
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 0
Otrzymał podziękowań: 4 razy

Post autor: starypatyk »

No to chyba mamy ogólny problem. Sprawdziłem na dwóch kartach SD, obydwie były sformatowane jako FAT32. W obydwu przypadkach wywala się tak samo - po 13.105 plikach.

Prawdopodobnie to jest limit wielkości katalogu w FAT32. Wprawdzie opisywany na stronach limit wynosi 65534, ale w przypadku długich nazw plików (więcej niż 8.3) pojedynczy plik zajmuje kilka "slotów" - w tym wypadku pewnie 5 - co daje takie właśnie ograniczenie.

Swoje eksperymenty robiłem pod Linuxem. Ponieważ efekt jest praktycznie taki sam jak u Teda pod Windows, więc podejrzewam, że to ograniczenie formatu a nie implementacji.

Coś mi się wydaje, że bez zmiany struktury katalogów, na kartach pamięci dalej już nie pojedziemy... Można oczywiście taką kartę sformatować inaczej, ale wtedy żadne urządzenie typu telefon czy PDA tego nie obsłuży. :-(

Pozdrawiam, Darek
Obrazek
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Plikow o krotkich nazwach (w standardzie 8.3) wchodzi w jeden katalog na karcie wiecej - sprawdzilem dla 20 tys.
Rozwiazaniem na JUZ bylaby zmiana (skrocenie) nazw plikow graficznych.

EDIT
U nas (i w bazie filipsa) nazwy plikow graficznych maja po 35 znakow wiec tak jak pisal Darek - zajmuja po 5 slotow. Sprawdzam wlasnie jak to wyglada w GSAKU - ma opcje sciagniecia fotek ktorych adresy wpisane sa w GPXy i pozniej exportujac baze do HTMLa wszystko wrzuca w jeden katalog. Tylko ze w GSAKu zmieniane sa nazwy plikow najdluzsze widze 18 znakowe wiec zajmujace 3 sloty tylko.
Czyli podsumowujac - powinno byc OK:
ok 6 000 plikow poszczegolnych skrzynek i rozne dodatkowe indeksy
13 400 zdjec razy 3 = 40 200 slotow
wiec do limitu 65 000 jeszcze jest troche miejsca - ale nie na dlugo to starczy.
Obrazek . Obrazek
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Zrobilem jeszcze jeden test
W jednym katalogu na karcie udalo sie utworzyc 3171 plikow o nazwie skladajacej sie z okolo 250 znakow, kazdy plik wielkosci 16 bajtow. Wiecej plikow do tego katalogu nie pozwala zapisac.
Obrazek . Obrazek
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

Czyli widzę, że potrzeba szybko zmienić strukturę bazy...

pozdrowienia,
F
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Sufit zaliczony po raz drugi (w sumie nic dziwnego - dzisiaj przeciez 13 .... )
Sciaganie zdjec z OCPL w GSAKu konczy sie komunikatem ze ......... brakuje pamieci. Zdjecia sciaga a na koncu zdaje sie chce zrobic jakis spis/indeks tych zdjec i na tym wlasnie sie wywala :(
Obrazek . Obrazek
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

Dobra, to podsumowując temat: następujące posunięcia rozwiązały by problem:
- skrócenie nazw plików foto
- dystrybucja plików pomiędzy katalogi
dobrze mówię?
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Skrocenie nazw plikow rozwiazaloby problem na krotko (ale to chyba byloby najszybsze).
Na dluzsza mete - skrzynek i fotek przybywa - na pewno trzeba je porozrzucac w kilku katalogach.

I jeszcze pytanie co do wielkosci zdjec - dalo by sie je troche powiekszyc? Wiem ze optymalizujesz je do telefonow ale w pockecie z VGA sa strasznie male i niewiele widac :(
Obrazek . Obrazek
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

Ok, czekam na propozycje wielkości (np dłuższego boku). Porobię próby jak by to wpłynęło na wielkość pliku i całej bazy.

A czy akceptowalne było by powiększenie rozmiaru zdjęć przy zmniejszeniu ich jakości?
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Na przykladnie mojej skrzynki - Carska Tropina
Pocket PC iPAQ214 (VGA), IE_Mobile

Baza zrobiona w GSAKu - wyglada tak:
Obrazek
albo w poziomie
Obrazek

Natomiast zdjecie w Twojej bazie wyglada tak
Obrazek

Sadze ze z jakosci mozna by troche zejsc - w sumie male wyswietlacze nie sa dostosowane do super jakosci :)
Obrazek . Obrazek
Awatar użytkownika
filips
Forumator
Posty: 2199
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 13 razy
Otrzymał podziękowań: 81 razy
Kontakt:

Post autor: filips »

Ok. Czy przy rozbiciu na podkatalogi mogą zostać długie nazwy plików z obrazkami?
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Jakos nikt nie zglaszal dotychczas problemow z takimi nazwami.
Jesli w jednym katalogu nie bedzie wiecej niz te krytyczne 13 tysiecy fotek - to chyba moga zostac :)
Obrazek . Obrazek
Awatar użytkownika
Bas
Forumator
Posty: 3849
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 9 razy
Otrzymał podziękowań: 35 razy

Post autor: Bas »

ted69 pisze:Sciaganie zdjec z OCPL w GSAKu konczy sie komunikatem ze ......... brakuje pamieci. Zdjecia sciaga a na koncu zdaje sie chce zrobic jakis spis/indeks tych zdjec i na tym wlasnie sie wywala :(
GSAK trzyma te zdjecia w jednym folderze? Razem z plikami html?
W jakim systemie plikow trzymasz GSAK? NTFS/FAT32?
filips pisze:Dobra, to podsumowując temat: następujące posunięcia rozwiązały by problem:
- skrócenie nazw plików foto
- dystrybucja plików pomiędzy katalogi
Optymalne jest chyba wyjscie drugie.

W PC na NTFS:
otwarcie folderu z plikami html zajmuje zauwazalna chwile, co zawsze mnie zaskakuje, bo zwykle na nic w moim sprzecie na nic czekac nie musze. Otwarcie folderu obr trwa zdecydowanie dluzej.

Od ponad 2 miesiecy korzystam ze zmodyfikowanej wersji bazy:
http://forum.opencaching.pl/viewtopic.php?t=2488
(nawiasem mowiac nie bylo chetnych)
Podfolderem w katalogu oc jest folder o nazwie z 2 pierwszych znakow skrzynki, a wewnatrz juz tylko skrzynki i folder obr dla nich. Baza otwiera sie sprawnie i szybko. W danym folderze jest max. 255 plikow html + folder obr z obrazkami dla nich (śr. ponad 3 obrazki na skrzynke).

Mysle wiec, ze planowana modyfikacja bazy:
http://forum.opencaching.pl/viewtopic.php?p=37580#37580

rozwiaze te problemy :)
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

Bas pisze:
ted69 pisze:Sciaganie zdjec z OCPL w GSAKu konczy sie komunikatem ze ......... brakuje pamieci. Zdjecia sciaga a na koncu zdaje sie chce zrobic jakis spis/indeks tych zdjec i na tym wlasnie sie wywala :(
GSAK trzyma te zdjecia w jednym folderze? Razem z plikami html?
W jakim systemie plikow trzymasz GSAK? NTFS/FAT32?
jak sciagasz obrazki do posiadanej bazy (czyta adresy z opisu, z tego co odczytal w GPXie) to zapisuje u siebie, w podkatalogu Data/GrabbedImages (chyba wszystkie razem, ze wszystkich baz)
jak robisz export HTMLa, to wszystkie pliki wskakuja w jeden katalog (i HTMLe i obrazki) - domyslne caches - lokalizacje tego katalogu sam mozesz ustawic
Na Notebooku mam NTFSa
Obrazek . Obrazek
Awatar użytkownika
ted69
Forumator
Posty: 6197
Rejestracja: środa 20 lutego 2008, 14:10
Podziękował;: 30 razy
Otrzymał podziękowań: 44 razy
Kontakt:

Post autor: ted69 »

ted69 pisze: Zdjecia sciaga a na koncu zdaje sie chce zrobic jakis spis/indeks tych zdjec i na tym wlasnie sie wywala :(
Na koniec sciagania tworzy plik (lub sie do niego dopisuje, jesli juz istnieje) o nazwie files.txt ktory wyglada tak

Kod: Zaznacz cały

http://www.opencaching.pl/images/uploads/2C5E9C04-C138-10AD-949C-6F6623F66D75.jpg~~~20081113100448737.jpg
http://www.opencaching.pl/images/uploads/A830C38A-D1F4-ADC1-DE2F-0438E1ECFF5C.jpg~~~20081113100448738.jpg
http://www.opencaching.pl/images/uploads/2B9181CC-C01F-C8DE-D8C7-928E41D2FA4F.jpg~~~20081113100448739.jpg
http://hotimg23.fotki.com/a/62_80/224_242/sv_ign-vi.jpg~~~200811131728181.jpg
http://hotimg15.fotki.com/a/62_80/224_242/baznycia.jpg~~~200811131728432.jpg
http://hotimg15.fotki.com/a/62_80/224_242/Gelezinkelio_stotis.jpg~~~200811131728473.jpg
http://ly2kw.com/geocaching/images/fish/fish.jpg~~~200811131728484.jpg
http://ly2kw.com/geocaching/images/jurininku_bunker/cache.jpg~~~200811131728525.jpg
http://hotimg23.fotki.com/a/62_80/224_242/bunkeris2-vi.jpg~~~2008111317292417.jpg
http://ly2kw.com/geocaching/images/juros_tiltas/tiltas2.jpg~~~2008111317293818.jpg
http://ly2kw.com/geocaching/images/druskininkai_water_tower/wooden_house.jpg~~~2008111317300326.jpg
http://hotimg25.fotki.com/a/62_80/224_242/veisiejaifontanai-vi.jpg~~~2008111317301528.jpg
http://hotimg25.fotki.com/a/62_80/224_242/veisiejaitakas-vi.jpg~~~2008111317302629.jpg
http://www.ly2kw.com/geocaching/images/vilnia_bend/log_t.jpg~~~20081113175743581.jpg
http://foto.mail.ru/mail/otvettyt/f1/i-99.jpg~~~20081113175746582.jpg
http://foto.mail.ru/mail/otvettyt/101/i-110.jpg~~~20081113175747583.jpg
http://foto.mail.ru/mail/otvettyt/52/i-113.jpg~~~20081113175748584.jpg
Obrazek . Obrazek
Awatar użytkownika
Pawel brasia
Forumator
Posty: 1849
Rejestracja: sobota 23 sierpnia 2008, 19:06
Podziękował;: 39 razy
Otrzymał podziękowań: 77 razy

Post autor: Pawel brasia »

Proponuję bazę podzielić na katalogi o nazwach od dwóch pierwszych cyfr waypointa (tak jak to jest na stronie mobilnej).
Jeśli chodzi o rozdzielczość fotografii to stawiam na 320x480.
A może byłaby możliwość zastosowania np dwóch rozdzielczości? Mała do telefonów, duża do PDA.
ObrazekObrazekObrazekObrazek ObrazekObrazek
ODPOWIEDZ