Okvarjene slike v "fotoalbumu" pri prenosu

Commodore

Fizikalc
14. jul 2008
1.978
40
48
Po naključju (ker jih pač ne gledam vsak dan) sem ugotovil, da so nekatere fotografije (JPG format) v mojem "fotoalbumu" na prenosnem disku okvarjene - in sicer v smislu, da je lahko spodnji del enakomerne sivkaste barve (višina te anomalije pa je različna, v povprečju okrog 1 cm (vizuelno), ena pa je bila s tem prekrita ca. 2/3), prva "vrstica" pa ni nujno siva po celi dolžini horizontalno. Nekako tako, kot so v časih dialupov izgledale napol prenesene slike.
evil.gif


Dejstvo je, da sem "album" vsaj dvakrat premaknil z enega na drug disk (vse pa je bilo NTFS) - nazadnje na zunanjem/USB. Je možno, da je vzrok tega enostavno premikanje oz. kopiranje datotek? Noben disk na poti namreč ni imel ne slabih sektorjev ne realociranih, prav tako ni bilo nobenih napak pri premikanju - pa menda naj bi se med kopiranjem/premikanjem datotek izvajale določene kontrole, da ne gre "na približno"?
A bo treba nazaj na klasiko (film in papir) šaltat?
sprasujem se.gif
 

stein

Fizikalc
16. sep 2007
19.575
1
36
Za nazaj je težko rečt.

Imam tudi sam slabo izkušnjo z napako pri kopiranju: Med goro MP3-jev, ki sem jih kopiral, je ena na kopiji imela dolžino 0 (prazen fajl), en v isti mapi pa je imel ime enega fajla, vsebino pa od drugega (mislim, da od onega praznega).

Čudna so pota gospodova...
(oziroma Gates-ova, ker je to bilo na Windows)
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Citat:
Uporabnik Commodore pravi:
Dejstvo je, da sem "album" vsaj dvakrat premaknil z enega na drug disk (vse pa je bilo NTFS) - nazadnje na zunanjem/USB. Je možno, da je vzrok tega enostavno premikanje oz. kopiranje datotek?

Seveda je mozno. Mozno je tudi, da gre za cisto normalen 'bit rot'.
 

Commodore

Fizikalc
14. jul 2008
1.978
40
48
A ni bit rot "rezerviran" bolj za CDje, DVDje ipd., na diskih pa so kvečjemu slabi sektorji (ki jih v tem primeru ni bilo)? Da pa bi bilo kopiranje/premikanje nezanesljivo, pa že malo težko za verjeti. Razen če bi bil vzrok USB in njegove muhe pri eksternih diskih (včasih je bil v event logu kakšen osamljen "controller error" v povezavi z zunanjimi diski).
 

Commodore

Fizikalc
14. jul 2008
1.978
40
48
Citat:
Uporabnik stein pravi:
Imam tudi sam slabo izkušnjo z napako pri kopiranju: Med goro MP3-jev, ki sem jih kopiral, je ena na kopiji imela dolžino 0 (prazen fajl), en v isti mapi pa je imel ime enega fajla, vsebino pa od drugega (mislim, da od onega praznega).

USB prenos?
 

Utisevalec

Guru
12. nov 2007
16.161
4.147
113
Citat:
Uporabnik Commodore pravi:
A ni bit rot "rezerviran" bolj za CDje, DVDje ipd., na diskih pa so kvečjemu slabi sektorji (ki jih v tem primeru ni bilo)? Da pa bi bilo kopiranje/premikanje nezanesljivo, pa že malo težko za verjeti. Razen če bi bil vzrok USB in njegove muhe pri eksternih diskih (včasih je bil v event logu kakšen osamljen "controller error" v povezavi z zunanjimi diski).

Slab sektor v osnovi pomeni da je na disku sektor kjer se pojavlja napaka v zapisu/branju, če disk to ugotovi javi "slab sektor". Pri binarnem zapisu na disku (oz. kjerkoli, tudi v RAMu, procesorju, tudi USB kontrolerju ...) pa lahko enka iz "neznanega" vzroka postane ničla, te stvari se rešuje z višjimi kontrolnimi nivoji (varnostni biti in drugačni cheksumi na nivoju samega FSja).

V osnovi se napaka ne bi smela pojavit oz. če se je pojavila bi jo morali sistem ki to nadzura zazna, so pa res poznane napake pri kopiranju zaradi nezadostne kontrole, po domače ... vir kopiranja in tarča kopiranja se ne primerjata zadosti in če vmes pade par bitov se tega sploh ne zazna in tarčni FS jemlje podatke kot prave tako da nikoli ne bo ugotovil napake.

Sicer bo sedaj zvenelo precej "flamewar-ovsko" ampak kontrolo med kopiranjem ima orodje ki izvaja kopiranje, napredna orodja uporabljajo malce več kot sistemsko "cp" komando in so posledično lahko boljša kot nek windows explorer ki v kakšni čudni kombinaciji HW napake pri kopiranju enostavno vrne OK in je zanj rešeno!

Sam recimo (sicer na linuxu) uporabljam namesto cp komande raje enosmerni rsync, predvsem zaradi hitrosti ampak po drugi strani tudi zaradi zanesljivosti. Gre se pa za to da rsync orodje oz. bilokatero orodje za sinhronizacijo vedno globlje preveri integriteto podatkov kot pa nek sistemski "copy" ki je namenjen slepemu prenosu bitov.
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Seveda ni omejeno samo na CDje, to je fama, ki jo sirijo nekateri bucmani, ker pojava pri sebi se niso opazili (ceprav imajo najbrz nekje na diskih kup filmov, kjer se take okvare najlazje vidijo).

V bistvu je celo obratno - pri opticnih medijih je vmes zelo dober (vecnivojski) nacin kodiranja podatkov za odpravo napak (ECC).
 

stein

Fizikalc
16. sep 2007
19.575
1
36
A diski pa nimajo ECC al kako?

(FS pa res nima, vsaj večina ne. Torej ECC nima praktično noben FS, error detection pa tudi redkokateri)
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Imajo nekaj podobnega, a nic na istem nivoju, se posebej standardizirano ne - kaj pocne vsak proizvajalec, pa lahko zgolj sklepamo ... se posebej potem, ko nekdo kar naenkrat ugotovi, da so se mu podatki sami od sebe pokvarili ...
 

stein

Fizikalc
16. sep 2007
19.575
1
36
Diski imajo tam en napačen bit na nekaj terabajtov prebranih podatkov. Koliko imajo optični mediji?
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Opticne medije prebirajo pogoni, ki imajo nosilec glave in zobniske prenose narejene iz recikliranih jogurtovih lonckov. Jasno je, da je mehnasko zadeva precej manj precizna. Kar se pa tice napak, ki bi bile posledica degradacije informacije na mediju, pa seveda ni prav nobene dileme, da ima (na matrico odtisnjen) opticni medij daaaaaaaaaaaaaaaaaaaaaaaalec boljso vzdrzljivost podatkov kot magnetni medij.

Pa problem, o katerem je tukaj govora, nima nobene zveze s slucajno narobe prebranim pdoatkom. Le-ta bi namrec moral biti v drugo (tretje, cetrto, peto itd.) pravilen, ce je napaka res tako redka. Problem je v zanesljivosti zapisa. Enkrat sem ze razlagal, pa se mi ne ljubi ponavljati.
 

Commodore

Fizikalc
14. jul 2008
1.978
40
48
Citat:
Uporabnik Radirko pravi:
(ceprav imajo najbrz nekje na diskih kup filmov, kjer se take okvare najlazje vidijo).

V obliki kockanja in podobnih "artefaktov" med predvajanjem? Če je to to, se mi zdi, da je največkrat težko ugotoviti, ali je bilo občasno kockanje že na začetku prisotno ali se je pojavilo kasneje (razen če imaš zelo dober spomin)... Potem se te okvare vseeno najlažje vidijo pri fotkah, kjer veš, da so bile na začetku cele, potem pa kar naenkrat manjka en "centimeter" spodaj.
Domnevam, da se pri Word in Excel fajlih to pozna tako, da ga enostavno noče več odpreti (se spomnim iz časov disket)?

Skratka... kopiranje/premikanje pa je izvajal Total Commander.
 

Commodore

Fizikalc
14. jul 2008
1.978
40
48
Citat:
Uporabnik Utisevalec pravi:
Slab sektor v osnovi pomeni da je na disku sektor kjer se pojavlja napaka v zapisu/branju, če disk to ugotovi javi "slab sektor". Pri binarnem zapisu na disku (oz. kjerkoli, tudi v RAMu, procesorju, tudi USB kontrolerju ...) pa lahko enka iz "neznanega" vzroka postane ničla, te stvari se rešuje z višjimi kontrolnimi nivoji (varnostni biti in drugačni cheksumi na nivoju samega FSja).

V osnovi se napaka ne bi smela pojavit oz. če se je pojavila bi jo morali sistem ki to nadzura zazna, so pa res poznane napake pri kopiranju zaradi nezadostne kontrole, po domače ... vir kopiranja in tarča kopiranja se ne primerjata zadosti in če vmes pade par bitov se tega sploh ne zazna in tarčni FS jemlje podatke kot prave tako da nikoli ne bo ugotovil napake.

Pri enih premikanjih fajlov je Total Commander javil en dialog box abort/retry/etc..., samo se ne spomnim več, če je bilo v primeru teh fajlov ali kakšnih drugih. Vem pa, da je Retry šel skozi. Ni bilo slabih sektorjev, mogoče samo ornk obremenjen USB/kontroler (ali pa če mu kakšna napetost zaniha; ne vem sicer, kako občutljivo je s tega vidika). "Osamljeni" eventi v System logu, ki so ali pa niso povezani, so ponavadi tile: (Event ID 11, Source: Disk): "The driver detected a controller error on \Device\Harddisk1\DR3."
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Citat:
Uporabnik Commodore pravi:
V obliki kockanja in podobnih "artefaktov" med predvajanjem? Če je to to, se mi zdi, da je največkrat težko ugotoviti, ali je bilo občasno kockanje že na začetku prisotno ali se je pojavilo kasneje (razen če imaš zelo dober spomin)... Potem se te okvare vseeno najlažje vidijo pri fotkah, kjer veš, da so bile na začetku cele, potem pa kar naenkrat manjka en "centimeter" spodaj.

Saj je pri filmih podobno - npr. prvic si ga gledal in je bil cisto OK, v drugo pa kaksna scena za trenutek izgleda kot da bi vmes pozrl eno kilo LSDja: del slike postane cisto druge barve (npr. zelen ali vijolicast) in dokler ne pride naslednja cela slika naokoli, vidis kako se tisti blob cudne barve premika
cool-1.gif
Nasel sem en primer, le da je tukaj pokvarjeno namerno in zato traja skozi cel video (v praksi bi trajalo do naslednje cele slike):


Indirekten nacin, da to opazis, je pa pri P2P omrezjih (KAD), kjer imas moznost videti hash. Ljudje imajo iste filme oz. iste muzike na racunalniku, identicna dolzina, identicen ID3 (za muziko), razlicen hash. Tako se zgodi, da vidis eno datoteko, od katere ima vecina virov enak hash, potem pa se par ljudi, kjer je hash za isto stvar drugacen. Sprememba enega bita je dovolj, da se hash povsem razlikuje.

Citat:
Domnevam, da se pri Word in Excel fajlih to pozna tako, da ga enostavno noče več odpreti (se spomnim iz časov disket)?

Za nobeno stvar ni nujno, da napako sploh opazis - odvisno od tega, kje je do nje prislo in kako se okvarjeni podatek potem uporabi. "Pisarniski" tipi datotek so precej "debeli" v primerjavi z recimo kompresiranimi arhivi (brezizgubno kompresiranje), kjer imas isto kolicino informacije, a na manjsem prostoru. Okvarjeno stvar iz Excela lahko tako morda se vedno odpres, morda napake niti ne bos opazil, ce je kje v "padded" delu datoteke, kjer ni tvojih informacij. Po drugi strani pa recimo star arhiv, ki se noce vec odpreti zaradi napake ? Tega je bilo v casu disket na lopate
smile-1.gif
Danes se manj arhivira, zato vecina stvari bolje prezivi, pa se kljub temu zgodi da kar naenkrat arhiv ne funkcionira vec ali pa da kaksen programcek brez razloga neha delovati in potrebuje novo instalacijo.

Zdajle sem se spomnil na en dokaj svez in cisto konkreten primer: igra Hearts of Iron 3 (iz leta 2009, vsako leto dobi nov expansion) ima vgrajen prikaz hasha cele aplikacije. To se uporablja za multiplayer, torej vsi v isti igri morajo imeti enak hash, saj to zagotovi, da (skoraj 100%) igrajo z enako igro, brez morebitnih goljufij. V praksi je tako, da se nekaj ljudem cez cas hash spremeni, brez da bi kaj naredili, in potreben je reinstall, ce zelijo ponovno igrati multiplayer. Tega ni veliko (igro so prodali v ogromno izvodih, o probelmih pa poroca relativno malo ljudi na njihovem forumu), a se vseeno dogaja.

Citat:
Skratka... kopiranje/premikanje pa je izvajal Total Commander.

To pa - na zalost - nima prav veliko vpliva. Ce aplikacija eksplicitno ne preverja podatkov, potem seveda ni nobenega zagotoivila, da bo kopija enaka izvirniku. Vecina programov, ki nekaj skopirajo, ne preverja opravljenega dela.
 

stein

Fizikalc
16. sep 2007
19.575
1
36
Precej bolj verjeten vzrok za drugačen hash pri Hearts of Iron 3 je okužba z virusom ali nenamerne spremembe s strani uporabnika (ali "pametnih" programov).

Bom pa "izkopal" en star 20 GB disk, ki ga imam, pa poročam, kako stanje je...
wink-1.gif


Sicer tako CD/DVD kot HD imajo CRC kode in če en bit ne štima, javi napako. Read error, CRC error in podobno.
 

Commodore

Fizikalc
14. jul 2008
1.978
40
48
Citat:
Uporabnik Radirko pravi:
kaksna scena za trenutek izgleda kot da bi vmes pozrl eno kilo LSDja: del slike postane cisto druge barve (npr. zelen ali vijolicast) in dokler ne pride naslednja cela slika naokoli, vidis kako se tisti blob cudne barve premika
cool-1.gif
Nasel sem en primer, le da je tukaj pokvarjeno namerno in zato traja skozi cel video (v praksi bi trajalo do naslednje cele slike):

Saj to sem mislil - sem ze naletel na kar nekaj takih kadrov. Ampak v teh primerih ne mores vedeti, ali je prislo do napake nekje na poti (poteh...) ali pa je bila zadeva ze na zacetku taka (slabo zripana ipd.).
Total Commander pa sem omenil, ker je Utisevalec omenil, da Windows Explorer kar ignorira dolocene napake. Podrobnosti sicer ne poznam, menda pa ima TC tudi ene svoje nacine kopiranja (vem, da je po defaultu "explorer mode" ugasnjen).
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
In ti ljudje potem lazejo o svojem ne-modificiranju igre na Paradoxovem forumu o tem, ker nimajo boljsega dela, ceprav se zavedajo kaj pomeni drugacen hash za multiplayer ? In po reinstalaciji igre ta virus, ki je prej zlobno napadel ravno HOI3 ter jo malenkostno spremenil, da je se vedno delovala, nekam cudezno izgine in se ne pojavi vec ? Ne zveni najbolj verjetno. T. i. "modi" za HOI3 so poznani in pri tistih, ki spremenijo igro brez moznosti igranja originala (npr. I.C.E. mod), imajo to jasno napisano, ljudje, ki jih uporabljajo, pa to vedo, in imajo ponavadi zaradi tega instalirana dva izvoda igre. Modi, ki ne spreminjajo originala (npr. HPP mod), ga pac ne spreminjajo, ampak so samo priskledeni zraven, ce zelis igrati original, ga pac izberes v launcherju.

Ce bi nekdo poskusal goljufati, torej da bi njegov pogon igre delal z drugimi parametri (npr. da bi bile cene enot drugacne ali da bi lahko pretocil vec oskrbe skozi dolocen nivo infrastrukture v provinci), se hash spremeni in reds bi moral biti popoln bedak da bi se najprej prisel flegma zlagat na forum, da ni spreminjal nicesar in se je vse zgodilo samo od sebe, potem bi pa po nasvetu ostalih ponovno instaliral in kar naenkrat bi zadeva cudezno imela pravi hash, na svoje goljufanje bi pa kar naenkrat pozabil ...
 

stein

Fizikalc
16. sep 2007
19.575
1
36
Ljudje ponavadi ne vedo, da so okuženi.
Posebej če gre za malware, ki ga noben AV ne pozna.

Don't attribute to malice....
 
Nazadnje urejeno:

stein

Fizikalc
16. sep 2007
19.575
1
36
Citat:
Uporabnik Commodore pravi:
Citat:
Uporabnik stein pravi:
Imam tudi sam slabo izkušnjo z napako pri kopiranju: Med goro MP3-jev, ki sem jih kopiral, je ena na kopiji imela dolžino 0 (prazen fajl), en v isti mapi pa je imel ime enega fajla, vsebino pa od drugega (mislim, da od onega praznega).

USB prenos?
Je bilo že precej dolgo nazaj. Možno, da je bil USB. Šlo je z HD na HD, NTFS, Windows Server.