Zanesljiv zunanji disk za arhiv

netko

Guru
25. jul 2007
6.979
2.268
113
zaradi njegovega znanja računalništva je poklic vzrževalcev, sistemcev... ipd tam kjer je torej vreden vedno bolj proti nuli... na vprašanje o varnosti namreč odgovarja z vprašanji, ki tudi povprečenga uporabnika pelje v odgovor da backupa ne rabi saj se mu špegu oz medij lahko uniči... odgovor, ki ga je dal je v smislu vprašanja kako se pripelje do Maribora z odgovorom v smislu ne se peljat ker lahko doživiš nesrečo
 

netko

Guru
25. jul 2007
6.979
2.268
113
koliko podatkov si izgubil do sedaj v svoji karieri kljub postavljenim takim ali drugačnim špeglom?
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36

Samo tu ni bilo govora o reševanju delno okvarjenih virov (kjer je RAID5 povsem na mestu), temveč o "reševanju" posameznih spremenjenih bit-ov. Stein je lepo razložil, da je problem statistika (o čem v bistvu prej nisem niti razmišljal). Tudi če ti odpove en disk v polju, je ob obstoječih backup variantah precej velika verjetnost, da je vsebina tega diska zapisana samo še v eni kopiji. Tu pa pridemo do dejstva, da se unrecoverable read error (URE) pojavlja približno na vsake 12 TB (pri modernih diskih). Kar pomeni, da je velika verjetnost, da je tista edina preostala kopija - nekje tako ali drugače okvarjena. Seveda bo kontroler uspel obnoviti večino podatkov, ampak stein ima popolnoma prav, ko pravi, da je izjemno velika verjetnost (like preko 50%), da integriteta je bo več 100%.


Ravno zato sem vprašal glede sistema, kjer bi bili podatki zapisani na treh diskih + hash vrednosti.

Če gremo malo računat: imaš dva 2TB diska. Kakšna je verjetnost, da se hkrati okvari isti bit na obeh diskih. Če je verjetnost ene okvare 1E-14, potem je verjetnost dveh na popolnoma istem mestu 1E-28, kar pa je popolnoma drug velikosti red in v praksi kljub ogromnim diskom pomeni praktično 100% integriteto (oz. lahko mirno pričakuješ, da bodo za časa tvojega življenja podatki povsem varni).

Zaprl okno in spustil rolete. Čakam do 7:32.
evil.gif
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36
Citat:
Uporabnik netko pravi:
zaradi njegovega znanja računalništva je poklic vzrževalcev, sistemcev... ipd tam kjer je torej vreden vedno bolj proti nuli... na vprašanje o varnosti namreč odgovarja z vprašanji, ki tudi povprečenga uporabnika pelje v odgovor da backupa ne rabi saj se mu špegu oz medij lahko uniči... odgovor, ki ga je dal je v smislu vprašanja kako se pripelje do Maribora z odgovorom v smislu ne se peljat ker lahko doživiš nesrečo


Kolikor berem ta del foruma, on vedno poudarja pomembnost backup rešitev. Nenazadnje je precej velika razlika, če boš zaradi nerodne čistilke ob VSE podatke, ali pa boš vsake 12 TB prenešenih podatkov izgubil en bit. Proti prvemu se lahko uspešno boriš z redundanco, proti drugemu pa je vsakemu jasno, da je smiselnost tovrstnega početja precej vprašljiva.

Pač je tema zajadrala še v malo bolj v teoretične vode.
 

reality

Vudu lešinar
24. jul 2007
4.731
0
36
hehe to pa seveda ni res.......... kar tupiš...

Če bi emc to napisal v svojo specifikacijo enega nebi prodali....
Če hovorimo o low cost raid controlerjih, pa je odstotek žal še slabši...

Za vse ki nimate za spodoben raid controler priporočam softwearske raide, seveda ne na win platformi... ta se tud uporablja v profi zadevah recimo imaš dvakrat raid 5 (HW) nato pa stripe čez oba polja... softwearski raid...

Res pa je da povprečnemu userju odsvetujem raide, že iz tega vidika, ker ne znajo delat z njim in u bistvu sploh ne reagiraju na odlet diska ali ga celo glupi kontrolerji force rebuildajo ob reštartu, nato pa ko odleti drugi disk rebuild ne rata več...

skratka za to je treba met določeno znanje, drugače raj backup na kakšen medij ali zunanji disk tipa (acronis, norton, ntbackup)...

tko na hitr.
 

reality

Vudu lešinar
24. jul 2007
4.731
0
36
Očitno je strokovnjak razsul nekaj polj........
hysterical-1.gif


je pa res netko da lou cost raid controlerji usujejo marsikatero polje pri rebuildu... ker se dogaja da force rebuildajo failan disk ob restartu......... to pa pa povzoroča unconsistency polja....

da o dirty cashu ne govorim, ko zmankuje štroma, takrat ti kontrolerji porinejo takoj polje v offline.....

Drgač pa večino polj se da da klub razsutju oz če je offline ali fail zaradi bilokatere napaka popravt, seveda ob predpostavki, da veš kaj delaš......

..... Še enkrat na Jernej type of userja priporočam backup z klik varjanto in ne raid, ker dejansko teoretično vejo kaj polje je, kako pa se vzdžuje to pa blage nimajo...
 
Nazadnje urejeno:

netko

Guru
25. jul 2007
6.979
2.268
113
pri meni se ponavadi raid kontrolerji začnejo pri 300eur brez davka

in to kar praviš o vzdrževanju raid polja je še kako res in takrat vprašanja kot jih je zastavil stein ne pridejo v ospredje, je pa res da home userji pa tudi marsikakšno podjetje za to nima ali pa noče imeti denarja
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36
Citat:
Uporabnik reality pravi:
Še enkrat na Jernej type of userja priporočam backup z klik varjanto in ne raid, ker dejansko teoretično vejo kaj polje je, kako pa se vzdžuje to pa blage nimajo...

Za personal backup verjetno res najbolje. Sploh ker lahko z minimalnimi stroški zagotoviš redundanco (eden ali dva Hofer diska) in oddaljeno lokacijo (Hofer disk v avto in počiva pri starših, kolegu...). Verjetnost bit-rot-a pa je, kot že povedano, največja v največjih datotekah (filmi), nepomembna v večini preostalega (slike, glasba) in praktično neverjetna v majhnih datotekah.

Ampak avtor teme ima kot zahtevo tudi strežbo podatkov, kjer "klik varianta" bolj ali manj odpade.

Pa v zadnjih parih sporočilih ni več govora samo o odpovedi celotnega diska, ampak posameznih bitov v območjih paritetnih podatkov na ostalih DELUJOČIH diskih po kompletni odpovedi enega diska ter posledični nepopolni povrnitvi podatkov.
 

reality

Vudu lešinar
24. jul 2007
4.731
0
36
normalno, sicer pa dobr veš, da noben home user nau dau 300 za raid kontroler.....
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36

In kakšen je €500+ odgovor na njegova vprašanja?

Torej, kako kompenzirati za visok koeficient kapaciteta / URE pri modernih diskih?
 

reality

Vudu lešinar
24. jul 2007
4.731
0
36
Jernej kot strokovnjaku ti low cost varjante odsvetujem....

razen če nimaš pod palcem in si kupiš kontroler kot ga je napisal netko...... z pogojem, da imaš neko znanje, da zagotoviš minimalno strojno opremo, da bo to tudi delovalo....

druga opcija je linux in SW raid... in celo imaš več opcij kot pri raidih (če odmislimo storage procesor disc enclouserje)... poleg raid imaš možnost še LVM in podobnih pizdarij....

Lahko pa si pogledaš, če hočeš varjanto kolk stane en strežnik z recimo perc 6 raid in recimo 4 SAS diski, daš še enega kot global hostpare ali pa dedicated...

avtor teme sprašuje po neki homeopatski varianti, katera bo potem z prstom kazal na data loss......... upam, da sem ti dost slikovito povedal v tvojem fohu........
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36

Se strinjam! Pri RAID-u dejansko polagaš vso zanesljivost v en kos strojne opreme. Če si ne moreš privoščiti zanesljive zadeve, je bolje, če to počneš "ročno".

Za home-userje so itak vedno bolj primerne on-line rešitve (sploh cenovno), vendar je tam spet vprašanje, kako je z zanesljivostjo podatkov. (again all the eggs in one basket)

Sem na hitro narisal, kako imam jaz stvari pošlihtane:

Moj%20backup.png


Sicer popolnoma neprimerno za poslovno rabo, ampak za personal use se mi zdi bolj ali manj varno (razen, seveda, pred bit-rot-om).


Ne štekam čisto, kaj si hotel povedati s tisto "homeopatsko varianto"...
 

reality

Vudu lešinar
24. jul 2007
4.731
0
36
madona mate dohtarji cajta........
pohvalno...

dragač pa cloud computing je res dovolj varna in enostvna varjanta na nekega home userja.....

Drgač pa ti predlagam, da si nardiš en file strežnik na linuxu oz sambo če si win user.... enostavno skopiraš v home folder vse.... pa še backup tega si nardiš mogoče na zunanji disk..... al pa celo vsakodnevno diferential or incremental....

Ampak, vseno ta tvoj personal use je ne boš verjel boljši kot v večini manjših firm, ki ga furajo... dokler seveda ne dropne vse in pač keširajo potem kakemu spodobnemu sistemcu oz firmi.... da jim to uredi..

Homeopatsko je bil moj joke...... al pa recimo šalabajzer je skor bl primerna beseda...
 

Radirko

Fizikalc
18. avg 2007
6.242
0
36
Citat:
Uporabnik Jernej pravi:
Zaprl okno in spustil rolete. Čakam do 7:32.
evil.gif

Si prezivel ?
cool-1.gif


Saj sem ti tudi to omenil v odgovoru. Nobene 100% zanesljive resitve ni, le verjetnost za tezave se dovolj zniza. Disk je ze sam po sebi sistem z porazdeljeno kodo za odpravljanje napak, potem imas lahko tudi polje diskov in je odpravljanje vecnivojsko (kar je lahko zelo ucinkovito, ce so metode pravilno kombinirane - primer so opticni mediji). O tem sem na forumu ze pisal, ce se prav spomnim ravno tebi. Denimo "RAID 7" je nacin, ki uporablja eno preprostejsih in bolj potratnejsih (a tudi ucinkovitih glede na majhnost bloka, ki gre naenkrat v maloro ob dovoljsnji okvari dveh ali vec bitov) metod za ECC.

Ob vsaki taki prepleteni uporabi se ti razred verjetnosti za nepopravljivo napako prakticno eksponentno spremeni, torej s trinivojsko zascito si blizje X^3 verjetnosti, da bo do napake prislo, kot pa X/3 (prva stevilka je nizja, ker je verjetnost za napako v takemintakem casu nizja od 1). Glede na tipe napak, ki jih srecas pri diskih (ali odpoved celega diska, ali poskodba dela povrsine na vseh diskih ob istem trenutku, torej nacelno ob istem podatku), dvomim, da obstaja kaksna resitev, ki bi sla se kakse nivo naprej. In ja, za male denarce tega seveda ni.
 

stein

Fizikalc
16. sep 2007
19.575
1
36
Citat:
Uporabnik reality pravi:
hehe to pa seveda ni res.......... kar tupiš...
Hočeš reči : Robin Harris tupi, kajne?

(pri politiki se mogoče take malenkosti spregledajo oziroma priredijo, ampak tule prosim ne)

Velja za vse: politiko pišite v politiko .
 

AndrejD

Guru
20. jul 2007
7.237
1.396
113
Citat:
Uporabnik reality pravi:
madona mate dohtarji cajta........
pohvalno...

dragač pa cloud computing je res dovolj varna in enostvna varjanta na nekega home userja.....

Drgač pa ti predlagam, da si nardiš en file strežnik na linuxu oz sambo če si win user.... enostavno skopiraš v home folder vse.... pa še backup tega si nardiš mogoče na zunanji disk..... al pa celo vsakodnevno diferential or incremental....

Ampak, vseno ta tvoj personal use je ne boš verjel boljši kot v večini manjših firm, ki ga furajo... dokler seveda ne dropne vse in pač keširajo potem kakemu spodobnemu sistemcu oz firmi.... da jim to uredi..

Homeopatsko je bil moj joke...... al pa recimo šalabajzer je skor bl primerna beseda...

Za večino manjših firm je tole kar ima Jernej znanstvena fantastika. Ponavadi imajo en "strežnik" v katerem je en disk in še eden na katerega se dela backup prejšnjega diska. Ko en disk odleti firma čez kakšno leto kupi nadomestnega (uff 100€ - ali res ne gre ceneje ?). med tem časom zadeva deluje pač samo na enem disku. Če odleti pač odleti... in to so čisto navadni diski, ker oni so predragi.
 

PIC

Fizikalc
17. avg 2007
2.466
2
38
Citat:
Uporabnik Jernej pravi:

Se strinjam! Pri RAID-u dejansko polagaš vso zanesljivost v en kos strojne opreme. Če si ne moreš privoščiti zanesljive zadeve, je bolje, če to počneš "ročno".

Za home-userje so itak vedno bolj primerne on-line rešitve (sploh cenovno), vendar je tam spet vprašanje, kako je z zanesljivostjo podatkov. (again all the eggs in one basket)

Sem na hitro narisal, kako imam jaz stvari pošlihtane:



Sicer popolnoma neprimerno za poslovno rabo, ampak za personal use se mi zdi bolj ali manj varno (razen, seveda, pred bit-rot-om).


Ne štekam čisto, kaj si hotel povedati s tisto "homeopatsko varianto"...

Kaj točno pa ti varuješ tako?

Ker pomembnih podatkov ima človek navadno za 1 USB ključ 1 GB + navadno pazitmo na fotografije.

Še kej?

LP,
PIC
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36
Citat:
Uporabnik PIC pravi:
Kaj točno pa ti varuješ tako?

Ker pomembnih podatkov ima človek navadno za 1 USB ključ 1 GB + navadno pazitmo na fotografije.

Še kej?

Smem vprašat, kako ti "paziš" na fotografije? Vsaj večer ena molitev, da edini disk, na katerem so fotografije ne odpove?
smirk-1.gif


Na kratko - gesla, dokumenti, slike, glasba. Tega je za približno 150-200 GB. Ključnih podatkov je ravno za na Dropbox, ostalo so slike in glasba.

Meni se zdijo fotografije precej vredna zadeva. Njihovo hranjenje na enem samem disku je nekako tako kot da bi natisnjene fotografije shranjeval pod kaminom. Načeloma super prostor, malo vlage... samo malo smole in bo kakšna slika (ali pa vse) zgorela.
 

Jernej

Fizikalc
18. avg 2007
7.124
0
36
Citat:
Uporabnik AndrejD pravi:
Za večino manjših firm je tole kar ima Jernej znanstvena fantastika. Ponavadi imajo en "strežnik" v katerem je en disk in še eden na katerega se dela backup prejšnjega diska. Ko en disk odleti firma čez kakšno leto kupi nadomestnega (uff 100€ - ali res ne gre ceneje ?). med tem časom zadeva deluje pač samo na enem disku. Če odleti pač odleti... in to so čisto navadni diski, ker oni so predragi.


Resnično upam, da se motiš... eno so osebne stvari, drugo pa poslovne. Takole izpostavljati službene projekte... ne vem no, meni se zdi že kar malo too much.
 

AndrejD

Guru
20. jul 2007
7.237
1.396
113
Citat:
Uporabnik Jernej pravi:
Citat:
Uporabnik AndrejD pravi:
Za večino manjših firm je tole kar ima Jernej znanstvena fantastika. Ponavadi imajo en "strežnik" v katerem je en disk in še eden na katerega se dela backup prejšnjega diska. Ko en disk odleti firma čez kakšno leto kupi nadomestnega (uff 100€ - ali res ne gre ceneje ?). med tem časom zadeva deluje pač samo na enem disku. Če odleti pač odleti... in to so čisto navadni diski, ker oni so predragi.


Resnično upam, da se motiš... eno so osebne stvari, drugo pa poslovne. Takole izpostavljati službene projekte... ne vem no, meni se zdi že kar malo too much.

Napačno upaš. Pač nižajo stroške. Samo da za kak nov avto ostane...