Backup Lösung für Fotos

Zitat von lewurm

klingt sehr interessant. hast du vor es zu veroeffentlichen?

ist aus langeweile unter dem laendlichen weihnachtsbaum entstanden, dem entsprechend ist auch die qualitaet. nachm ersten erfolgreichen init/add/push/pull hab ichs wieder zur seite gelegt. wenns halbwegs was gleichschaut schmeisz ichs auf github. ich weisz eh, release often and early. so is es noch ein wenig zu early...

Zitat von lewurm

das original findet man hier auf dem wiki von ubuntuusers.

warum hast du die pfade so hardgecoded? wenn pfade wie /bin oder /usr/bin nicht mehr im PATH sind hat man eh groebere probleme. oder ueberseh ich da einen tieferen sinn?

Zitat von Kampi

ist aus langeweile unter dem laendlichen weihnachtsbaum entstanden, dem entsprechend ist auch die qualitaet. nachm ersten erfolgreichen init/add/push/pull hab ichs wieder zur seite gelegt. wenns halbwegs was gleichschaut schmeisz ichs auf github. ich weisz eh, release often and early. so is es noch ein wenig zu early...

hehe ok :p

Zitat von Kampi

warum hast du die pfade so hardgecoded? wenn pfade wie /bin oder /usr/bin nicht mehr im PATH sind hat man eh groebere probleme. oder ueberseh ich da einen tieferen sinn?

[strike]ist zwar nciht von mir, aber das einzige was ich mir vorstellen koennte ist um aliase aus dem weg zu gehen. wobei da wuerde ein '\' vor dem befehl auch reichen...[/strike]in skripten werden aliase eh nicht ausgewertet.
sonst kA.

Zitat von bimbo

Diese ganzen kommentare lesen sich wie "scheiß auf ein RAID". Meine Motivation für RAID 1 war das Risiko eines Hardware defekts zu minimieren. Wenn mir das RAID aber erst recht meine Daten müllt, dann verzicht ich gern drauf.

Wäre es besser (im gleichen Rechner) die eine Platte auf die andere zu sichern? Ich stell mir das mal naiv so vor:

Du minimierst damit nur das Risiko einer defekten Festplatte. Andere Hardwaredefekte von Motherboard, Speicher, Netzwerkomponenten, etc sind gleich bzw. potenziert sich das Risiko noch, weil bei einem spinnigen Motherboard beides - das Original und das Backup - gefährdet ist.

Zitat von bimbo

Ich hab ein NAS mit 2 seperaten Platten:
Auf sda1 kommen alle daten (sprich backup meiner Notebook Daten, Musik, usw.) das wird dann täglich per z.b.: rsnapshot auf sda2 kopiert. Wäre das eine Strategie mit der ich besser fahre als mit einem RAID?

Bimbo BITTE!!!! Löse Dich von der Vorstellung auf Festplatten seriöse Backups zu fahren. Natürlich wird es zu einem sehr hohen Prozentsatz gut gehen und nix passieren. Aber Festplatten sind nun einmal - aus gutem Grund - keine definierten Backupmedien.

Wenn die Platten in permanentem Zugriff des Rechners sind, sind sie den gleichen Risiken ausgesetzt wie die Originaldaten:

• Fehlerhafte Hardware vorgelagerter Komponenten (Motherboard, Controller, Netzwerkomponenten, etc.)
• Fehlerhafte Software ('nough said - weißt Du wie lustig das ist, wenn eine kaputte Firmware im Raidcontroller plötzlich Mist auf beide Platten runterschreibt? Dann ist alles hin - bei NAS Netzwerkomponenten, etc.)
• Bewußte Schadsoftware (Computerviren ist es egal, wo Deine Daten liegen, wenn sie Zugriff drauf haben, scrambeln sie sie)
• Menschliches Versagen, Fehlbedienung. Ausgelagerte Medien sind einem rm -r nicht so leicht zugänglich (und ja, das ist mir in meinen Anfangstagen passiert, daß ich ein rm -r abgesetzt habe und übersehen habe, daß meine Windows Partition noch gemountet war

Na klar ist ein NAS eine supergeiles Spielzeug und jeder kann damit protzen, sowas zu haben, ABER:

Die Daten sind zu wertvoll damit zu spielen; Der Sinn von Backup/Recovery Konzepten ist es ja im Fehlerfall die Daten zu haben.

Was ich bis jetzt aus dem Fred herauslese gibt es 2 - 3 Problemklassen an Daten, die Du sichern willst

• Annähernd statische Daten, die (fast) nicht geändert werden. (Musik, Photos, etc). Was spricht dagegen, die einmalig komplett auf DVD zu sichern und dann bei Bedarf Deltasicherungen auf einen 2. Datenträger zu machen?
• Bewegte Daten die sich oft ändern, auch untertägig: (Diplomarbeiten, sonstige Projekte). Hier bin ich während meiner Diplomarbeit recht gut damit gefahren, die Eclipse Projekte in ein zip File zu exportieren (auch untertägig um einen Aufsetzbaren Stand zu haben), in der Mittagspause die zip Files auf einen USB Stick wegzukopieren und täglich am Abend zwischen Notebook und Desktop PC aufzusyncen - damit war bei Verlust der Notebook Festplatte ein halber Tag weg - der Rest war auf mindesten 2 getrennten Medien.
• Sonstige Daten (Betriebssyteme, Mails, etc) --> Individuell schauen, was wirklich notwendig ist zu sichern, ob es sooo tragisch ist, wenn Mails der letzten Woche weg sind.

Zitat von bimbo

Ich kenn mich ja nüsse aus

Das glaub ich mittlerweile auch. Bitte sei' mir nicht böse, aber das Thema Backup/Recovery ist viel zu komplex um sich auf eine Lösung (NAS) festzunageln. Die Kunst ist fmpov die Daten auf möglichst viele unterschiedliche Medien aufzuteilen und sich eine Generationenfolge zu überlegen. Wenn dann ein Medium versagt, kannst Du uU immer noch auf ein nicht viel älteres Backup eines anderen Mediums zurückgreifen.

Suboptimal ist meiner Meinung nach auf jeden Fall eine Lösung wo Daten und Backup irgendwelche Komponenten teilen, ausser während des Sicherns und des hoffentlich nie notwendigen Restores.

So das war jetzt viel Text. Bitte um Feedback, wie Ihr das so seht.

Zitat von bimbo

Diese ganzen kommentare lesen sich wie "scheiß auf ein RAID".

ich deute es eher in richtung: sei dir bewuszt was RAID ist und was es kann, und vor allem was es nicht kann. RAID != backup, das hat paulchen schon ganz richtig geschrieben.

Zitat von bimbo

Meine Motivation für RAID 1 war das Risiko eines Hardware defekts zu minimieren.

mit redundancy (RAID 1) wirst du auch die reliability und availability nach oben schrauben.

Zitat von bimbo

Wenn mir das RAID aber erst recht meine Daten müllt, dann verzicht ich gern drauf.

im normalfall muellt nicht das RAID deine daten sondern ein layer der darueber sitzt. "rm -rf" vom user, boeses dateisystem,...

RAID bringt natuerlich was und bei den heutigen festplattenpreisen ueberledge ich gar nicht mehr lang. rein damit.

Oder wenn man bei einem Defekt die falsche Platte ersetzt und damit den Rebuild macht Aber das ist ja auch wieder ein Benutzerfehler.

Zitat von Jensi

Ich mach meine Backups mit rsnapshot, das legt bei jedem Aufruf einen Snapshot an, der mit dem vorherigen verglichen wird, wobei nur die geänderten Dateien neu kopiert werden (die anderen werden hard links). Eigentlich müßte dadurch von einer Datei, die im Backup kaputt ist, beim nächsten Snapshot eh automatisch wieder die aktuelle Version neu gespeichert werden.

Was ist, wenn das Original kaputt ist? Dann schreib' ich ein kaputtes Backup.

Zitat von pernhard

Eine sauberere Lösung ist eine andere Backuptechnologie als sich auf einen RAID Verbund verlassen Wenn Dir das RAID eingeht, dann sind alle Verifies, etc. sinnlos wenn sie nicht auf unterschiedlichen Datenträgern gehen. (Analog dazu natürlich auch, wenn Du alles auf nur 1 Magnetband sicherst)

Ich verlass mich auf kein RAID, das verwend' ich nur statt einzelnen Platten, sichere diese auch genauso als wären es solche.

Zitat

Aber die klassische Variante wär natürlich eine Generationenlösung (Grandfather-Father-Son) und zusätzlich

• Bei Magnetbändern ein Verify Run
• bei optischen Datenträgern redundante Datenträger
• Datenbanken bieten i.A. die Möglichkeit, ein Backup vom Medium gegen das Nul-device einzulesen und so das gesamte Backup zu testen.

Ich verwend' Festplatten, weil ich dann wenigstens Backups mach'. Die stecken immer drin im Server, sind dort ausgeschalten und werden nur hochgefahren, wenn die Backup-Cronjobs laufen. (Bzw. bleiben up für sehr regelmäßige Backups). Optische Datenträger lassen sich nicht automatisch erstellen, da müsst' ich mich hinsetzen und die Scheiben reinwerfen, mach' ich nie. Genauso USB-Geräte oder Magnetbänder. Alles nett, aber in der Praxis...

Zitat

Mit Lösungen wie Checksummen, etc erreichst Du wenig, wenn während der Laufzeit des Backups Datenänderungen auftreten. Was evt ginge wär einen tarball nach /tmp machen, denn dann versuchen zu lesen. ihn danach auf Datenträger zu schreiben und dann einen md5 hash über die 2 machen.

Die Daten sind eh statisch. Wenn der Cronjob in der Nacht/Früh rennt, werd' ich nicht grad drauf arbeiten. Mir geht's vor allem um Multimediadaten, die verarbeit' ich selbst, wenn, da kommt nicht einfach was dazu bzw. werden Daten manipuliert.

Zitat

Aber ob da nicht eine vernünftige Generationenfolge das effizientere ist?

Verwend' ich u.a. für Mails, das Zeug ist nicht so groß. Bei Multimediadaten wäre recht viel Platz notwendig. Wegen Verifizierung: vergleichst du die letzten Backups miteinander, um sicherzustellen, dass sie ok sind? Doch Checksummen davon? Bzw. wie lässt sich das Problem so leichter lösen?

Zitat von pernhard

Annähernd statische Daten, die (fast) nicht geändert werden. (Musik, Photos, etc). Was spricht dagegen, die einmalig komplett auf DVD zu sichern und dann bei Bedarf Deltasicherungen auf einen 2. Datenträger zu machen?

Dagegen spricht, dass DVDs fallen wie die Fliegen. Und du merkst es nicht. Da kannst dann regelmäßig deine DVDs einlegen, um zu sehn, obs noch funktionieren.
In der Zeit kannst deine ganzen Daten auch drei mal auf Festplatten sichern und die ins Kastl legen. Die Wahrscheinlichkeit, dass die im Fehlerfall alle kaputt sind, ist sehr gering.

Zitat von pernhard

Bewegte Daten die sich oft ändern, auch untertägig: (Diplomarbeiten, sonstige Projekte). Hier bin ich während meiner Diplomarbeit recht gut damit gefahren, die Eclipse Projekte in ein zip File zu exportieren (auch untertägig um einen Aufsetzbaren Stand zu haben), in der Mittagspause die zip Files auf einen USB Stick wegzukopieren und täglich am Abend zwischen Notebook und Desktop PC aufzusyncen - damit war bei Verlust der Notebook Festplatte ein halber Tag weg - der Rest war auf mindesten 2 getrennten Medien.

Jop, das macht Sinn.

Was führts ihr bitte mit euren DVDs auf, dass die so schnell kaputt gehen?

DVD brennen, in die Hülle, und möglichst ohne Sonnenlicht, hohe Feuchtigkeit und Temperaturschwankungen irgendwo lagern. Ich hab noch nie einen Ausfall eines optischen Datenträgers gehabt (es sei denn er hatte durch grobe Handhabung Sprünge oder Kratzer).

Sie halten schon eine Weile, aber so nach 5 Jahren können schon Lesefehler auftreten. Klar, alle 5 Jahre umkopieren ist nicht soo das Problem, aber bei Festplatten brauch ich halt nicht stundenland DJ spielen, wenn ich das mach.