Skip to content

rsync und ich: eine Hassliebe

Wie die Struktur meiner Daten aussieht und wie ich Daten sichere habe ich im Artikel Daten sichern : Backup und Struktur beschrieben. Ich habe einige GB Daten, die sind schon auch in einem klaren System sortiert, trotzdem hilft es mir manchmal, wenn ich eine Datei mit ihrem echten Änderungsdatum sehe, um zu wissen, was sie enthält. In erster Linie liebe ich rsync, mich fasziniert immer wieder, was es alles kann. Kopieren, klar, kopieren mit aufräumen von altem Kram oder auch ohne, kein Problem. Der einzig - mir bekannte - zuverlässige Weg um auch die Änderungszeitpunkte beim Kopieren nicht zu verlieren. Deshalb will ich auch nichts anderes als meine rsync-Skripte. Aber ebenso hasse ich rsync, weil ich immer mal wieder etwas übersehe und deshalb jeden neuen Befehl erst testen muss, weil bereits minimale Änderungen enorme Auswirkungen haben. Eine Hassliebe eben. ;)
"rsync und ich: eine Hassliebe" vollständig lesen

Daten sichern : Backup und Struktur

Ich habe einige GB verschiedenster Daten, angefangen von Dateien für Webprojekte über Buchhaltungsbelege bis hin zu Bilddateien wie Fotos, Grafiken und Logos. Über die Jahre werden das nicht weniger Daten, denn die wenigsten Dateien landen tatsächlich im Müll. Deshalb ist mir ein sehr sortiertes, klares Struktursystem wichtig, um Daten auch wieder zu finden. Innerhalb von miradlo sollte die Dateistruktur möglichst auf jedem Rechner dieselbe sein, sonst ist es unmöglich sich auf mehreren Rechnern zu orientieren. Da nicht alle Personen dieselben Aufgaben haben und Rechner unterschiedlich genutzt werden, gibt es trotzdem einige Unterschiede. Bemerkbar macht sich das vor allem bei der Datensicherung.

Backups und Sicherungen

Theoretisch könnte ich jeweils alles auf meinem Rechner auf den Backupserver sichern. Das klingt zunächst sinnvoll, ist es aber nicht. Beim ersten Sichern ist das eine gute Idee, doch sobald ich mal aufräume und umsortiere, neu benenne, lösche wird es schwieriger.

Löschen im Backup

Um wenig Platz zu verbrauchen wäre es sinnvoll auch im Backup direkt alles zu löschen, was ich lokal gelöscht habe. Allerdings brauche ich mein Backup unter anderem deshalb, weil ich zuweilen mal etwas zuviel lösche. Würde ich beim Sichern also direkt auch auf dem Backupserver alles löschen, dann wäre womöglich beides weg, bevor ich merke, dass ich etwas zuviel gelöscht habe.

Alles aufheben beim Backup

Alternativ könnte ich also im Backup nichts löschen. Für mich auch keine gute Idee. Innerhalb weniger Wochen habe ich im Backup damit eine Version, die voll ist mit altem Kram, den ich schon aufgeräumt hatte. Brauche ich jetzt das Backup, z.B. bei einem Rechnerwechsel, dann hilft es mir nicht, denn ich müsste erstmal wieder aufräumen. Hinzu wird die Datenmenge irgendwann überdimensional riesig. Ich habe zur Zeit etwa 40.000 Bilddateien, die ich noch nutze. Da sind keine Verzeichnisse alter Projekte dabei, auch nicht dabei sind die Zwischenstände, die speichere wenn ich Bilder bearbeite. Bei den 40.000 fehlen auch die meisten Bildverzeichnisse, bei denen ich Bilder aus anderen Ordnern reinkopiert habe, um für ein Projekt eine eingeschränkte Auswahl zu haben, die ich auch gefahrlos bearbeiten kann, ohne womöglich ein Original kaputt zu machen.

Daten für mehrere Nutzer

Ein großer Teil meiner Dateien sind keine privaten Daten, sondern sie hängen mit miradlo zusammen. Diese Daten sollen für alle Mitarbeiter leicht nutz- und erreichbar sein. Da ich meine Finger in jedem unserer Projekte habe, was für niemand anders gilt, habe ich alle Daten. Wir haben daher ein Konzept was das berücksichtigt:
  • Projektdaten (Daten die bei laufenden Projekten ständig gebraucht werden)
  • Kundendaten (Daten, wie z.B. Bilder vom Kunden, die jedoch nicht alle im aktuellen Projekt genutzt werden)
  • Daten pro genutztem Rechner (auf meinem Hauptrechner ist alles was ich aktuell brauche drauf, auf meinem Zweitrechner für unterwegs nur ein kleiner Teil)
  • Persönliche Daten (alles was privat ist, der kleinste Teil ;) )

Sicherungen

Die Daten meines Rechners unterscheiden sich also und werden daher auch unterschiedlich behandelt. Den größten Teil der Daten sichere ich doppelt. Einmal so, dass ich eine exakte Kopie meines Arbeitsrechners habe. Einmal so, dass nichts verloren geht, also ohne im Backup ebenfalls zu löschen.

Struktur Backupserver

  • public
    • rechnername 1-n
    • miradlo (alle Daten, die pro Mitarbeiter gebraucht werden könnten)
    • scripts (Skripte, z.B. für rsync)
  • private
    • rechnername 1-n (falls es private Daten gibt)
    • musik
Hinzu kommen die Projektdaten, die wir über svn sichern.

...von ichphone zu ichphone mit itunes

  • ichphone sichern itunes will Apple-ID
Tja, man glaubt es kaum inzwischen bin ich beim vierten Tag an dem ein Rechner mit itunes sich mit der Datensicherung und dem Update meines iphones befasst. Irgendetwas hat sich aber wohl bewegt, denn immerhin gibt es wieder Audio-Daten (8,2 GB), etwas mehr Fotos (von 1,63 GB auf 2,1 GB). Es kommen noch ein paar Fenster und Meldungen aber irgendwann sagt itunes es sei fertig. Ich möge jetzt meine Apple-ID eingeben, um es abzuschließen. Die Apple-ID hm, nun ich dachte die wäre da schon mal gewesen... "...von ichphone zu ichphone mit itunes" vollständig lesen

ichphone lässt sich nicht mounten ::: (K)Ubuntu

Seit ich diesen Rechner habe, gab's immer mal wieder Probleme beim einbinden meines ichphones, ja, manche nennen es iphone. ;) Zwischendurch war auch mal ein Ubuntu-Update, dann hab ich mal einen anderen Kernel genommen, mal klappte es mal nicht.  Bestimmt schon sechs Wochen schlug ich mich kürzlich damit rum, dass es gar nicht mehr funktionieren wollte. Immer mal wieder suchte ich nach einer Lösung, aber so recht passte alles nicht. Dummerweise flog das Ding auch einmal zuviel unglücklich runter und genau da ging es eben auch nicht. Mal eben das Display auswechseln ohne vorher Daten zu sichern, ist nicht grad meine Lieblingsvariante, da ich vor allem einige Fotos drauf hatte, die noch nirgends gesichert waren. Aber dank Heidi ging es gut und die Datensicherung war nicht nötig. Doch so langsam nervte es dann doch, ich wollte wieder meine Fotos aufs Laptop packen können. Nach nochmaligem Suchen fand ich nochmal einen Tipp, der vielleicht genauer zeigen könnte, was überhaupt das Problem ist: ute@tyra:~$ sudo usbmuxd -f -v [14:49:16.496][3] usbmuxd v1.0.6 starting up [14:49:16.496][4] Creating socket [14:49:16.496][4] Initializing USB [14:49:16.497][4] Found new device with v/p 05ac:1292 at 3-2 [14:49:16.498][3] Could not get old configuration descriptor for device 3-2: -5 [14:49:16.498][2] Could not set configuration 4 for device 3-2: -5 [14:49:16.498][4] 0 devices detected [14:49:16.498][3] Initialization complete [14:49:17.500][4] Found new device with v/p 05ac:1292 at 3-2 [14:49:17.500][3] Could not get old configuration descriptor for device 3-2: -5 [14:49:17.500][2] Could not set configuration 4 for device 3-2: -5 Hm, irgendwie nicht so erfolgreich... ;)

anderer USB-Port

Ich hatte angenommen, ich hätte so ziemlich alles durchprobiert, was es so gibt. Ganz sicher hatte ich auch mehrere USB-Anschlüsse probiert, aber nicht alle. Bei zweien ist mit allen Tricks nichts zu wollen, jeder Versuch das iphone zu mounten misslang. Erstmal wieder alles abbrechen: kill -9 Prozess Den letzten möglichen USB-Anschluss nehmen, das ichphone-Kabel einstöpseln und dann nochmal: ute@tyra:~$ sudo usbmuxd -f -v [14:54:48.659][3] usbmuxd v1.0.6 starting up [14:54:48.660][4] Creating socket [14:54:48.660][4] Initializing USB [14:54:48.661][4] Found new device with v/p 05ac:1292 at 2-5 [14:54:48.661][4] Found interface 1 with endpoints 04/85 for device 2-5 [14:54:48.663][4] Using wMaxPacketSize=512 for device 2-5 [14:54:48.663][3] Connecting to new device on location 0x20005 as ID 1 [14:54:48.663][4] 1 device detected [14:54:48.663][3] Initialization complete [14:54:48.664][3] Connected to v1.0 device 1 on location 0x20005 with serial number 97315dcdaff04686f483c893770ff5ab565dc2fb

Connected?

Wie jetzt? Es wird nicht klappen, oder? ute@tyra:~$ ifuse /mnt/ichphone/ doch: und geht :)

Datenverluste und Wiederherstellung ::: Gentoo-Wiki

Seit einigen Monaten war das Gentoo-Wiki nur noch sehr rudimentär vorhanden, weil die Daten verloren gingen durch ein Hoster-Problem. Bis vor wenigen Minuten habe ich mich gefragt, wie es sein kann, dass von einem solchen Projekt kein Backup existiert. Inzwischen war ich erstmals seit langem mal auf der deutschen Wiki-Hauptseite und las jetzt, dass die Wikis in allen Sprachen durch ein Hoster-Problem verloren gingen.
"27.10.2008 Neues Wiki Vor kurzem verlor das Gentoo-Wiki seine Datenbank, hier kannst Du mehr darüber erfahren. Die kurze Geschichte lautet ungefähr so: "Datenverluste und Wiederherstellung ::: Gentoo-Wiki" vollständig lesen

Praktisch und schnell synchronisieren oder Daten sichern mit rsync

Standardmäßig arbeite ich mit einem 17"-Laptop, welches tacita heißt. Immer mal wieder, insbesondere für unterwegs bevorzuge ich jedoch kleinere und leichtere Notebooks, z.B. mein 13"-Laptop devika. Datensicherungen gibt's auf einen internen Server, der heißt satan. Jeweils von Hand zu kopieren ist aufwändig und fehleranfällig. Schneller und leichter geht es so:

Grundlage für alle Aufrufe

  • als root auf dem Quellrechner im obersten Verzeichnis, also bei / stehen
    • um das gesamte home-Verzeichnis abzugleichen, z.B. von tacita auf devika
      • rsync -avz --delete ./home/ute devika:/home/
    • das gesamte home-Verzeichnis sichern, ohne alte Dateien zu überschreiben oder gelöschte auf dem Server ebenfalls zu löschen
      • rsync -avz  ./home/ute satan:/home/
    • oder einzelne Bereiche abgleichen, z.B. nur die Mails abgleichen
      • rsync -avz --delete   ./home/ute/.kde/share/apps/kmail devika:/home/ute/.kde/share/apps/
  • rsync ist ein gewöhnliches Linuxkommando, im Zweifel hilft man rsync weiter
  • -avz steht für komprimierter "archive mode", damit bleiben Rechte, Eigentümer usw. erhalten, und die Daten werden für den Transport komprimiert, d.h. es geht schneller
  • --delete braucht man, um geänderte und verschobene Dateien abzugleichen. Habe ich z.B. auf tacita die Datei beispiel.txt gelöscht und diese Datei existiert auf dem Zielrechner, dann wird sie bei --delete gelöscht, sonst bleibt sie erhalten
So lässt sich schnell und nebenbei sowohl ein Abgleich, wie auch die regelmäßige Datensicherung durchführen.
tweetbackcheck