Inteligentes Backup mittels Tar

[rabadag]

Hallo liebe Freunde.

Ich bin mal an einem Punkt angelangt, wo mein wissen nicht ausreicht um folgendes zu realisieren.

Situation:

Ein Server mit rund 2,5 Tera Daten in unterschiedlichen grossen Unterordnern muss gesichert werden.

Problem:

Da das erstellen eines so grossen Archivs schlicht Unsinn ist, dachte ich mir, das ich versuche jeden Ordner der eine Bestimmte Grösse erreicht Separate in die entsprechenden und getrennt zu sichern, damit die archive nicht zu gross werden.

Zur Idee:

Hauptordner hat 2,5 Thera Daten

/Daten 2.5T

/Daten/Daten1 2T

/Daten/Daten2 10G

/Daten/Daten3 1G

/Daten/Daten4 400G

/Daten/Daten5 90G

Nun soll das Skript die Hautordner die eine Bestimmte Grösse 10G nicht überschreiten sichern.

Das wären dann

tar -czvf /Backup/sourcedirpfath/archiv-name-dir.tar.gz /Daten/Daten2

tar -czvf /backup/sourcedirpfath/archiv-name-dir.tar.gz /Daten/Daten3

Die Ordnern die grösser sind, sollen dabei ignoriert werden und im nächsten schritt innerhalb dieses Ordner erneut gesichert werden also.

tar -czvf /backup/sourcedirpfath/archiv-name-dir.tar.gz /Daten/Daten1/Dir1

und so weiter, damit ich am schluss eine Backup Struktur erhalte, die ordnermässig identisch ist, und innerhalb der Ordner die Tar Archive liegen wo der Source Ordner nicht grösser ist als die z.b 10G

aber dem source Direktory entspricht.

ein Problem das dabei noch ein Hindernis sein könnte ist, das diverse Ordner ein Lehrschlag enthalten.

Ich hab mal versucht anzufangen und hab mir mal das zusammen gebastelt aber halt ohne Grössen Funktion.

DATE=$(date +%m-%d-%H%M%S)

bakdir="/Daten/dir1/";

bakdirlength=${#bakdir};                            

destdir="/bdrive/dir1/";     



    for directory in $(find $bakdir -maxdepth 1 -mindepth 1  -type d); do

    dirname=${directory:$bakdirlength}                                   

     tar -X $exclude -czvf $destdir$dirname.tgz $directory | tee destdir$dirname.log

    done  

Wie kann ich dies verwirklichen?

[lordy]

Warum das Rad neu erfinden ?

duplicity: Main

[rabadag]

Besten Dank..

Das Toll ist recht umfangreich.

Wie müsst ich das jetzt benutzen, damit es das macht was ich möchte, werde aus der manpage nicht wirklich schlau.

[lupo49]

Da gibt es noch mehr von:

Bacula, the Open Source, Enterprise ready, Network Backup Tool for Linux, Unix, and Windows

Wertarbyte EDV-Dienstleistungen - Backup system "Tartarus"

[rabadag]

Besten Dank für die links..

Leider aber sind die Progis für mein vorhaben zu umfangreich und das was ich wirklich brauche nicht möglich ist.

Ich hab mir jetzt mal ein script zusammen gebaut das schon ganz gut funktioniert.

Muss da nur noch ein 2 Dinge lösen wo ich euch nochmals um Hilfe bitte.

Mein Script:

#!/bin/sh                               




bakdir="/Daten";

destdir="/bdrive/test1";               

excludelog="/bdrive/exclude.log";      

rm "/bdrive/exclude.log";



### Finde alle Ordner    

find $bakdir -maxdepth 1 -mindepth 1 -type d | while read directory 

do                                                                  

echo "suche in  $directory"                                         

sleep 1                                                             

SIZE=`du -s "$directory" | cut -f 1`                                


## Teste auf grösse des Ordners

if [ $SIZE -gt 4331580 ]       

then                           


           echo "Ordner ist zu gross $SIZE"

           touch "$excludlog"              

           echo $directory >> $excludelog  

            destfolder=`basename "${directory}"`                                                                                                          

            echo "Speichere nach $destdir/$destfolder"                                                                                                    

sleep 1                                                                                                                                                   


## Erstelle Destination Ordner

if [ -d "$destdir/$destfolder" ]    

then                                

    echo "stepp 1 Ordner $destdir/$destfolder ok"

    sleep 1                                              

else                                                     

    echo "Stepp 1 Ordner exisiert nicht Ich erstlle ihn" 

    mkdir "$destdir/$destfolder"                         

sleep 1                                                  

fi                                                       


else




destfolder=`basename "${directory}"`


### Erstelle Destination Ordner     

if [ -d "$destdir/$destfolder" ]    

then                                

        echo "stepp 1 Destination Ordner $destdir/$destfolder vorhanden"

sleep 1                                                                 

else                                                                    

    echo "Stepp 1 Destination Ordner $dest/$destfolder existiert nicht Ich erstelle ihn jetzt"

        mkdir "$destdir/$destfolder"                                                        

sleep 1                                                                                     

fi                                                                                          


## Suche nach Unterordnern die Archiviert werden

find "$directory" -maxdepth 1 -mindepth 1 -type d | while read folder

do                                                                   

            VNAME=`basename "${folder}"`                             

            destfolder=`basename "${directory}"`


## Teste erneut ob Destination Ordner Existiert und Starte Sicherung

if [ -d "$destdir/$destfolder" ]

then


echo " stepp 2 Destination Ordner $dest/$destfolder vorhanden"

sleep 1

find "$directory" -maxdepth 1 -type f -print | tar -czvf "$destdir/$destfolder/rootdir.tgz" -T -


tar -czvf "$destdir/$destfolder/$VNAME.tgz" "$folder" | tee "$destdir/$destfolder/$VNAME.log"


else

echo "stepp 2 Destination Ordner $dest/$destfolder existiert nicht erstelle ihn jetzt"

mkdir "$destdir/$destfolder"

touch "$destdir/$destfolder/$FNAME.else"

tar -czvf "$destdir/$destfolder/$VNAME.tgz" "$folder" | tee "$destdir/$destfolder/$VNAME.log"

fi


done


fi


done

Funktion

1.

Suche nach Ordnern kleiner 4Gb und erstelle Ordner Struktur auf Backup Dir. maxdepth -1

2.

Suche Ordner grösser 4Gb und erstelle Ordner Struktur auf Backup dir

Maxdepth -1

3.

Suche nach Daten die im entsprechenden Ordner die <=4G sind und sichere sie nach Backup Dir Unterordner. find $1 maxdepth 0 -type -f

4.

Sichere Unterordner die im entsprechenden Hauptordner <=4G liegen und sichere sie nach Backup Dir Unterordner.

5. Fehlt noch.

Die letzte Funktion kriege ich nicht hin..

Es sollte nun für jeden Ordner der grösser ist als 4GB Punkt 1 - 5 wider holden.

schleife--

All so Ordner anlegen >=4GB, erneut im Source Unterordner suchen die grösser als 4Gb sind, Unterordner anlegen, Alle Ordner sichern die kleiner 4Gb sind. und so weiter,, bis der ganze Pfad gesichert ist.

schleife ende --