synchronizacia dat

Sekcia: Aplikácie & Desktop 14.09.2020 | 15:34
Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

ahojte

chcel by som si ulahcit zivot a usetrit zopar hodin cakania ale neviem ako na to

situacia je taka mam data v objeme okolo 2TB, poskladané s tisícov suborov (videa a fotky)

tieto data mam na 3 miestach (desktop, server, externy disk) ALE nie s rovnakou adresarovou strukturou

teda data su identicke ale raz ich mam ulozene v /video/projekty/2015/hotove/nazovprojektu a raz ich mam v /projekty/2015/nazovprojektu a raz v /zaloha/domacevidea/projekty/nazovprojektu

(nepytajte sa ako mi to podarilo, jednak to nie je podstatne a jednak by som za to tatka zabil)

co by som ale chcel dosiahnut je to, ze na jednom mieste si urobím poriadok a zoradím to tak aby sa v tom aj niekto vyznal (kedze budem subory presuvat na jednom disku pojde to rychlo) a potom by som chcel aby sa tie zmeny "synchronizovali" na dalsie 2 miesta bez toho aby som kopiroval 2TB dat nanovo

neexistuje na to nejaky programik alebo nejaka finta ??

ak by to malo byt prilis komplikovane tak jednoducho obetujem 2 noci a nakopirujem to nanovo ale ak by to slo nejak sikovne a nieco by som sa pritom naucil bol by som vdacny za kazdu radu ;-)

Linux: the operating system with a CLUE... Command Line User Environment
    • RE: synchronizacia dat 14.09.2020 | 15:57
      Avatar Pavel Q4OS, DistroWatch  Administrátor

      Neviem či ti pomôžem, ja som na synchronizáciu dát (zálohu na externý disk) používal Gui pre rsync Grsync.

      • RE: synchronizacia dat 14.09.2020 | 19:44
        Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

        grsync pouzivam aj ja ale neviem ci sa da nastaviť tak aby pomohol v tejto situácii

        Este uvazujem ze najprv pouzijem rsync (lebo cast tych dat je struktorovana identicky) a potom výsledok deduplikujem

        Linux: the operating system with a CLUE... Command Line User Environment
        • RE: synchronizacia dat 14.09.2020 | 20:55
          Avatar Pavel Q4OS, DistroWatch  Administrátor

          Prípadne pozri tento link, či to niektorý z tých softov náhodou nedokáže. Viem čo myslíš, chceš aby súbory ktoré sa nemusia synchronizovať príkaz/soft zadriedil podľa zdroja do adresárov bez zbytočného kopírovania nanovo, brázdim net ale zatiaľ som nič nenašiel čo by sa ti hodilo,,,

        • RE: synchronizacia dat 14.09.2020 | 20:58
          Avatar Pavel Q4OS, DistroWatch  Administrátor

          Prípadne je tu ešte FreeFileSync.

          • RE: synchronizacia dat 15.09.2020 | 08:37
            Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

            ďakujem, poskusam, spravil som si testovaciu vzorku a idem sa hrat

            Linux: the operating system with a CLUE... Command Line User Environment
    • RE: synchronizacia dat 14.09.2020 | 17:36
      Avatar bedňa LegacyIce-antiX  Administrátor

      O hotovom riešení neviem.

      Tak myšlienkový pochod mi hovorí, že keď budeš mať jeden disk uprataný vygeneruješ si heše pre každý súbor a potom stiahneš aj s štruktúrou priečinkou.

      Na druhom disku si vygeneruješ znova heše pre každý súbor a keď heše sedia, tak sa súbor prenesie tam kde má byť.

      Táto správa neobsahuje vírus, pretože nepoužívam MS Windows. http://kernelultras.org
      • RE: synchronizacia dat 14.09.2020 | 19:42
        Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

        ok to by asi slo ale to bude trvať dlhšie ako ked to dam kopirovat (moje veľmi zakladne vedomosti skriptovania to este predlzia)

        uvidim este budem hľadať, mam cas kym sa nespraví poriadok, neverím že nikto niečo podobne este neriesil a neni na to hotový script

        Linux: the operating system with a CLUE... Command Line User Environment
        • RE: synchronizacia dat 15.09.2020 | 11:47
          Avatar bedňa LegacyIce-antiX  Administrátor

          Prvý krok som otestoval, na 195G dátach a 545127 súboroch, vygenerovanie hešov trvalo 111m a 2s. Ak chceš ísť do toho touto cestou, rád poradím.

          time find /home/mario -type f -print0 | xargs -0 sha224sum > checksums.sha224
          
          real    85m38.441s
          user    23m12.662s
          sys     3m1.069
          
          cat checksums.sha224 | wc -l
          545127
          
          Táto správa neobsahuje vírus, pretože nepoužívam MS Windows. http://kernelultras.org
        • RE: synchronizacia dat 15.09.2020 | 20:42
          Avatar samalama   Návštevník

          na zdrojovom ulozisku si prejdi vsetky koncove adresare, tieto adresare vyhladaj na cielovom storage, a podla cesty na zdojovom storage ich uloz na cielovom storage...

          • RE: synchronizacia dat 16.09.2020 | 08:42
            Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

            no presne toto chcem dosiahnuť len neviem ako

            ten freefilesync čo navrhol Pavol je blízko ale neviem ho nastavit tak aby to spravil uplne automaticky

            a ak mam stravit niekolko hodin vymyslanim scriptu tak to asi spravim radšej hrubou silou (novou kopiou vsetkeho) lebo nechcem riskovat ze sa nieco zabudne alebo nebodaj vymaze

            Linux: the operating system with a CLUE... Command Line User Environment
    • RE: synchronizacia dat 14.09.2020 | 18:57
      Avatar okl   Návštevník

      cez fdupe si to uprac na jednom mieste a cez rsync to zosynchronizuj kam potrebujes

      • RE: synchronizacia dat 14.09.2020 | 19:38
        Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

        ale rsync ak nenájde v cieli subor na rovnakom mieste tak ho skopiruje cely zo zdroja

        ja by som chcel aby vtedy pozrel ci ten súbor nie je niekde inde v cieli a presunul ho

        ale to asi tak ľahko nepojde

        Linux: the operating system with a CLUE... Command Line User Environment
        • RE: synchronizacia dat 14.09.2020 | 21:01
          Avatar debian+_debian+   Návštevník

          Tak nesync rekurzne celu zlozku, ale iba ten jeden subor.

    • RE: synchronizacia dat 14.09.2020 | 22:28
      Avatar samalama   Návštevník

      pokial je nazov projektu jedinecny, tak nemas, co riesit. a pokial je ta struktura pre vsetky projekty taka, aku si opisal, tak uz to mas vlastne hotove...

    • RE: synchronizacia dat 15.09.2020 | 12:45
      Avatar redhawk75   Používateľ

      na zalohu a synchronizovanie pouzivam Synology Drive ShareSync.

      z notebookov (2ks), desktopu mi to nahadze na nas synology a roztriedi.

      je pravda ze vsade mam adresare sync/foto/datum alebo sync/doc/datum

    • RE: synchronizacia dat 24.09.2020 | 19:56
      Avatar jancici   Návštevník

      ja používam toto a som spokojný, má to web gui

      https://syncthing.net/https://syncthing.net/

      ale počítaj s tým že to chvíľu bude trvať ...

      • RE: synchronizacia dat 26.09.2020 | 12:10
        Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

        to pouzivam aj ja a je to super na synchronizaciu dat medzi viacerymi strojmi (ako nahrada za google drive) ale syncthing by to cele skopiroval rovnako ako rsync (teda pokial ja viem) co by sposobilo duplikaciu dat

        ale dakujem za navrh

        momentalne sa venujem stale este upratovaniu tych dat na zdroji

        Linux: the operating system with a CLUE... Command Line User Environment
        • RE: synchronizacia dat 26.09.2020 | 17:33
          Avatar bedňa LegacyIce-antiX  Administrátor

          Ako vidím, že sa tu točíme stále dookola, len raz v modrom a druhý krát v bledomodrom.

          Tá štruktúra adresárov je naozaj taká ako si písal?

          1. /video/projekty/2015/hotove/nazovprojektu
          2. /projekty/2015/nazovprojektu
          3. /zaloha/domacevidea/projekty/nazovprojektu

          Ktorú formu chceš zachovať? Prečo v treťom príklade chýba rok?

          Táto správa neobsahuje vírus, pretože nepoužívam MS Windows. http://kernelultras.org
          • RE: synchronizacia dat 26.09.2020 | 20:51
            Avatar Branislav Poldauf Manjaro, Debian stable  Používateľ

            tie tri zaradenia som uviedol ako priklad, je to trochu inak (2 nemam ich pri sebe su u rodicov tak neviem presne) a finalna struktura asi bude uplne ina (na tej pracujem)

            a ano v jednej verzii chyba adresar s rokom lebo vsetky projekty su v jednom adresari ale rok maju v nazve (aj to nie vsetky)

            zatial to vyzera ze na to pojdem manualne a potom ako upracem zdroj si manualne budem presuvat a premenovavat druhy a potom pustim rsync a deduplikaciu (lebo tie 2 su dost podobne) a ten treti dam skopirovat nanovo

            lebo testy na vzorových dátach zatiaľ mali vždy chyby a toto mi pride najistejsie

            Linux: the operating system with a CLUE... Command Line User Environment