[Thema] Überprüfen von Dateien auf Doppelte Existenz

Dieses Thema im Forum "Programmierung & Entwicklung" wurde erstellt von SeXy, 29. März 2007 .

Schlagworte:
  1. 29. März 2007
    Überprüfen von Dateien auf Doppelte Existenz

    Moin!
    Hab gerade den "Wieviel Musik habt ihr" Thread gelesen und mich gefragt, ob man evtl. mit einem leichten Tool alle Dateien durchgehen kann und von jeder einen d5 hash o.Ä. zu erstellen. (Das geht doch, um zu überprüfen, ob die Dateien vollkommen gleich sind, wenn ich mich nicht irre.)
    Anschließend wird geprüft, ob eine Datei doppelt existiert und falls das der Fall ist, wird eine gelöscht. Welche davon gelöscht wird ist mir relativ Bratpfanne.
    Ich frage mich jetzt: Gibt es ein solches Tool? Kann es eventuell jemand für mich schreiben, falls das nicht zu viel Arbeit ist?
    Ziel ist es, dass ich eben keine Songs mehr doppelt habe.
    Verschiedene Versionen der Songs sollen weiterhin existieren, aber nicht komplett identische Stücke.
     
    + Multi-Zitat Zitieren
  3. 29. März 2007
    AW: Überprüfen von Dateien auf Doppelte Existenz

    mit dem MD5 hash gehts doch nicht, da ich z.b auch viel musik ausm p2p netzwerk habe, und die dateien sind ja meistens nicht von rls-groups, und haben daher andere größen.

    hätte aber auch interesse.

    wenn dann müsste man schon per ID3-tag oder dateiname ähnliche oder gleiche suchen, und die dann per hand aussortieren.
     
    + Multi-Zitat Zitieren
  4. 30. März 2007
    AW: Überprüfen von Dateien auf Doppelte Existenz

    Sinnlose Frage.. Es gibt mehrere Ordner auf einem PC, in jedem kann eine Datei die z.B. bild.jpg heißt existieren. Außerdem sprach er auch von ähnlichen Dateinamen und hauptsächlich von ID3-tags.
     
    + Multi-Zitat Zitieren
  5. 30. März 2007
    AW: Überprüfen von Dateien auf Doppelte Existenz

    google ma "alldup" das müsste dir weiter helfen.
    ich meine das ist auch freeware, also teste es mal aus...

    hoffe konnte dir helfen
     
    + Multi-Zitat Zitieren
  6. 30. März 2007
    AW: Überprüfen von Dateien auf Doppelte Existenz

    Also mit allup geht das schon ziemlich gut finde ich.

    Man kann nach gleichen Dateinamen, gleicher Dateigröße (in bytes, also sehr genau) und gleiche Dateiendung suchen.

    Danach kann man dann die Datei, die gelöscht werden soll auswählen.

    Hier das Programm zum Download: AllDup » Dateiverwaltung » Downloads » WinTotal.de
     
    + Multi-Zitat Zitieren
  7. 30. März 2007
    AW: Überprüfen von Dateien auf Doppelte Existenz

    Code:
    import md5,sys,os

my_hashes = []
my_results = 0

f_out = file("out.txt","w")
f_bat = file("del.bat","w")

for files in os.listdir(sys.argv[1]):
 if files == sys.argv[0] or files == "del.bat" or files == "out.txt":
 continue

 try:
 f_in = file(files,"rb")
 except:
 print files,"is a directory !?"
 continue
 m = md5.new()

 buf_in = f_in.read()
 m.update(buf_in)
 buf_out = m.hexdigest()
 f_out.write(str(buf_out)+" "+files+"\n")
 if buf_out in my_hashes:
 f_bat.write("del "+files+"\n")
 my_results += 1
 else:
 my_hashes += [str(buf_out)]

 f_in.close()

f_out.close()
f_bat.close()

raw_input(str(my_results)+" matches found! Press any key to continue ...")
    Code:
    kolazomai@inSan3 [~/tmp] 
> python md5sum.py ./
bg is a directory !?
ks is a directory !?
asm is a directory !?
lib is a directory !?
md5 is a directory !?
lkm is a directory !?
sdl is a directory !?
2 matches found! Press any key to continue ...
    out.txt
    Code:
    0023cc317fc0e92611546a4d2ed87823 a
fd8e6073290a791b028d4a9d4ec531bf x
8a24462c36b1a2cd89bb8f7b3620eedb a.c
80c489040e5c08ad83940dd68d164f97 bla
b92afa177641d39f1123e48dda3755c3 lok
914bc194bdf31b540d2e4a7deaee544b x.c
914bc194bdf31b540d2e4a7deaee544b y.c
914bc194bdf31b540d2e4a7deaee544b z.c
d5f250a785f7d34ec6b9e09cac9cddbc test
2531f87104864675b293f4910ec5c652 a.cpp
eb68450a669940567f78307311ca69a7 angel
b16f765841e73ae68a5c651f0955d603 bla.c
dc8182a13c700f7e7088b6a9534c6dd6 br.pl
390d69a21cd32b2a4e09495834cd618d config.ini.example
0ee6dd3de0bba85e8e904c267c9828f6 kreis
1a62ade26fc15765594733611f87525a lok.c
ba573c8543feb83d00ae03088335b5d3 ftpscan.pl
2f71e7c6d797a4332faed9087b449dfc kreis.c
ec7a387ce9934ca0355b830602555193 decrypter_files.txt
ac46ff202281147a64ffcb76891bc9ff log.log
7398e6b1ad6c0b6581379738faa49dcd main.cpp
92cf7831b4d8e1ddc7e8831ccab326c4 expl.pl
3b6ca383d99ca371a953adf7d99af17b dec.py
d402efdaefa1b6fdd6ecf0b5481dd506 neu.txt
ff065ce6d8392a90334559b05f9a9564 evil.log
e8ec56c1b9883ba4349960b38ab44cb4 test.c
1e8a55d07404c424b141587797f855e2 angel.c
8c7f92a6c685803b6734edc901bf2fbe vetras.txt
    del.bat
    Code:
    del y.c
del z.c
    Mfg,

    Kolazomai
     
    + Multi-Zitat Zitieren
  8. Video Script

    Videos zum Themenbereich

    * gefundene Videos auf YouTube, anhand der Überschrift.

Auf dieses Thema antworten