#1 17. April 2010 Ahoi! Folgendes Problemchen: ich habe eine txt-Datei mit tausenden Passwörtern. Einige darin sind doppelt vorhanden. Und diese doppelten würde ich gern rausfiltern. Wegen der Menge aber nicht mit Hand, ich möchte ein Programm darüber laufen lassen, das die doppelten automatisch löscht. Ich habe es mit UnrarIt probiert. UnrarIt sagt mir auch das 0 Passwörter doppelt sind, aber eine Stichprobe hat ergeben, daß das nicht stimmt. Jemand Ideen, wie ich mit welchem Programm meine Liste entschlacken und sauberhalten kann? Es sollte außerdem auch mit größeren txt-Dateien umgehen können. Danke! + Multi-Zitat Zitieren
#2 30. April 2010 AW: Doppelte Passwörter finden Also wenn es nicht über 64k werte sind ließe sich das ganz simpel durch eine Excel/OpenOffice Tabelle filtern. Sollte das diesen Rahmen sprengen ist es vlt sinnvoll sich ein eigenes VB-Tool zu schreiben (ggf. auch C/C++ was man halt lieber mag) um das zu filtern. Wenn es wirklich viele Daten in kombination mit IP oder sowas sind (vor allem wenn es Plain-Text ist) würd ich mich an einen unserer Linux-Geeks wenden BASH-Scripts sind MÄCHTIG LG, Inqui + Multi-Zitat Zitieren
#3 30. April 2010 AW: Doppelte Passwörter finden Oder einfach ein simples Perl-Script verwenden. Code: #!/usr/bin/perl #Anti Dupe - Clone-Aussortierer #Funktionsweise: Filter aus Quelldatei alle doppelten Zeilen heraus und schreibt #sie in die Ausgabedatei. use strict; use warnings; my $srcpath = 'source.txt'; my $outpath = 'out.txt'; open my $src, '<', $srcpath or die "Cant open File: $!"; open my $output, '+>>', $outpath or die "Cant open File: $!"; my %h; while (my $line = <$src>) { chomp $line; $h{$line} = 1; }; foreach my $t (keys %h) { print $output "$t\n"; }; + Multi-Zitat Zitieren
#4 30. April 2010 AW: Doppelte Passwörter finden Einfach Linux-Tools verwenden (die wurden auch auf Windows portiert): Code: $ cat liste.txt | uniq | sort > neueliste.txt Ist auch super, um mehrere Listen zu einer zusammenzubasteln (und natürlich auch da doppelte rauszufiltern): Code: $ cat liste1.txt liste2.txt | uniq | sort > neueliste.txt + Multi-Zitat Zitieren