Mit dem Texteditor Notepad++ und dem mächtigen Plugin TextFX können Duplikate sehr effizient erkannt und aus einer Liste entfernt werden. In jeder neuen Zeile des betreffenden Textdokuments befindet sich ein Datensatz.
Das Plugin TextFX kann über den Plugin Manager installiert werden, welcher unter Erweiterungen -> Plugin Manager -> Show Plugin Manager aufgerufen werden kann. Suche unter Available die Option TextFX Characters und hake das nebenstehende Feld an. Durch Klick auf den Button Install werden die Installationsdateien aus dem Internet heruntergeladen und installiert. Nach einem Neustart von Notepad++ steht TextFX zur Verfügung.
Wähle als nächstes im Menü unter TextFX die Auswahlmöglichkeit TextFX Tools -> +Sort output only UNIQUE (at Column) lines aus.
Markiere den betreffenden Text im Editor und wähle im Hauptmenü unter TextFX die Option TextFX Tools -> Sort lines case sensitive (at column). Als Ergebnis werden die markierten Textzeilen alphabetisch sortiert und mehrfach vorkommende Zeilen entfernt.
Vielen Dank für die Beschreibung. Das hat mir in meine Notepad++ Workflow gefehlt.
Schade, funktioniert bei mir nicht. Jede Datenzeile enthält am Anfang einen Zeitstempel, der sie damit einzigartig macht. Gibt es eine Möglichkeit, bei der Überprüfung auf Duplikate, die Zeichen bis zum ersten Trenner (in meinem Fall „;“) zu ignorieren?
TextFX verwendet die ersten Buchstaben für die Sortierung. Hier kann leider nicht ab einem bestimmten Zeichen mit der Sortierung begonnen werden, da es für einfache Anwendungsszenarien gedacht ist. In ihrem Fall scheint es sich um eine CSV mit getrennten Werten zu handeln. Dafür eignet sich am besten Excel oder LibreOffice Calc.