Mit dem Texteditor Notepad++ und dem mächtigen Plugin TextFX können Duplikate sehr effizient erkannt und aus einer Liste entfernt werden. In jeder neuen Zeile des betreffenden Textdokuments befindet sich ein Datensatz.
Das Plugin TextFX kann über den Plugin Manager installiert werden, welcher unter Erweiterungen -> Plugin Manager -> Show Plugin Manager aufgerufen werden kann. Suche unter Available die Option TextFX Characters und hake das nebenstehende Feld an. Durch Klick auf den Button Install werden die Installationsdateien aus dem Internet heruntergeladen und installiert. Nach einem Neustart von Notepad++ steht TextFX zur Verfügung.
Wähle als nächstes im Menü unter TextFX die Auswahlmöglichkeit TextFX Tools -> +Sort output only UNIQUE (at Column) lines aus.
Markiere den betreffenden Text im Editor und wähle im Hauptmenü unter TextFX die Option TextFX Tools -> Sort lines case sensitive (at column). Als Ergebnis werden die markierten Textzeilen alphabetisch sortiert und mehrfach vorkommende Zeilen entfernt.
Vielen Dank für die Beschreibung. Das hat mir in meine Notepad++ Workflow gefehlt.