Supprimer les mots identiques et ne garder qu’une occurrence

[vanelk80520574]

Bonjour 

je travaille sur un document de plus de 1000 pages(un dictionnaire) et je suis buté par les soucis qui suivent :

1) supprimer les mots qui se répètent et ne garder que le premier mot 

2) copier cet ensemble de mots dans un autre document qui lui déjà contient d'autre mots avec leur définition tout en gardant l'ordre alphabétique ainsi qu'une quelle occurrence de chaque mot 

[jmlevy]

Comment ces mots apparaissent-ils ? Dans des phrases complètes ? Dans des paragraphes séparés ?

[vanelk80520574]

 

Les mots apparaissent sur des phrases de 2 à 4 mots et sur différentes phrases

je vous envoie une capture du texte

[vanelk80520574]

Vous verrez par exemple les deux premières lignes ont 6 mots au total et ce n'est que le premier mot de la première ligne qui est à conserver 

aussi les accents ne doivent pas êtres pris en compte (donc À et A sont pareils)