ファイル内から重複する文字列を削除するにはsortコマンドとuniqコマンドを利用します。
uniqコマンドは同じ文字列の行が重複する場合、1行にまとめる動作をします。
そこで、sortとuniqコマンドを利用すればファイル内に存在するユニークな文字列を取得することができます。
下記例は、data.txt内のユニークな文字列を取得する例です。
下記の2行は同じ動作になります。
sort data.txt | uniq
cat data.txt | sort | uniq
$cat data.txt RED GREEN BLUE RED RED PINK YELLOW GRAY GREEN YELLOW BLUE
$sort data.txt | uniq BLUE GRAY GREEN PINK RED YELLOW