Solaris10上で、おっきなファイルをsortしようとするとこんなエラーが。
$ cat hoge.1 hoge.2 hoge.3 | sort -u > hoge.sort
sort: STDIN を読み取れません。: バイトシーケンスが正しくありません。
当該コマンドを実行しているシェルのLANGと違うコードがファイルに含まれているとこういうことになることがあるらしい。
LANGをCにして再実行。
$ export LANG=C
$ cat hoge.1 hoge.2 hoge.3 | sort -u > hoge.sort
$
うまくいきました。