100バイトの固定長がCRLFで区切られて10000000行あります。

http://www.hatena.ne.jp/1125858448
すみません、質問者さん、答えではないです。

これは、ちょっと注目。
私には、解法が思いつかない。

これって、定期的にやりたいんでしょうかね？
それとも、一度だけ？？？
それによっても回答が変わりそう。

何にしても私なら、本人も書かれているように、
「シェルスクリプトやプログラム言語、データベースにロード」
で解決しちゃいますね。
だって、探すの面倒だし、何か書いちゃう方が楽チン。
今は手元に、PostgreSQLがあるから、DBにロードかな。
シェルも良い。
なんでダメなんだろう？？？
面倒ってことなら、覚えることがオススメ。
後々役立つし。