GNU Parallel

超簡単にファイルを並列で処理できる.

ls archive/*.bz2 | parallel -j+0 "bzcat {} | ruby hoge.rb > out/{/.}.tsv"

{} でファイル名,{/.} でファイル名のディレクトリ名とパスを取り除いた部分