GNU Parallel
超簡単にファイルを並列で処理できる.
ls archive/*.bz2 | parallel -j+0 "bzcat {} | ruby hoge.rb > out/{/.}.tsv"
{} でファイル名,{/.} でファイル名のディレクトリ名とパスを取り除いた部分
超簡単にファイルを並列で処理できる.
ls archive/*.bz2 | parallel -j+0 "bzcat {} | ruby hoge.rb > out/{/.}.tsv"
{} でファイル名,{/.} でファイル名のディレクトリ名とパスを取り除いた部分