GPT-NeoXをとりあえず動かす

環境

基本requirementsをインストールしていくんだけど、問題がいくつか

• best_downloadというライブラリがrequests経由でurllib3を使っているが、 method_whitelist という古い引数名を使っており、そこで落ちる。ダウングレードする手もありそうだが、一旦 allowed_methods に直接書き換えた。
• tensorboardの指定バージョンが古く、numpyの新し目のバージョンとぶつかる。普通に最新のtensorboardでも動いている気がするので一旦それで。

データ準備

python prepare_data.py -d ./data

実行

  vocab_file: "data/gpt2-vocab.json",
  merge_file: "data/gpt2-merges.txt",
  data_path: "data/enwik8/enwik8_text_document",
  save: "./out_19M/checkpoints/",
  tensorboard_dir: "./out_19M/tensorboard/"

これを付け加えて実行

python ./deepy.py train.py 設定ファイルのパス

一旦19M.yamlを実行中。GPUメモリは6GBしか使ってない。