arxiv.org GPT-NeoX等で使われているposition embedding。 そもそも三角関数足す元祖のposition embeddingしか知らなかったので、relative position embeddingがどういうものかも知れてよかった。この手法自体は足す(additive)んじゃなくて回転させる(multic…

arxiv.org OpenAIのLLMの論文がbatchsize関連の議論で頻繁に引用している論文なので見てみた。 理解が正しいかあんま自信ない。 実験的な話 critical batch sizeとは、「そのバッチサイズまでなら上げても効率的」というバッチサイズである。 「効率的」とい…

arxiv.org transformerのLMがいわゆるscaling lawに従うという話。 一番大事で有名な結論は、モデルサイズと学習ステップ数を両方増やしていくのが一番効率的だよ、ということだろうか。なるべく定量的に関係を推定しており、具体的な指針となるようになって…