Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling

arxiv.org

EleutherAIの人たちが、学習完了したLLMだけでなく、学習過程の分析をしたい人のために、スナップショットを一杯公開したよ、という話だと理解した。

コードとかも色々あるので参考になるかも。