iwiwi 備忘録

学んだことを殴り書きます。自分向けのメモです。

2023-03-26から1日間の記事一覧

Language Models are Few-Shot Learners

LLM

arxiv.org GPT3の論文。 いろいろ アーキテクチャ、dense attentionとsparse attentionが交互?Sparse Transformerを読まないといけない scaling lawの元論文、パラメタ数同じぐらいだったら多少のアーキテクチャ(ヘッド数、レイヤー数、チャンネル数など)…