iwiwi 備忘録

学んだことを殴り書きます。自分向けのメモです。

2023-03-30から1日間の記事一覧

Deduplicating Training Data Makes Language Models Better

LLM

arxiv.org Google Research、ACL2022 学習データのdeduplicationを頑張る方法とその結果について モチベ・利点 umpromptedで出す文字列、データセットで繰り返されまくってた文字列を記憶してるらしく、それを減らせる。 train test overlapによる評価の誤り…