環境 基本requirementsをインストールしていくんだけど、問題がいくつか best_downloadというライブラリがrequests経由でurllib3を使っているが、 method_whitelist という古い引数名を使っており、そこで落ちる。ダウングレードする手もありそうだが、一旦 …

https://docs.google.com/spreadsheets/d/1kT4or6b0Fedd-W_jMwYpb63e1ZR3aePczz3zlbJW-Y4/edit#gid=0 とりあえずこのシートで使われてるタスクを理解する。 The LAMBADA dataset: Word prediction requiring a broad discourse context https://github.com/E…

code.visualstudio.com 左の▷を押す、"create a launch.json file" を押してテンプレを作る。 "args"っていうのを追加する（上のサイト参照）。 break pointをエディタ上で設定しとく ▷のとこから実行する break pointに到達したら下の"DEBUG CONSOLE"ってと…

選定理由 マイク音質を向上したかった マイクを買う事も考えたが、色々面倒そう＆邪魔に感じそうだったので、無線ヘッドセットを更新することにした Ubuntuでも利用したいが、Ubuntuでのbluetoothが不安定な印象がある（思い込みかもしれないが）のでUSBドン…

arxiv.org openai.com generative pretrained transformersがgeneral-purpose technologiesだよ、って言いたい論文。様々な職種における作業へのインパクトを見積もる。 結論 80%の職種で、作業の10%がLLMにより効率化される 20%の職種で、作業の50%がLLMに…

arxiv.org 基本的には、既存の文献から"Emergent"な現象をまとめる、という感じの論文だった。現象自体は面白いと思うので、有用な文献だと思う。ただし、本文は、あんま面白くない議論が長々と続いており、「JMLRに通すためのレビュワー対策で色々入れたん…

arxiv.org Google Research Introduction LLMは10B〜540Bって感じだけど、Vision Transformerは4Bとかしか見たことないから頑張るわ ちょっと発散しないためとか工夫必要だったわ 性能良かったわ Model Architecture GPT-J風のparallel layer QK normalizati…