場所が分かりやすすぎる場所にあって逆にスルーしてた...
うまそうな見た目してますね👀

お、ご存じでしたか
ビールの種類もたくさんあって素晴らしい！

なるほど、新天地に...

分裂した人々どこ行きました？

たくさんの種類の品川区製ビールがあります！

言われてみると Chinchilla 則は実用上の示唆はあまりないですね。訓練 FLOP 数が事前に決まっていることはあまりなくて、先に作りたいモデルサイズが来る時がほとんど

忘れ去られかけていますが、やはり古き良き dev loss を見て学習を止めるべきか...

Chinchilla 設定って、訓練 FLOP 数を固定した場合の最適な (モデルサイズ, 関連トークン数) の組を与えるものではなかったでしたっけ？

こうやたら FLOP 数や訓練ステップ数が基準になっているのも、計算が重すぎて dev loss が収束するまで待ってられないよ〜ってことなんでしょうね