2024年6月5日 星期三

LLM emergent

Basic Emergent:  1B   : https://arxiv.org/pdf/2206.04615

Few shot Emergent (in-context learning) : 100B : https://arxiv.org/pdf/2206.07682

沒有留言:

張貼留言

torch compile for cudagraph

option 1 TORCH_LOGS="graph_breaks" python transmitter_trainner.py option 2 import torch._dynamo # 這會把導致斷圖的原因直接印在螢幕上 torch._dynamo....