ModernBert實作歷程

 設置accelerate config

安裝完accelerate套件之後我們來設定:

(THUIR-COLIEE2023-WSL) (base) lab@DESKTOP-815S0TB:~/THUIR-COLIEE2023$ accelerate config

------------------------------------------------------------------------------------------------------------------------------In which compute environment are you running?

This machine                                                                                                                  

------------------------------------------------------------------------------------------------------------------------------Which type of machine are you using?                                                                                          

No distributed training                                                                                                       

Do you want to run your training on CPU only (even if a GPU / Apple Silicon / Ascend NPU device is available)? [yes/NO]:No    

Do you wish to optimize your script with torch dynamo?[yes/NO]:yes                                                            

------------------------------------------------------------------------------------------------------------------------------Which dynamo backend would you like to use?                                                                                   

inductor                                                                                                                      

Do you want to customize the defaults sent to torch.compile? [yes/NO]: No                                                     

Do you want to use DeepSpeed? [yes/NO]: No                                                                                    

What GPU(s) (by id) should be used for training on this machine as a comma-seperated list? [all]:all                          

Would you like to enable numa efficiency? (Currently only supported on NVIDIA hardware). [yes/NO]: No                         

------------------------------------------------------------------------------------------------------------------------------Do you wish to use mixed precision?                                                                                           

fp16                                                                                                                          

accelerate configuration saved at /home/lab/.cache/huggingface/accelerate/default_config.yaml