diff --git a/train_sft_ds.py b/train_sft_ds.py index 5198ac7..2f78eaa 100644 --- a/train_sft_ds.py +++ b/train_sft_ds.py @@ -1,5 +1,8 @@ #!/usr/bin/env python3 import os +# 让 user-site 生效(deepspeed/torchrun 常把 PYTHONNOUSERSITE=1 带进来) +os.environ.pop("PYTHONNOUSERSITE", None) + os.environ.setdefault("TOKENIZERS_PARALLELISM", "false") if os.environ.get("RANK","0") != "0": os.environ["WANDB_DISABLED"] = "true" @@ -58,7 +61,7 @@ print(f"[env] torch.version.cuda={torch.version.cuda} CUDA_HOME={os.environ['CU import os, sys, site # 1) 确保不会屏蔽用户站点包(ninja 安在 ~/.local 里) -os.environ.pop("PYTHONNOUSERSITE", None) +# os.environ.pop("PYTHONNOUSERSITE", None) os.environ.pop("DS_BUILD_OPS", None) os.environ.pop("DS_SKIP_CUDA_BUILD", None)