@ -621,7 +621,7 @@ chmod -R 750 path/to/model_weights
|
||||
| token | 私仓权重token。 | str | None | 可选 |
|
||||
| device | 设置加载模型的device。可选择"cpu"或者0/1/2..../7。 | str或int | 0 | 可选 |
|
||||
| fp16 | 模型加载是否使用fp16格式。 | bool | False | 可选 |
|
||||
| bf16 | 模型加载是否使用bp16格式。 | bool | False | 可选 |
|
||||
| bf16 | 模型加载是否使用bf16格式。 | bool | False | 可选 |
|
||||
|
||||
需要注意的是,`--fp16`和`--bf16`均为`False`时,默认采用模型`config.json`文件中的`dtype`。
|
||||
|
||||
|
@ -140,3 +140,8 @@ adapter_models: lora_checkpoint_path_1, lora_checkpoint_path_2
|
||||
| model_revision | 指定基础模型版本。 | str | main | 可选 |
|
||||
| per_shard_size | 合并过程中单个分片的大小,1代表单个模型文件最大为1GB,如果不设置默认为5GB。 | int | None | 可选 |
|
||||
| token | 私仓权重token。 | str | None | 可选 |
|
||||
| device | 设置加载模型的device。可选择"cpu"或者0/1/2..../7。 | str或int | 0 | 可选 |
|
||||
| fp16 | 模型加载是否使用fp16格式。 | bool | False | 可选 |
|
||||
| bf16 | 模型加载是否使用bf16格式。 | bool | False | 可选 |
|
||||
|
||||
需要注意的是,`--fp16`和`--bf16`均为`False`时,默认采用模型`config.json`文件中的`dtype`。
|
||||
|
Reference in New Issue
Block a user