Files

金勇旭 f3b670c786 !175 Update pissa algorithm and release_note.md

Merge pull request !175 from 金勇旭/pr_174

2025-04-11 07:50:18 +00:00

4.7 KiB

Raw Permalink Blame History

版本说明

openMind Library 1.1.0 版本说明

新增特性

新增功能

新增微调训练方式

支持COT数据蒸馏训练。
支持DoRA低参微调。
支持DeepSpeed多机训练。
支持LLM二次预训练。

新增系列模型支持

支持DeepSeek-R1-Distill系列模型。
支持LLaMa3系列模型。
支持ChatGLM4系列模型。
支持InternLM2系列模型。
支持Skywork系列模型。

新增融合算子支持

新增支持SwiGLU和RoPE融合算子，提升模型微调训练性能。可通过以下参数启用：

use_fused_rope: false     # 默认值为true，设为false则关闭使能RoPE融合算子
use_fused_swiglu: false   # 默认值为true，设为false则关闭使能SwiGLU融合算子

新增数据处理特性

支持txt、csv、parquet数据集文件格式。
支持用户直接传入数据集本地路径。
支持传入评估数据集。

具体数据集传入方式请参考文档数据集配置。

新增多轮对话支持后端

新增多轮对话MindFormers后端支持。

openmind-cli chat --model_name_or_path AI-Research/qwen1_5_7b_chat_ms --backend mindformers --device 0

新增SDK接口特性

新增apply_fused_kernel接口，SDK调用融合算子功能。
新增run_train接口，SDK调用训练功能。
新增run_chat接口，SDK调用对话功能。
新增run_eval接口，SDK调用评估功能。
新增run_deploy接口，SDK调用部署功能。

更多使用示例请参考文档PyTorch模型微调文档和命令行接口文档。

文档更新

本期重点更新的文档如下：

特性修改

openmind-cli lmeval命令行接口

openmind-cli lmeval接口变更为openmind-cli eval。
新增model_name_or_path入参，支持传入魔乐社区模型ID或模型权重本地路径。

openmind-cli run命令行接口

新增model入参，支持传入模型仓库名称或本地路径。
删除docker入参，日落该功能。

openmind-cli deploy命令行接口

新增device入参，支持传入部署使用的NPU卡号，替换原入参npu_device_ids，原入参同时兼容。
新增model_id入参，支持使用openMind Library内置模型ID。
新增model_name_or_path入参，支持传入魔乐社区模型ID或模型权重本地路径。

openmind-cli export命令行接口

新增adapter_name_or_path入参，支持传入训练后的适配器权重路径，该入参替换原入参adapter_models，同时原入参保持兼容。

openmind-cli chat命令行接口

新增model_id入参，支持使用openMind Library内置模型ID。
新增backend入参，支持选择推理后端。
新增fp16/bf16入参，支持指定模型加载数据格式。
新增trust_remote_code入参，支持是否信任远程下载的模型权重文件。
删除入参repo_scaling，flash_attn，adapter_folder和docker，日落相关功能。

openmind-cli rm/pull/push命令行接口

新增repo_id入参，支持用户传入对应模型名称进行上传、下载和删除

已修复问题

无

已知问题

无

4.7 KiB Raw Permalink Blame History Unescape Escape