!238 update opencompass doc related

Merge pull request !238 from 金勇旭/opencompass_doc
This commit is contained in:
金勇旭
2025-06-13 06:44:42 +00:00
committed by i-robot
parent 09786acf58
commit f0a48b8676

View File

@ -15,27 +15,29 @@ pip install -e .
## 模型准备
可通过带lfs的git 从魔乐社区进行模型下载
可通过带lfs的git 从魔乐社区进行模型下载
```bash
git clone https://modelers.cn/AI-Research/Qwen2.5-7B-Instruct.git
```
由于模型路径后续会使用到,这里假设下载后模型的位置在 `/model/Qwen2.5-7B-Instruct/`
由于模型路径后续会使用到,这里假设下载后模型的位置在 `/model/Qwen2.5-7B-Instruct/`
## 数据集准备
大部分数据集会随着评测的启动自动下载,部分数据集需要手动下载。可通过`opencompass/utils/datasets_info.py`文件查看数据集下载链接,下载后将文件存在`/root/.cache/opencompass/`。本示例使用的gsm8k数据集会由OpenCompass自动下载。
大部分数据集会随着评测的启动自动下载,部分数据集需要手动下载。可通过`opencompass/utils/datasets_info.py`文件查看数据集下载链接,下载后将文件存在`/root/.cache/opencompass/data/`。本示例使用的gsm8k数据集会由OpenCompass自动下载。
## 启动评测
可通过以下命令查看或过滤当前可用的模型和数据集配置
可通过以下命令查看或过滤当前可用的模型和数据集配置
```bash
python tools/list_configs.py llama mmlu
```
可通过以下命令启动评测
- 目前已验证的数据集配置包括`aime2024_gen_6e39a4``gpqa_gen_4baadb``math_500_gen``mmlu_gen_a484b3``gsm8k_gen`。其他数据集配置以用户使用为准。
可通过以下命令启动评测。
```bash
cd opencompass
@ -62,7 +64,7 @@ python run.py \
## 可视化评估结果
评估完成后,评估结果表格将打印如下
评估完成后,评估结果表格将打印如下
```text
dataset version metric mode _hf
@ -71,7 +73,7 @@ gsm8k 1d7fe4 accuracy gen 80.52
```
所有运行输出将定向到`outputs/default/`目录,结构如下
所有运行输出将定向到`outputs/default/`目录,结构如下
```text
outputs/default/