!238 update opencompass doc related
Merge pull request !238 from 金勇旭/opencompass_doc
This commit is contained in:
@ -15,27 +15,29 @@ pip install -e .
|
||||
|
||||
## 模型准备
|
||||
|
||||
可通过带lfs的git 从魔乐社区进行模型下载
|
||||
可通过带lfs的git 从魔乐社区进行模型下载。
|
||||
|
||||
```bash
|
||||
git clone https://modelers.cn/AI-Research/Qwen2.5-7B-Instruct.git
|
||||
```
|
||||
|
||||
由于模型路径后续会使用到,这里假设下载后模型的位置在 `/model/Qwen2.5-7B-Instruct/`
|
||||
由于模型路径后续会使用到,这里假设下载后模型的位置在 `/model/Qwen2.5-7B-Instruct/`。
|
||||
|
||||
## 数据集准备
|
||||
|
||||
大部分数据集会随着评测的启动自动下载,部分数据集需要手动下载。可通过`opencompass/utils/datasets_info.py`文件查看数据集下载链接,下载后将文件存在`/root/.cache/opencompass/`。本示例使用的gsm8k数据集会由OpenCompass自动下载。
|
||||
大部分数据集会随着评测的启动自动下载,部分数据集需要手动下载。可通过`opencompass/utils/datasets_info.py`文件查看数据集下载链接,下载后将文件存在`/root/.cache/opencompass/data/`。本示例使用的gsm8k数据集会由OpenCompass自动下载。
|
||||
|
||||
## 启动评测
|
||||
|
||||
可通过以下命令查看或过滤当前可用的模型和数据集配置
|
||||
可通过以下命令查看或过滤当前可用的模型和数据集配置。
|
||||
|
||||
```bash
|
||||
python tools/list_configs.py llama mmlu
|
||||
```
|
||||
|
||||
可通过以下命令启动评测
|
||||
- 目前已验证的数据集配置包括`aime2024_gen_6e39a4`、`gpqa_gen_4baadb`、`math_500_gen`、`mmlu_gen_a484b3`、`gsm8k_gen`。其他数据集配置以用户使用为准。
|
||||
|
||||
可通过以下命令启动评测。
|
||||
|
||||
```bash
|
||||
cd opencompass
|
||||
@ -62,7 +64,7 @@ python run.py \
|
||||
|
||||
## 可视化评估结果
|
||||
|
||||
评估完成后,评估结果表格将打印如下:
|
||||
评估完成后,评估结果表格将打印如下。
|
||||
|
||||
```text
|
||||
dataset version metric mode _hf
|
||||
@ -71,7 +73,7 @@ gsm8k 1d7fe4 accuracy gen 80.52
|
||||
|
||||
```
|
||||
|
||||
所有运行输出将定向到`outputs/default/`目录,结构如下:
|
||||
所有运行输出将定向到`outputs/default/`目录,结构如下。
|
||||
|
||||
```text
|
||||
outputs/default/
|
||||
|
Reference in New Issue
Block a user