update datasets.md

This commit is contained in:
Junnan Liu 2025-02-25 17:17:39 +08:00 committed by GitHub
parent 2915d77045
commit 91111ce9ec
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194

View File

@ -101,7 +101,7 @@ afqmc_datasets = [
```
> [!TIP]
> 另外对于二值评测指标例如accuracypass-rate等还可以通过设置参数`k`配合`n`进行[G-Pass@$k$](http://arxiv.org/abs/2412.13147)评测。G-Pass@$k$计算公式为:$$ \text{G-Pass@}k_\tau=\mathbb{E}_{\text{Data}}\left[ \sum_{j=\lceil \tau \cdot k \rceil}^c \frac{{c \choose j} \cdot {n - c \choose k - j}}{{n \choose k}} \right], $$ 其中 $n$ 为评测次数, $c$ 为 $n$ 次运行中通过或正确的次数。配置例子如下:
> 另外对于二值评测指标例如accuracypass-rate等还可以通过设置参数`k`配合`n`进行[G-Pass@$k$](http://arxiv.org/abs/2412.13147)评测。G-Pass@$k$计算公式为:$ \text{G-Pass@}k_\tau=\mathbb{E}_{\text{Data}}\left[ \sum_{j=\lceil \tau \cdot k \rceil}^c \frac{{c \choose j} \cdot {n - c \choose k - j}}{{n \choose k}} \right], $ 其中 $n$ 为评测次数, $c$ 为 $n$ 次运行中通过或正确的次数。配置例子如下:
```python
aime2024_datasets = [