jiangzhs/OpenCompass
1
0
Fork 0
mirror of https://github.com/open-compass/opencompass.git synced 2025-05-30 16:03:24 +08:00
Code Issues Actions 2 Packages Projects Releases Wiki Activity

[Doc] Update Doc (#1655)

Browse Source
This commit is contained in:
Songyang Zhang 2024-10-31 18:08:09 +08:00 committed by GitHub
parent 5212ffe8e2
commit d611907d14
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
1 changed files with 0 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
docs/zh_cn/get_started/faq.md
View File

@ -2,10 +2,6 @@
## 通用
### OpenCompass 为什么有这么多 bug?
OpenCompass 在开发团队中是有内部和外部两个版本，开发团队的第一优先级是保证内部版本的功能正确，对于外部的版本会相对有所疏忽。加上开发团队人力有限，水平有限，项目中因此会有很多的问题，恳请大家多多包涵。
### ppl 和 gen 有什么区别和联系？
`ppl` 是困惑度 (perplexity) 的缩写，是一种评价模型进行语言建模能力的指标。在 OpenCompass 的语境下，它一般指一种选择题的做法：给定一个上下文，模型需要从多个备选项中选择一个最合适的。此时，我们会将 n 个选项拼接上上下文后，形成 n 个序列，然后计算模型对这 n 个序列的 perplexity，我们认为其中 perplexity 最低的序列所对应的选项即为模型在这道题上面的推理结果，该种评测方法的后处理简单直接、确定性高。