CMMLU

AI工具大全 AI模型评测

CMMLU

CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识

标签： AI评测 AI模型

CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力，涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学，以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。

©️声明：AI工具网尊重版权，若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与我们联系，我们将及时更正、删除，谢谢!

类似网站

https://www.63850.com/d/file/p/2024/07-04/335cad4cc64c5bccb14e7feb30853d1b.png

LLMEval是由复旦大学NLP实验室推出的大模型评测基准，最

https://www.63850.com/d/file/p/2024/07-04/4f3fb6d950107708031439a83bd05cb8.png

MMBench是一个多模态基准测试，由上海人工智能实验室、

https://www.63850.com/d/file/p/2024/07-04/a7cb438a43f3e820baeb70277ac55d1e.png

CMMLU是一个综合性的中文评估基准，专门用于评估语言模

https://www.63850.com/d/file/p/2024/07-04/c192ffc4a4874e1075b8a41b5a13d7b0.png

OpenCompass

OpenCompass是由上海人工智能实验室（上海AI实验室）于202

https://www.63850.com/d/file/p/2024/07-04/66b0d970be8ff527cde96e67351f9ddc.png

SuperCLUE 是一个中文通用大模型综合性评测基准，从三个

https://www.63850.com/d/file/p/2024/07-04/030f493ee1b836dea8d7db42f82f435e.png

FlagEval（天秤）由智源研究院将联合多个高校团队打造，是一

https://www.63850.com/d/file/p/2024/07-04/2bf9316d3a56116140929899387b5ed7.png

天工AI搜索是昆仑万维最新推出的国内第一款融入大语言

https://www.63850.com/d/file/p/2024/07-04/8b037273061b4adf9e4fb411bec9309d.png

Open LLM Leaderboard

Open LLM Leaderboard 是最大的大模型和数据集社区 Hu

https://www.63850.com/d/file/p/2024/07-04/4003ce12904bafc3130bd1caffdc7d55.png

MMLU 全称 Massive Multitask Language Understanding