MMLU

AI工具大全 AI模型评测

MMLU

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月

标签： AI评测 AI模型

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛，语言是英文，用以评测大模型基本的知识覆盖范围和理解能力。

©️声明：AI工具网尊重版权，若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与我们联系，我们将及时更正、删除，谢谢!

类似网站

https://www.63850.com/d/file/p/2024/07-04/335cad4cc64c5bccb14e7feb30853d1b.png

LLMEval是由复旦大学NLP实验室推出的大模型评测基准，最

https://www.63850.com/d/file/p/2024/07-04/4f3fb6d950107708031439a83bd05cb8.png

MMBench是一个多模态基准测试，由上海人工智能实验室、

https://www.63850.com/d/file/p/2024/07-04/a7cb438a43f3e820baeb70277ac55d1e.png

CMMLU是一个综合性的中文评估基准，专门用于评估语言模

https://www.63850.com/d/file/p/2024/07-04/c192ffc4a4874e1075b8a41b5a13d7b0.png

OpenCompass

OpenCompass是由上海人工智能实验室（上海AI实验室）于202

https://www.63850.com/d/file/p/2024/07-04/66b0d970be8ff527cde96e67351f9ddc.png

SuperCLUE 是一个中文通用大模型综合性评测基准，从三个

https://www.63850.com/d/file/p/2024/07-04/030f493ee1b836dea8d7db42f82f435e.png

FlagEval（天秤）由智源研究院将联合多个高校团队打造，是一

https://www.63850.com/d/file/p/2024/07-04/2bf9316d3a56116140929899387b5ed7.png

天工AI搜索是昆仑万维最新推出的国内第一款融入大语言

https://www.63850.com/d/file/p/2024/07-04/8b037273061b4adf9e4fb411bec9309d.png

Open LLM Leaderboard

Open LLM Leaderboard 是最大的大模型和数据集社区 Hu

https://www.63850.com/d/file/p/2024/07-04/4003ce12904bafc3130bd1caffdc7d55.png

MMLU 全称 Massive Multitask Language Understanding