Mmlu — Epoch AI

Mmlu — Epoch AI is run by Epoch AI. It has ranked 217 models, of which the catalogue holds 86, scoring from 0.251 to 0.881 on EM.

measured by Epoch AI · the board itself

Place	Model	Metric	Score
1stof 217	GPT-4o (2024-11-20)	EM	0.881
2ndof 217	Claude 3.5 Sonnet	EM	0.873
3rdof 217	DeepSeek-V3	EM	0.872
8thof 217	Llama 3.3 70B Instruct	EM	0.863
10thof 217	Qwen2.5 72B Instruct	EM	0.853
12thof 217	Phi-4	EM	0.848
13thof 217	Claude 3 Opus	EM	0.846
14thof 217	Meta-Llama-3.1-405B-Instruct	EM	0.845
15thof 217	Llama 3.1 405B	EM	0.844
16thof 217	GPT-4o (2024-08-06)	EM	0.843
17thof 217	GPT-4o (2024-05-13)	EM	0.842
20thof 217	GPT-4 (0613)	EM	0.824
21stof 217	Qwen2-72B-Instruct	EM	0.824
22ndof 217	Nova Pro	EM	0.82
24thof 217	GPT-4o-mini (2024-07-18)	EM	0.818
25thof 217	GPT-4 Turbo	EM	0.813
26thof 217	Llama-3.2-90B-Vision-Instruct	EM	0.803
27thof 217	Meta-Llama-3.1-70B-Instruct	EM	0.801
28thof 217	Mistral Large 2407	EM	0.8
29thof 217	AgentRL	EM	0.799
30thof 217	Gemini 2.0 Flash	EM	0.797
32ndof 217	Meta-Llama-3-70B-Instruct	EM	0.793
33rdof 217	Yi Large	EM	0.793
35thof 217	Qwen 2.5 Coder 32B	EM	0.791
36thof 217	Claude 2.0	EM	0.785
37thof 217	DeepSeek-V2	EM	0.784
38thof 217	Phi-3-medium-128k-instruct	EM	0.78
42ndof 217	Mixtral-8x22B-v0.1	EM	0.778
44thof 217	Nova Lite	EM	0.77
47thof 217	Yi-34B	EM	0.763
49thof 217	Claude 3 Sonnet	EM	0.759
50thof 217	Gemma 2 27B	EM	0.757
51stof 217	Phi-3-small-8k-instruct	EM	0.757
54thof 217	Claude Haiku 3.5	EM	0.743
56thof 217	Claude 3 Haiku	EM	0.738
57thof 217	Claude 2.1	EM	0.735
58thof 217	Yi-34B-Chat	EM	0.735
62ndof 217	Qwen2.5 7B Instruct	EM	0.729
64thof 217	gemma-2-9b-it	EM	0.721
65thof 217	GPT-3.5 Turbo (1106)	EM	0.714
66thof 217	Nova Micro	EM	0.708
67thof 217	falcon-180B	EM	0.706
72ndof 217	Llama-2-70b-hf	EM	0.699
75thof 217	c4ai-command-r-plus-08-2024	EM	0.694
77thof 217	GPT-3.5 Turbo (older v0613)	EM	0.689
80thof 217	Llama 3 8B Instruct	EM	0.688
81stof 217	Mistral Large (24.02)	EM	0.688
82ndof 217	Phi-3-mini-4k-instruct	EM	0.688
83rdof 217	Mistral Small (24.02)	EM	0.687
85thof 217	StableBeluga2	EM	0.686
86thof 217	Yi-9B	EM	0.684
87thof 217	Qwen2.5-Coder-7B	EM	0.68
90thof 217	GPT-3.5 Turbo	EM	0.673
92ndof 217	Qwen-14B	EM	0.663
93rdof 217	gemma-7b	EM	0.661
94thof 217	c4ai-command-r-08-2024	EM	0.652
95thof 217	Qwen-14B-Chat	EM	0.65
98thof 217	starcoder2-15b	EM	0.641
100thof 217	Yi-6B	EM	0.64
109thof 217	Mistral-7B-Instruct-v0.2	EM	0.625
110thof 217	Mistral-7B-v0.1	EM	0.625
118thof 217	Llama-2-70b-chat	EM	0.599
119thof 217	Mistral-7B-Instruct-v0.3	EM	0.599
125thof 217	falcon-11B	EM	0.584
126thof 217	phi-2	EM	0.584
131stof 217	falcon-40b	EM	0.569
134thof 217	Llama 3.2 11B Vision Instruct	EM	0.565
136thof 217	Llama 3.1 8B Instruct	EM	0.561
138thof 217	Llama-2-13b	EM	0.556
142ndof 217	Baichuan2-13B-Chat	EM	0.551
151stof 217	Baichuan-13B-Base	EM	0.516
153rdof 217	Llama-2-13b-chat	EM	0.509
158thof 217	llama-13b	EM	0.477
164thof 217	Llama-2-7b	EM	0.458
169thof 217	Mistral 7B	EM	0.45
173rdof 217	Baichuan-7B	EM	0.423
174thof 217	gemma-2b	EM	0.423
175thof 217	Qwen2.5-Coder-0.5B	EM	0.42
178thof 217	starcoder2-7b	EM	0.388
179thof 217	phi-1_5	EM	0.376
180thof 217	starcoder2-3b	EM	0.366
182ndof 217	xgen-7b-8k-base	EM	0.363
183rdof 217	llama-7b	EM	0.356
189thof 217	falcon-7b	EM	0.35
211thof 217	gpt-j-6b	EM	0.257
214thof 217	opt-1.3b	EM	0.251

Place

Model

Metric

Score

1stof 217

GPT-4o (2024-11-20)

0.881

2ndof 217

Claude 3.5 Sonnet

0.873

3rdof 217

DeepSeek-V3