Gsm8k — Epoch AI

Gsm8k — Epoch AI is run by Epoch AI. It has ranked 170 models, of which the catalogue holds 48, scoring from 0.018 to 0.945 on EM.

measured by Epoch AI · the board itself

Place	Model	Metric	Score
1stof 170	DeepSeek-Coder-V2-Instruct	EM	0.945
2ndof 170	Qwen2.5-Coder-14B-Instruct	EM	0.942
3rdof 170	Qwen2.5 Coder 32B Instruct	EM	0.93
5thof 170	GPT-4o-mini (2024-07-18)	EM	0.913
6thof 170	Qwen 2.5 Coder 32B	EM	0.911
7thof 170	GPT-4 (0613)	EM	0.9
8thof 170	Phi-3.5-MoE-instruct	EM	0.887
10thof 170	DeepSeek-Coder-V2-Lite-Instruct	EM	0.876
11thof 170	Qwen2.5-Coder-7B-Instruct	EM	0.867
13thof 170	Phi-3.5-mini-instruct	EM	0.862
15thof 170	gemma-2-9b	EM	0.849
17thof 170	Qwen2.5-Coder-7B	EM	0.839
18thof 170	Llama 3.1 8B Instruct	EM	0.824
21stof 170	Qwen2.5-Coder-3B-Instruct	EM	0.807
23rdof 170	Yi-34B-Chat	EM	0.76
27thof 170	Llama-2-70b-hf	EM	0.696
28thof 170	StableBeluga2	EM	0.696
29thof 170	Yi-34B	EM	0.672
34thof 170	Qwen-14B	EM	0.613
36thof 170	Qwen-14B-Chat	EM	0.612
39thof 170	Llama-2-70b-chat	EM	0.587
40thof 170	GPT-3.5 Turbo (older v0613)	EM	0.578
41stof 170	starcoder2-15b	EM	0.577
48thof 170	Mistral-7B-v0.1	EM	0.544
49thof 170	falcon-180B	EM	0.544
51stof 170	falcon-11B	EM	0.538
56thof 170	Mistral 7B	EM	0.517
68thof 170	gemma-7b	EM	0.464
71stof 170	Baichuan2-13B-Chat	EM	0.457
85thof 170	Llama-2-13b-chat	EM	0.369
88thof 170	Mistral-7B-Instruct-v0.2	EM	0.354
91stof 170	Qwen2.5-Coder-0.5B	EM	0.345
93rdof 170	Llama-2-13b	EM	0.343
94thof 170	falcon-40b-instruct	EM	0.338
96thof 170	starcoder2-7b	EM	0.327
97thof 170	Yi-6B	EM	0.325
109thof 170	Baichuan-13B-Base	EM	0.268
110thof 170	falcon-40b	EM	0.25
116thof 170	vicuna-13b-v1.3	EM	0.226
118thof 170	starcoder2-3b	EM	0.216
122ndof 170	llama-13b	EM	0.205
128thof 170	gemma-2b	EM	0.177
129thof 170	Llama-2-7b	EM	0.167
142ndof 170	llama-7b	EM	0.11
147thof 170	Bloom	EM	0.095
148thof 170	Baichuan-7B	EM	0.092
154thof 170	falcon-7b	EM	0.068
164thof 170	opt-66b	EM	0.018

Place

Model

Metric

Score

1stof 170

DeepSeek-Coder-V2-Instruct

0.945

2ndof 170

Qwen2.5-Coder-14B-Instruct

0.942

3rdof 170

Qwen2.5 Coder 32B Instruct