Ƃàţçĥ éṽàļ
ķàþî ĝŕöüþš ƃļöçķš îñţö à šîñĝļé ĻĻḾ çàļļ ţö ŕéđüçé ŕéǫüéšţ öṽéŕĥéàđ. Ţĥîš þàĝé ḿéàšüŕéš ĥöŵ ƃàţçĥ šîžé àƒƒéçţš çöšţ, ţĥŕöüĝĥþüţ àñđ šţŕüçţüŕàļ îñţéĝŕîţý. Ţĥé éṽàļüàţîöñ îš ŕéþéàţéđ àš ḿöđéļš çĥàñĝé. Ţĥé çöñţéẋţ éṽàļ ḿéàšüŕéš ŵĥéţĥéŕ ḿöđéļš ƒöļļöŵ ţĥé ţéŕḿš àñđ ŵŕîţîñĝ ĝüîđàñçé šüþþļîéđ ƃý ķàþî.
Ĥöŵ îţ îš ḿéàšüŕéđ
À ƒîẋéđ çöŕþüš îš ţŕàñšļàţéđ àţ éàçĥ ƃàţçĥ šîžé, àñđ ţĥé ŕéšüļţ îš šçöŕéđ ƒöŕ šţŕüçţüŕàļ îñţéĝŕîţý: šéĝḿéñţš ḿüšţ ŕéţàîñ ţĥéîŕ îđéñţîţý, þļàçéĥöļđéŕš àñđ ţàĝš. À đŕöþþéđ öŕ ḿéŕĝéđ šéĝḿéñţ, à çĥàñĝéđ îđéñţîƒîéŕ, öŕ à ḿîššîñĝ þļàçéĥöļđéŕ šüçĥ àš {0} çàñ þŕéṽéñţ à ṽàļîđ ŵŕîţé ƃàçķ ţö ţĥé šöüŕçé ƒöŕḿàţ. Ţĥéšé çĥéçķš ŕéǫüîŕé ñö ŕéƒéŕéñçé ţŕàñšļàţîöñ àñđ çàñ ƃé àþþļîéđ àçŕöšš ḿöđéļš àñđ ļàñĝüàĝé þàîŕš. Ţĥéý đö ñöţ àššéšš ŵöŕđîñĝ ǫüàļîţý. Çöšţ àñđ ţĥŕöüĝĥþüţ àŕé ŕéçöŕđéđ ƒŕöḿ ţĥé šàḿé ŕüñš.
Ţĥé çöŕþüš çöñţàîñš 600 đîšţîñçţ ƃļöçķš çöṽéŕîñĝ àḿƃîĝüöüš ÜÎ šţŕîñĝš, þļàçéĥöļđéŕš, îñļîñé ḿàŕķüþ àñđ ļöñĝ þŕöšé. Đîšţîñçţ šţŕîñĝš þŕéṽéñţ à ḿöđéļ ƒŕöḿ þàššîñĝ ƃý çöþýîñĝ öñé šéĝḿéñţ’š àñšŵéŕ îñţö àñöţĥéŕ. Éàçĥ ƃàţçĥ šîžé îš ţéšţéđ ḿöŕé ţĥàñ öñçé ţö àççöüñţ ƒöŕ ṽàŕîàţîöñ ƃéţŵééñ ŕüñš.
Ŵĥàţ ṽàŕîéš ŵîţĥ ƃàţçĥ šîžé
Ḿéàšüŕéđ 2026-07-15 · ţàŕĝéţ de · 600 blocks (181 ui, 118 ui-ambiguous, 120 placeholder, 61 inline-tag, 120 prose) · çöŕþüš d46f4b2feac7
Ţĥé çĥàŕţš ƃéļöŵ çöḿþàŕé çöšţ, šţŕüçţüŕàļ éŕŕöŕš àñđ ţĥŕöüĝĥþüţ àţ éàçĥ ḿéàšüŕéđ ƃàţçĥ šîžé. Îñţéŕþŕéţ éàçĥ çüŕṽé ŵîţĥîñ îţš ḿöđéļ àñđ þŕöṽîđéŕ çöñƒîĝüŕàţîöñ.
Ţĥé ļöĝàŕîţĥḿîç šçàļé ḿàķéš ḿöđéļš ŵîţĥ šüƃšţàñţîàļļý đéŕéñţ þŕîçéš çöḿþàŕàƃļé. À ƒàļļîñĝ çüŕṽé šĥöŵš ƒîẋéđ ŕéǫüéšţ öṽéŕĥéàđ, îñçļüđîñĝ ţĥé šýšţéḿ þŕöḿþţ àñđ ĴŠÖÑ šçĥéḿà, šþŕéàđ öṽéŕ ḿöŕé ƃļöçķš. Ţĥé šîžé öƒ ţĥàţ öṽéŕĥéàđ ṽàŕîéš ƃý þŕöṽîđéŕ. À ŕîšîñĝ çüŕṽé àţ ļàŕĝé ƃàţçĥ šîžéš çàñ îñđîçàţé öüţþüţ ţŕüñçàţîöñ: ķàþî šþļîţš ţĥé ƃàţçĥ àñđ ŕéţŕîéš, àđđîñĝ ţö ţĥé çöšţ.
Šţŕüçţüŕàļ îñţéĝŕîţý
Šţŕüçţüŕàļ éŕŕöŕš þéŕ 1,000 ƃļöçķš îñçļüđé đŕöþþéđ, ḿéŕĝéđ öŕ ŕéñüḿƃéŕéđ šéĝḿéñţš àñđ đàḿàĝéđ þļàçéĥöļđéŕš öŕ ţàĝš. Žéŕö îš ţĥé éẋþéçţéđ ŕéšüļţ. Ŕéþéàţéđ ḿéàšüŕéḿéñţš çàñ ŕéṽéàļ ŕéĝŕéššîöñš éṽéñ ŵĥéñ ţĥé þŕöṽîđéŕ ķééþš ţĥé šàḿé ḿöđéļ àļîàš.
Ţĥŕöüĝĥþüţ
Šöüŕçé ŵöŕđš þéŕ šéçöñđ. Çöḿþàŕàƃļé ŵîţĥîñ à ḿöđéļ àçŕöšš Ñ, ñöţ ƃéţŵééñ ṽéñđöŕš: ţĥé šŵééþš ŕàñ àţ đéŕéñţ çöñçüŕŕéñçîéš, àñđ ţĥé đŕöþ àţ ţĥé ŕîĝĥţ-ĥàñđ éñđ îš ţĥé šàḿé ţŕüñçàţîöñ-àñđ-ŕéţŕý ţĥàţ ļîƒţš ţĥé çöšţ çüŕṽé.
Ŵĥàţ ţĥé šŵééþ ƒöüñđ
Ţĥé ļàŕĝéšţ ḿéàšüŕéđ ƃàţçĥ çöñţàîñš 600 šéĝḿéñţš. Ţĥé ŵöŕšţ þöîñţ àñýŵĥéŕé îñ ţĥé šŵééþ îš 99.1% îñţàçţ (gemini-3.5-flash àţ Ñ= 256). Ţĥé çöḿþàŕîšöñ ƃéļöŵ šĥöŵš ŵĥéţĥéŕ šţŕüçţüŕàļ éŕŕöŕš ƃéçöḿé ḿöŕé ƒŕéǫüéñţ àţ ļàŕĝéŕ ƃàţçĥ šîžéš.
Šḿàļļ ƃàţçĥéš ĥàṽé à ĥîĝĥéŕ ƃŕéàķ ŕàţé. Ŕàţéš àŕé ñöŕḿàļîžéđ þéŕ 1,000 ƃļöçķš ţö àççöüñţ ƒöŕ đéŕéñţ šàḿþļé šîžéš. Šḿàļļ ƃàţçĥéš (Ñ ≤ 16) ƃŕöķé 2.0 àñđ ļàŕĝé öñéš (Ñ ≥ 128) ƃŕöķé 1.2. Îñ ţĥîš šŵééþ, ļàŕĝéŕ ƃàţçĥéš þŕéšéŕṽéđ šţŕüçţüŕé àţ ļéàšţ àš ŵéļļ àš šḿàļļéŕ ƃàţçĥéš.
Öüţþüţ-ţöķéñ ļîḿîţš çàñ îñçŕéàšé ŕéţŕý çöšţš. À ƃļöçķîñĝ çàļļ ḿàý éḿîţ àţ ḿöšţ 16,000 ţöķéñš ( NonStreamingMaxOutputTokens: àšķîñĝ à šýñçĥŕöñöüš ŕéǫüéšţ ƒöŕ ḿöŕé ḿéàñš ĥöļđîñĝ àñ ĤŢŢÞ çöññéçţîöñ öþéñ ƒöŕ ḿàñý ḿîñüţéš). À ƃàţçĥ ŵĥöšé ŕéþļý ŵöüļđ éẋçééđ ţĥàţ çàñ ƃé ţŕüñçàţéđ îñţö îñṽàļîđ ĴŠÖÑ. ķàþî ţĥéñ ĥàļṽéš ţĥé ƃàţçĥ àñđ ţŕàñšļàţéš éàçĥ ĥàļƒ. Ŕéţŕýîñĝ àṽöîđš àççéþţîñĝ ţĥé ţŕüñçàţéđ ŕéšüļţ, ƃüţ àđđš ţö ţĥé çöšţ. Àţ ţĥé ļàŕĝéšţ ḿéàšüŕéđ ƃàţçĥ šîžé: eu.anthropic.claude-sonnet-4-6 àţ Ñ=600 çöšţ 2.5× ţĥé ţöķéñš àñđ ŕàñ 4.2× šļöŵéŕ ţĥàñ àţ Ñ= 256; gemini-3.1-flash-lite àţ Ñ=600 çöšţ 2.1× ţĥé ţöķéñš àñđ ŕàñ 4.3× šļöŵéŕ ţĥàñ àţ Ñ= 256; gemini-3.5-flash àţ Ñ=600 çöšţ 2.2× ţĥé ţöķéñš àñđ ŕàñ 4.6× šļöŵéŕ ţĥàñ àţ Ñ= 16 .
ķàþî þàçķš ƃàţçĥéš àĝàîñšţ à ţöķéñ ƃüđĝéţ, ŵîţĥ àñ àđđîţîöñàļ ƃļöçķ çàþ öƒ Ñ≤ 64. Ļöñĝéŕ ƃļöçķš üšüàļļý ŕéàçĥ ţĥé ţöķéñ ƃüđĝéţ ƒîŕšţ.
Ŵĥàţ îţ çöšţš, àñđ ŵĥàţ ýöü ĝîṽé üþ
Éṽéŕý çàļļ îñçļüđéš à ƒîẋéđ öṽéŕĥéàđ ƒöŕ ţĥé šýšţéḿ þŕöḿþţ àñđ ĴŠÖÑ šçĥéḿà. Ƃàţçĥîñĝ šþŕéàđš ţĥîš öṽéŕĥéàđ àçŕöšš ḿöŕé ƃļöçķš. Ţĥé šàṽîñĝš đéþéñđ öñ ţĥé þŕöṽîđéŕ; ţĥé Δ çöļüḿñ ƃéļöŵ ŕéþöŕţš ţĥé ḿéàšüŕéđ đéŕéñçé.
Ƃàţçĥîñĝ àļšö ŕéđüçéš ţĥé ñüḿƃéŕ öƒ ŕéǫüéšţš àñđ çàñ îḿþŕöṽé ţĥŕöüĝĥþüţ. Öñ ŕàţé-ļîḿîţéđ ŕöüţéš, îţ ḿàý ƃé ñéçéššàŕý ţö çöḿþļéţé à ŕüñ. Ƒöŕ éẋàḿþļé, ţĥé šḿàļļéšţ ƃàţçĥ šîžéš ƒöŕ eu.anthropic.claude-sonnet-4-6 éẋçééđéđ ţĥé àççöüñţ’š Ƃéđŕöçķ ŕéǫüéšţ ǫüöţà îñ ţĥîš šŵééþ.
Çöšţš àŕé ŕéþöŕţéđ îñ ÜŠĐ þéŕ 1,000 šöüŕçé ŵöŕđš šö ḿöđéļš ŵîţĥ đéŕéñţ ţöķéñîžéŕš çàñ ƃé çöḿþàŕéđ öñ ţĥé šàḿé çöñţéñţ. Ţĥîš ĥàŕñéšš ḿéàšüŕéš ţŕàñšļàţîöñ. Öţĥéŕ ƃàţçĥéđ çöñţéñţ ţàšķš ḿàý àļšö ƃéñéƒîţ ƒŕöḿ ŕéđüçéđ ŕéǫüéšţ öṽéŕĥéàđ, ƃüţ ţĥéîŕ çöšţš ŕéǫüîŕé šéþàŕàţé ḿéàšüŕéḿéñţ.
Ţĥé šḿàļļéšţ ƃàţçĥ šîžé ḿéàšüŕéđ, àĝàîñšţ ķàþî’š šĥîþþéđ çéîļîñĝ öƒ 64:
| Ḿöđéļ | $ / 1,000 ŵöŕđš | Ŵöŕđš / šéçöñđ | Îñţàçţ àţ Ñ=64 | ||||
|---|---|---|---|---|---|---|---|
| šḿàļļéšţ Ñ | Ñ=64 | Δ | šḿàļļéšţ Ñ | Ñ=64 | Δ | ||
| eu.anthropic.claude-sonnet-4-6 | $0.081(Ñ=16) | $0.070 | −14% | 45 | 57 | +26% | 100.0% |
| gemini-3.1-flash-lite | $0.0058(Ñ=8) | $0.0056 | −4% | 319 | 414 | +30% | 100.0% |
| gemini-3.5-flash | $0.032(Ñ=8) | $0.034 | +5% | 109 | 230 | +112% | 100.0% |
Çöḿþàŕé ţĥé çöšţ àñđ ţĥŕöüĝĥþüţ çĥàñĝéš ŵîţĥ ţĥé îñţàçţ þéŕçéñţàĝé ţö àššéšš éàçĥ ḿöđéļ'š ƃàţçĥîñĝ ţŕàđéöƒƒš.
Îñţéŕþŕéţ ţĥéšé ñüḿƃéŕš ŵîţĥ ţĥé ƒöļļöŵîñĝ ļîḿîţàţîöñš. Ƃéđŕöçķ îš ƃîļļéđ ţĥŕöüĝĥ ÀŴŠ Ḿàŕķéţþļàçé, àñđ ţĥé eu. çŕöšš-ŕéĝîöñ îñƒéŕéñçé þŕöƒîļé îš à ŕéĝîöñàļ þŕöƒîļé: ÀŴŠ çĥàŕĝéš éẋàçţļý 10% ḿöŕé ƒöŕ îţ ţĥàñ ƒöŕ ţĥé öţĥéŕŵîšé îđéñţîçàļ global. þŕöƒîļé ($3.30/$16.50 þéŕ ḿîļļîöñ ţöķéñš àĝàîñšţ $3.00/$15.00). Ţĥé ŕàţéš ĥéŕé àŕé ţĥé öñéš àçţüàļļý þàîđ. Ţĥé çļàüđé-çöđé ḿöđéļš šĥöŵ ñö çöšţ, ƃéçàüšé ţĥàţ šŵééþ ŕéàçĥéđ ţĥéḿ ţĥŕöüĝĥ ţĥé Çļàüđé šüƃšçŕîþţîöñ, ŵĥîçĥ îš ñöţ ƃîļļéđ þéŕ ţöķéñ — àñđ ŵĥöšé ţöķéñ çöüñţš đö ñöţ đéšçŕîƃé àñ ÀÞÎ çàļļ éîţĥéŕ: ţĥé ÇĻÎ ŵŕàþš éṽéŕý ŕéǫüéšţ îñ îţš öŵñ àĝéñţ šýšţéḿ þŕöḿþţ àñđ ŕéþöŕţš îţ àš çàçĥé çŕéàţîöñ, šö îţ ŕéçöŕđéđ 240 îñþüţ ţöķéñš àçŕöšš šîẋţý çàļļš. Ţĥöšé çöüñţš çàññöţ šüþþöŕţ à ŕéļîàƃļé ÀÞÎ çöšţ éšţîḿàţé, šö ţĥé çöļüḿñ îš ƃļàñķ. Çöšţ ƒöŕ ţĥöšé ḿöđéļš ŕéǫüîŕéš à šŵééþ àĝàîñšţ ţĥé ḿéţéŕéđ Àñţĥŕöþîç ÀÞÎ. Šþééđ îš ñöţ çöḿþàŕàƃļé àçŕöšš þŕöṽîđéŕš: ţĥé šŵééþš ŕàñ àţ đéŕéñţ çöñçüŕŕéñçîéš ( eu.anthropic.claude-sonnet-4-6: 2, gemini-3.1-flash-lite: 4, gemini-3.5-flash: 4 ) , àñđ ţĥé çļàüđé-çöđé ŕöüţé þàýš à ÇĻÎ šéššîöñ šţàŕţ-üþ öñ éṽéŕý çàļļ ţĥàţ à đîŕéçţ ÀÞÎ çàļļ đöéš ñöţ. Çöḿþàŕé ŵöŕđš/šéç àçŕöšš ƃàţçĥ šîžéš ŵîţĥîñ ţĥé šàḿé ḿöđéļ. Šüƃšçŕîþţîöñ ŕöüţéš àŕé ñöţ ƃîļļéđ þéŕ ţöķéñ: ŵĥéŕé à ŕàţé îš šĥöŵñ, îţ éšţîḿàţéš ţĥé çöšţ öƒ ţĥé šàḿé ḿöđéļ öñ ţĥé ḿéţéŕéđ ÀÞÎ.
Ŕàţéš àš þüƃļîšĥéđ 2026-07-14, þîññéđ îñţö éàçĥ ŕüñ šö à ļàţéŕ þŕîçé çĥàñĝé çàññöţ šîļéñţļý ŕéšţàţé ŵĥàţ à þàšţ ŕüñ çöšţ. Ŕéƒŕéšĥ ŵîţĥ make update-model-prices.
Ţĥé ñüḿƃéŕš
eu.anthropic.claude-sonnet-4-6 bedrock · 1× þéŕ Ñ
| Ñ | Îñţàçţ | Ḿîššîñĝ | Þļàçéĥöļđéŕ | Ţàĝš | Üñţŕàñšļàţéđ | $ / 1ķ ŵöŕđš | Ŵöŕđš/šéç |
|---|---|---|---|---|---|---|---|
| 16 | 100.0% | 0 | 0 | 0 | 0 | $0.081 | 45.0 |
| 32 | 100.0% | 0 | 0 | 0 | 0 | $0.073 | 54.4 |
| 64šĥîþþéđ çéîļîñĝ | 100.0% | 0 | 0 | 0 | 0 | $0.070 | 56.9 |
| 128 | 100.0% | 0 | 0 | 0 | 0 | $0.068 | 59.8 |
| 256 | 100.0% | 0 | 0 | 0 | 0 | $0.067 | 63.1 |
| 600 | 100.0% | 0 | 0 | 0 | 0 | $0.171 | 15.0 |
gemini-3.1-flash-lite gemini · 2× þéŕ Ñ
| Ñ | Îñţàçţ | Ḿîššîñĝ | Þļàçéĥöļđéŕ | Ţàĝš | Üñţŕàñšļàţéđ | $ / 1ķ ŵöŕđš | Ŵöŕđš/šéç |
|---|---|---|---|---|---|---|---|
| 8 | 100.0% | 0 | 0 | 0 | 0 | $0.0058 | 318.8 |
| 16 | 100.0% | 0 | 0 | 0 | 0 | $0.0056 | 404.5 |
| 32 | 100.0% | 0 | 0 | 0 | 0 | $0.0057 | 454.1 |
| 64šĥîþþéđ çéîļîñĝ | 100.0% | 0 | 0 | 0 | 0 | $0.0056 | 414.5 |
| 128 | 100.0% | 0 | 0 | 0 | 0 | $0.0055 | 420.8 |
| 256 | 100.0% | 0 | 0 | 0 | 0 | $0.0054 | 320.2 |
| 600 | 100.0% | 0 | 0 | 0 | 0 | $0.012 | 74.1 |
gemini-3.5-flash gemini · 2× þéŕ Ñ
| Ñ | Îñţàçţ | Ḿîššîñĝ | Þļàçéĥöļđéŕ | Ţàĝš | Üñţŕàñšļàţéđ | $ / 1ķ ŵöŕđš | Ŵöŕđš/šéç |
|---|---|---|---|---|---|---|---|
| 8 | 99.3% | 0 | 8 | 1 | 0 | $0.032 | 108.8 |
| 16 | 99.8% | 0 | 2 | 0 | 0 | $0.032 | 162.2 |
| 32 | 100.0% | 0 | 0 | 0 | 0 | $0.034 | 204.9 |
| 64šĥîþþéđ çéîļîñĝ | 100.0% | 0 | 0 | 0 | 0 | $0.034 | 230.4 |
| 128 | 100.0% | 0 | 0 | 0 | 0 | $0.034 | 247.0 |
| 256 | 99.1% | 0 | 0 | 0 | 11 | $0.034 | 165.0 |
| 600 | 100.0% | 0 | 0 | 0 | 0 | $0.071 | 34.9 |
Öṽéŕ ţîḿé
Îñţàçţ% àţ ţĥé šĥîþþéđ çéîļîñĝ (Ñ=64), ƃý ŕüñ đàţé. À ḿöđéļ ţĥàţ ŕéĝŕéššéš ŵĥîļé ŕéţàîñîñĝ ţĥé šàḿé àļîàš çàñ ƃé đéţéçţéđ ƃý çöḿþàŕîñĝ ţĥéšé ŕüñš.
| Ḿöđéļ | 2026-07-14 | 2026-07-15 |
|---|---|---|
| eu.anthropic.claude-sonnet-4-6 | 100.0% | 100.0% |
| gemini-3.1-flash-lite | 100.0% | 100.0% |
| gemini-3.5-flash | 100.0% | 100.0% |
Ŕéþŕöđüçîñĝ ţĥîš
Ţĥé ĥàŕñéšš îš scripts/batcheval. À ŕüñ àĝàîñšţ ţĥé ƃüîļţ-îñ đéḿö šţüƃ éẋéŕçîšéš ţĥé ĥàŕñéšš àñđ ḿéàšüŕéš ñöţĥîñĝ àƃöüţ àñý ḿöđéļ; šüçĥ ŕüñš àŕé ḿàŕķéđ simulated àñđ àŕé éẋçļüđéđ ƒŕöḿ éṽéŕý çĥàŕţ öñ ţĥîš þàĝé.
make batch-eval # demo stub: proves the harness, measures nothing
make batch-eval-publish # the real sweep → this page's data