MiniCPM-SALA
MiniCPM-SALA (Sparse Attention and Linear Attention) is a 9B hybrid model built from a MiniCPM-4.0 checkpoint via continual training (~2T tokens, 25% of training-from-scratch cost). It interleaves 25% InfLLM-V2 sparse attention and 75% Lightning Attention layers, achieving up to 3.5x inference speed over dense baselines at 256K tokens. With HyPE (Hybrid Positional Encoding) and NoPE in sparse layers, the model extrapolates to 2048K tokens despite a 520K training length, enabling 1M-token inference on consumer GPUs like the RTX 5090.
Identité
| Organisation | OpenBMB |
|---|---|
| Pays | — |
| Famille | — |
| Type | llm |
| Date de sortie | 2026-02-11 |
| Licence | apache 2.0 |
| Licence commerciale | oui |
| Licence open source | oui |
| Poids ouverts | oui |
| Auto-hébergement (DGX Spark) | oui — ≤ 107 Md (Q8/FP8) |
| Modalités | — |
| Fenêtre de contexte | 256 000 |
| KV cache / token (Q8) | — |
| Paramètres totaux | 9.48 B |
| Paramètres actifs (session) | 9.48 B |
| Source des paramètres actifs | web : https://huggingface.co/openbmb/MiniCPM-SALA |
| Curation des paramètres actifs | 2026-11-04 |
| Prix par session | — |
| Tokens / tâche (Data Players) | 1.2 M |
| Tokens / tâche (Terminal-Bench) | 83.3 M (est.) |
| Ratio Terminal-Bench / Data Players | 69.4× |
| Coût / tâche (Terminal-Bench) | — |
| Tokens d'entraînement | — |
| Coupure de connaissance | — |
| Créé le | 2026-05-07T16:53:35.214352Z |
| Mis à jour le | 2026-11-04T06:05:04.476599Z |
| Source | LLM Stats |
| URL | https://llm-stats.com/models/minicpm-sala |
Prix par fournisseur
Statut du modèle (offres + auto-hébergement) : partiel — auto-hébergement DGX Spark (≤ 107 Md).
Toutes sources confondues : catalogue llm-stats, routeurs EUrouter/Cortecs et catalogues directs (OVHcloud, Scaleway, Infomaniak). Les prix sont convertis en USD pour la comparaison ; le prix publié et le taux BCE utilisé sont dans l'infobulle. Les prix inconnus restent indiqués « — ».
Aucune donnée.
Souveraineté qualifiée par offre (modèle × fournisseur) ; survolez le badge pour les critères.
SouverainetéScores par catégorie (top_scores)
| Catégorie | Score |
|---|---|
| chat | 0.80 |
| instruction_following | 0.80 |
| language | 0.80 |
| legal | 0.70 |
| long_context | 0.90 |
| math | 0.80 |
| reasoning | 0.80 |
| structured_output | 0.80 |
| finance | 0.70 |
| general | 0.80 |
| healthcare | 0.70 |
| code | 1.00 |
Scores par benchmark
| Benchmark | Catégorie | Score | Max | Normalisé (API) | Vérifié | Auto-déclaré | Daté du |
|---|---|---|---|---|---|---|---|
| aime-2024 | math | 0.84 | 1.00 | 0.84 | non | oui | 2026-11-04T06:05:04.609391Z |
| aime-2025 | math | 0.78 | 1.00 | 0.78 | non | oui | 2026-11-04T06:05:04.612689Z |
| bbh | reasoning | 0.82 | 1.00 | 0.82 | non | oui | 2026-11-04T06:05:04.619940Z |
| cmmlu | language | 0.82 | 1.00 | 0.82 | non | oui | 2026-11-04T06:05:04.577798Z |
| humaneval | reasoning | 0.95 | 1.00 | 0.95 | non | oui | 2026-11-04T06:05:04.588094Z |
| ifeval | chat | 0.76 | 1.00 | 0.76 | non | oui | 2026-11-04T06:05:04.623823Z |
| livecodebench-v5 | reasoning | 0.60 | 1.00 | 0.60 | non | oui | 2026-11-04T06:05:04.591321Z |
| livecodebench-v6 | reasoning | 0.52 | 1.00 | 0.52 | non | oui | 2026-11-04T06:05:04.597932Z |
| mbpp | reasoning | 0.89 | 100.00 | 0.89 | non | oui | 2026-11-04T06:05:04.601185Z |
| mmlu-pro | language | 0.67 | 1.00 | 0.67 | non | oui | 2026-11-04T06:05:04.582342Z |
| mrcr-128k-(2-needle) | long_context | 0.29 | 1.00 | 0.29 | non | oui | 2026-11-04T06:05:04.525388Z |
| mrcr-128k-(4-needle) | long_context | 0.20 | 1.00 | 0.20 | non | oui | 2026-11-04T06:05:04.528974Z |
| mrcr-128k-(8-needle) | long_context | 0.10 | 1.00 | 0.10 | non | oui | 2026-11-04T06:05:04.535004Z |
| mrcr-64k-(2-needle) | long_context | 0.30 | 1.00 | 0.30 | non | oui | 2026-11-04T06:05:04.489269Z |
| mrcr-64k-(4-needle) | long_context | 0.21 | 1.00 | 0.21 | non | oui | 2026-11-04T06:05:04.492977Z |
| mrcr-64k-(8-needle) | long_context | 0.17 | 1.00 | 0.17 | non | oui | 2026-11-04T06:05:04.516655Z |
| nolima-128k | long_context | 0.24 | 1.00 | 0.24 | non | oui | 2026-11-04T06:05:04.556716Z |
| nolima-32k | long_context | 0.55 | 1.00 | 0.55 | non | oui | 2026-11-04T06:05:04.538953Z |
| nolima-64k | long_context | 0.43 | 1.00 | 0.43 | non | oui | 2026-11-04T06:05:04.542451Z |
| ruler-1000k | long_context | 0.86 | 1.00 | 0.86 | non | oui | 2026-11-04T06:05:04.568227Z |
| ruler-128k | long_context | 0.89 | 1.00 | 0.89 | non | oui | 2026-11-04T06:05:04.486124Z |
| ruler-2048k | long_context | 0.82 | 1.00 | 0.82 | non | oui | 2026-11-04T06:05:04.573850Z |
| ruler-512k | long_context | 0.87 | 1.00 | 0.87 | non | oui | 2026-11-04T06:05:04.563510Z |
| ruler-64k | long_context | 0.93 | 1.00 | 0.93 | non | oui | 2026-11-04T06:05:04.483097Z |
Classements
| Catégorie | Rang | Score | Note conservatrice | Benchmarks évalués | Méthode | Daté du | Provenance |
|---|---|---|---|---|---|---|---|
| code | 102 | — | 20.94 | 1 | trueskill | 2026-10-19 | model_history |
Données
Dates de curation (récupération depuis l'API) : models 2026-11-04 · benchmarks 2026-11-04 · scores 2026-11-04 · updates 2026-11-04 · account 2026-11-04 · model_history 2026-11-04 · rankings 2026-11-04