{
  "_comment": "Reference numbers of the running production image (vllm7 = docker-vllm7.service, LXC 2408, R9700, MXFP4 + DFlash2 k=7, max-model-len 262144). `full` comes from the 0.2.2/0.2.3 acceptance runs (betterbench config/default.json). `fast`, startup_s, mean_tokens_per_step and acceptance_rate were calibrated on 2026-09-17 with `--mode fast --record-baseline` against 0.2.3, i.e. through the gate's own path. Null/absent entries are skipped, not failed. Move this file forward after every rollout: it is 'what production does today', not 'the best we ever measured'.",
  "image": "vllm-sly-radiance:0.2.3-rocm10.0",
  "measured": "2026-09-17",
  "kv_tokens": 375820,
  "startup_s": 261.1,
  "mean_tokens_per_step": 8.2792,
  "acceptance_rate": 0.4638,
  "gsm8k": 0.835,
  "modes": {
    "fast": {
      "aggregate_tps": {
        "1": 108.55,
        "8": 340.04
      }
    },
    "full": {
      "aggregate_tps": {
        "1": 109.8,
        "2": 190.0,
        "4": 305.0,
        "8": 388.0,
        "16": 385.8
      }
    }
  },
  "recorded": {
    "image": "vllm-sly-radiance:0.2.3-rocm10.0",
    "at": "2026-09-17 21:51:32Z",
    "mode": "fast"
  },
  "_note_fast_vs_full": "fast und full sind NICHT vergleichbar: fast faehrt 24 Requests auf conc 1 und 8, full 48 auf 1/2/4/8/16. conc 8 misst in fast 331-348 t/s gegen 388 in full - dieselbe Engine, nur ein kuerzerer Lauf. Ein fast-Lauf gegen die full-Zahlen gemessen meldet auf jedem einzelnen Build 10 % Regression.",
  "_note_fast_spread": "Die fast-Zahlen sind der MITTELWERT der beiden Kalibrierlaeufe gegen 0.2.3, nicht der beste: conc 1 = 108.47/108.62 (Streuung 0.1 %), conc 8 = 331.73/348.35 (Streuung 5.0 %). Vorher stand hier 348.35, also das Maximum - gegen ein Maximum gemessen landet bei dieser Streuung rund die Haelfte aller kuenftigen Laeufe darunter, und bei 0.95x Schwelle war der schlechtere der beiden Referenzlaeufe selbst nur 0.952x. conc 8 bleibt die wackligste Zahl des Gates; mehr Requests pro Lauf waeren das eigentliche Mittel. Gegenprobe 0.2.5: 335.88 = 0.988x des Mittelwerts."
}