Agentic holdout v1RAW y LowToHi · mismo modelo · holdout congelado
RAW1 / 30
LOWTOHI29 / 30
28 victorias emparejadas · p = 7,45e-09
Medido, versionado, reproducible
Evidencia suficientemente fuerte para inspeccionarla y suficientemente acotada para confiar.
LowToHi publica tarea, modelo, runtime, evaluador y límite estadístico detrás de cada resultado. El objetivo no es teatro de marketing, sino progreso falsable.
Agentic holdout v2Holdout independiente de 20 tareas · sin reintentos
RAW0 / 20
LOWTOHI10 / 20
10 victorias emparejadas · p = 0,001953125
N20 agentic programmingCampaña congelada · temp 0,2 · max 4096
RAW3 / 20
LOWTOHI19 / 20
16 victorias emparejadas · p < 0,001
Cómo se gobiernan las comparaciones
El mismo modelo proveedor se prueba en condiciones RAW y LowToHi frente a tareas y evaluadores congelados.
Conjuntos congelados
Inputs, fixtures, tests ocultos y reglas del evaluador se fijan antes de la campaña.
Condiciones emparejadas
RAW y LowToHi comparten modelo subyacente y configuración declarada.
Evidencia conservada
Respuestas, outcomes, tokens, costes y manifests quedan disponibles para verificación offline.
Claims fail-closed
Mediciones ausentes o no verificables no se convierten en afirmaciones positivas.
Qué establece y qué no establece la evidencia
- Respalda un efecto material del runtime en tareas agentic identificadas.
- No establece inteligencia universal ni superioridad en todos los dominios.
- No implica que todas las superficies del producto estén listas para producción.
- No aísla cada mecanismo interno sin una ablación.
- No concede autoridad operativa al modelo ni al runtime.
CLAIM BOUNDARY
Una categoría debe construirse con evidencia pública, no con adjetivos.
LowToHi trata la metodología, los resultados negativos y los límites de cada claim como parte del producto.
Low cost in. High trust out.
Construye la inteligencia que realmente necesita tu disciplina.
Explora el producto, revisa la evidencia y descubre cómo LowToHi convierte modelos reemplazables en capacidad profesional duradera.