{
  "_published": {
    "source": "docs/measurements/mistral-small-24b-spanish-2026-11-15.json",
    "published": "2026-11-15",
    "publisher": "J4SGON S.L., vorluxai.com",
    "index": "https://vorluxai.com/data/",
    "cleaned": "Copied from our internal repository by scripts/publish_measurements.py. Every number is unchanged. Redacted: private IP addresses -> <prime> / <second-box> / <private-ip> (2). Hostnames (spark-43d5, spark-7180) and the PRIME / spark2 labels are kept: the posts use them.",
    "redactions": {
      "private_ip": 2
    }
  },
  "measured_at": "2026-11-15T08:28:00+00:00",
  "host": "spark-7180 via http://<second-box>:11434 from spark-43d5",
  "machine": "DGX Spark GB10 (spark2, spark-7180), 128 GB unified memory",
  "ollama": "ollama version is 0.34.0",
  "command": "python3 scripts/bench/spanish_small_models.py --models mistral-small:24b --ollama http://<second-box>:11434 --ssh spark2 --reps 3 --out docs/measurements/mistral-small-24b-spanish-2026-11-15.json",
  "options": {
    "temperature": 0,
    "seed": 42,
    "num_predict": 700,
    "num_ctx": 4096
  },
  "prompts": {
    "email": "Eres la persona de administración de una gestoría de 10 personas en Valencia.\nUn cliente ha enviado este correo:\n\n---\nBuenos días:\nHemos recibido la factura 2026-0412 del servicio trimestral de contabilidad, pero el importe\nno coincide con el presupuesto que acordamos en julio. El presupuesto decía 450 euros al\ntrimestre más IVA y la factura indica 520 euros más IVA. Además, el plazo de pago ha pasado\nde 30 a 15 días sin previo aviso. ¿Los 70 euros de diferencia corresponden a las dos nóminas\nadicionales que pedimos en agosto? Necesitamos una explicación antes de aprobar el pago.\nA partir del mes que viene, nuestra nueva responsable de finanzas será Marta; por favor,\nponedla en copia en las próximas facturas.\nUn saludo,\nLuis, responsable de administración\n---\n\nEscribe la respuesta a Luis, en español, con asunto, unas 150 palabras y tono profesional y\ncercano. Debe: (1) agradecer y reconocer los dos problemas; (2) explicar que los 70 euros son\nlas dos nóminas adicionales a 35 euros cada una y ofrecer el desglose; (3) decir que el plazo\nse cambió por error, que siguen siendo 30 días y que enviaréis una factura rectificativa;\n(4) confirmar que pondréis a Marta en copia y pedir su correo electrónico.",
    "summary": "Resume en español el siguiente acta en exactamente 3 viñetas (una línea cada una),\npara alguien que no estuvo en la reunión. Incluye las fechas y cifras importantes.\n\nActa de la reunión de equipo del lunes 5 de octubre.\nAsistentes: Ana (dirección), Javier (contabilidad), Lucía (laboral) y Pablo (atención al cliente).\nAna abrió la reunión recordando que el cierre del tercer trimestre termina el 20 de octubre y\nque este año hay 48 clientes con declaración trimestral de IVA, seis más que el año pasado.\nJavier explicó que 11 clientes todavía no han enviado las facturas de septiembre y propuso\nllamarles esta semana en lugar de esperar al último día. Se aprobó que Pablo haga esas llamadas\nel martes y el miércoles. Lucía informó de que dos empresas han contratado personal nuevo en\noctubre y que las altas en la Seguridad Social deben estar presentadas antes de que empiecen a\ntrabajar; una ya está hecha y la otra queda pendiente de recibir el DNI del trabajador.\nTambién se habló del nuevo asistente de IA que el despacho prueba desde septiembre para redactar\nborradores de correos. Pablo comentó que ahorra tiempo en respuestas sencillas, pero que se\nequivoca con fechas y cifras, así que se acordó que ningún correo con importes salga sin\nrevisión humana. Ana pidió a todos que apunten en una hoja compartida qué tareas hacen con el\nasistente, para preparar el registro de usos que pide la normativa europea.\nPor último, se fijó la próxima reunión para el lunes 19 de octubre a las 9:00.",
    "extraction": "Extrae los datos de esta factura y devuelve SOLO un objeto JSON válido, sin texto\nantes ni después, con estas claves exactas:\n\"proveedor\", \"nif\", \"numero_factura\", \"fecha_emision\" (formato AAAA-MM-DD),\n\"total\" (número con punto decimal, sin símbolo), \"fecha_vencimiento\" (formato AAAA-MM-DD).\n\nDe: facturacion@hornosdelturia.example\nAsunto: Factura F-2026/318\n\nHola:\nOs adjuntamos la factura F-2026/318 emitida el 2 de octubre de 2026 por Hornos del Turia, S.L.\n(NIF B98765432) por el mantenimiento anual del horno de convección del obrador.\nBase imponible: 1.250,00 euros. IVA (21 %): 262,50 euros. Total: 1.512,50 euros.\nEl pago vence el 1 de noviembre de 2026 y puede hacerse por transferencia a la cuenta de siempre.\nGracias,\nRosa Martínez, administración"
  },
  "extraction_answer": {
    "proveedor": "hornos del turia, s.l.",
    "nif": "b98765432",
    "numero_factura": "f-2026/318",
    "fecha_emision": "2026-10-02",
    "total": "1512.5",
    "fecha_vencimiento": "2026-11-01"
  },
  "results": [
    {
      "model": "mistral-small:24b",
      "info": {
        "family": "llama",
        "parameter_size": "23.6B",
        "quantization": "Q4_K_M",
        "digest": "cbc05938bb7b197f129393e57058b6f8fc1b9e3a540c8a2a5f96561ca7af92ed",
        "file_size_gb": 14.33
      },
      "mem_available_gb_before": 65.5,
      "tasks": {
        "email": {
          "output": "Asunto: Aclaración sobre Factura 2026-0412 y Cambio de Plazo de Pago\n\nEstimado Luis,\n\nGracias por tu correo y por señalar las discrepancias en la factura 2026-0412. Reconocemos los dos problemas mencionados y nos disculpamos por las molestias causadas.\n\nEn cuanto al importe, los 70 euros adicionales corresponden a las dos nóminas extra que solicitasteis en agosto, a 35 euros cada una. A continuación, te adjunto el desglose detallado:\n\n- Servicio trimestral de contabilidad: 450 euros + IVA\n- Dos nóminas adicionales: 70 euros + IVA\n\nRespecto al plazo de pago, lamentamos informarte que se trató de un error administrativo. El plazo sigue siendo de 30 días y procederemos a emitir una factura rectificativa con la corrección correspondiente.\n\nPor último, confirmamos que pondremos a Marta en copia en las próximas facturas. Para ello, por favor, facilítanos su correo electrónico.\n\nAgradecemos tu comprensión y quedamos a tu disposición para cualquier otra consulta.\n\nUn saludo cordial,\n\n[Tu Nombre]\nAdministración\nGestoría [Nombre de la Gestoría]\nValencia",
          "deterministic": false,
          "median_tok_s": 14.2,
          "eval_tokens": 286,
          "prompt_tokens": 490,
          "runs": [
            {
              "wall_s": 23.64,
              "eval_count": 286,
              "tok_s": 14.2
            },
            {
              "wall_s": 20.33,
              "eval_count": 287,
              "tok_s": 14.2
            },
            {
              "wall_s": 20.38,
              "eval_count": 287,
              "tok_s": 14.1
            }
          ],
          "accents": {
            "words": 151,
            "accented_chars_per_100_words": 11.3,
            "missing_accent_words": []
          },
          "english_leak": []
        },
        "summary": {
          "output": "1. El cierre del tercer trimestre es el 20 de octubre, con 48 clientes con declaración trimestral de IVA, seis más que el año pasado.\n2. Javier informó que 11 clientes no han enviado las facturas de septiembre y se acordó que Pablo haga llamadas el martes y miércoles.\n3. Se habló del nuevo asistente de IA, que ahorra tiempo pero necesita revisión humana para fechas y cifras; la próxima reunión es el 19 de octubre a las 9:00.",
          "deterministic": false,
          "median_tok_s": 14.2,
          "eval_tokens": 116,
          "prompt_tokens": 529,
          "runs": [
            {
              "wall_s": 8.53,
              "eval_count": 116,
              "tok_s": 14.2
            },
            {
              "wall_s": 7.25,
              "eval_count": 102,
              "tok_s": 14.2
            },
            {
              "wall_s": 7.24,
              "eval_count": 102,
              "tok_s": 14.2
            }
          ],
          "accents": {
            "words": 71,
            "accented_chars_per_100_words": 14.1,
            "missing_accent_words": []
          },
          "english_leak": []
        },
        "extraction": {
          "output": "```json\n{\n  \"proveedor\": \"Hornos del Turia, S.L.\",\n  \"nif\": \"B98765432\",\n  \"numero_factura\": \"F-2026/318\",\n  \"fecha_emision\": \"2026-10-02\",\n  \"total\": 1512.50,\n  \"fecha_vencimiento\": \"2026-11-01\"\n}\n```",
          "deterministic": true,
          "median_tok_s": 14.3,
          "eval_tokens": 107,
          "prompt_tokens": 424,
          "runs": [
            {
              "wall_s": 7.81,
              "eval_count": 107,
              "tok_s": 14.3
            },
            {
              "wall_s": 7.55,
              "eval_count": 107,
              "tok_s": 14.3
            },
            {
              "wall_s": 7.58,
              "eval_count": 107,
              "tok_s": 14.3
            }
          ],
          "accents": {
            "words": 8,
            "accented_chars_per_100_words": 0.0,
            "missing_accent_words": []
          },
          "english_leak": [],
          "extraction": {
            "strict_json": false,
            "lenient_json": true,
            "fields_correct": 6,
            "fields_total": 6,
            "field_detail": {
              "proveedor": {
                "got": "Hornos del Turia, S.L.",
                "ok": true
              },
              "nif": {
                "got": "B98765432",
                "ok": true
              },
              "numero_factura": {
                "got": "F-2026/318",
                "ok": true
              },
              "fecha_emision": {
                "got": "2026-10-02",
                "ok": true
              },
              "total": {
                "got": 1512.5,
                "ok": true
              },
              "fecha_vencimiento": {
                "got": "2026-11-01",
                "ok": true
              }
            }
          }
        }
      }
    }
  ],
  "conditions_note": "Added by hand after the run, nothing else in this file was edited. Run from PRIME (spark-43d5) against the Ollama 0.34.0 on spark2 (spark-7180); memory, kernel and driver were read on spark2 over ssh. The tag mistral-small:24b was pulled through /api/pull on 2026-11-15 just before the run: /api/tags lists it with digest 8039dd90c1138d772437a0779a33b7349efd5d9cca71edcd26e4dd463f90439d, 14,333,921,662 bytes, GGUF Q4_K_M, 23.6B parameters, base model Mistral Small 2501 (Instruct), native context 32768, general.license apache-2.0 (all from /api/show); About 90 seconds after the pull and before the first run, spark2's own automation rewrote the tag with PARAMETER num_ctx 16384 baked in (same weights blob sha256-102a747c1376...; the tag then lists digest cbc05938bb7b197f129393e57058b6f8fc1b9e3a540c8a2a5f96561ca7af92ed, 14,333,921,268 bytes, modified 09:23:14 local). Every run here used that rewritten tag, which is the `digest` in the results, and sent its own num_ctx, which overrides the baked value. spark2 serves 8 parallel slots (OLLAMA_NUM_PARALLEL=8), so the loaded size covers 8 x num_ctx tokens of context. Also on spark2 during the run: gemma4-32k resident in the same Ollama (22.7 GB per /api/ps), a vLLM engine holding about 19 GB of GPU memory and an idle ComfyUI (nvidia-smi, read at 09:20 local time before the run). Nobody else's model was unloaded. We did not log GPU utilisation during the run, so we cannot prove the other services were idle; the 15 timed generations in the three files of this run stayed between 14.1 and 14.4 tok/s. The file had just been downloaded, so run 1 loaded from the page cache and is not a cold load from disk. 16k and 32k contexts were not loaded: with 8 slots they would have taken memory the shared box needs for its other models."
}
