# Evalúa tu RAG con 54 preguntas: hit@k, MRR y ruido, medido

> Una evaluación real de un RAG: 54 preguntas en español, hit@k y MRR calculados paso a paso, y una mejora de 3 aciertos que no se distingue del ruido.

- Publicado: 2026-04-20
- Revisado: 2026-11-15
- Autor: Jacobo González Jaspe
- Idioma: es
- Etiquetas: rag, testing, n8n, calidad, tutorial
- URL canónica: https://vorluxai.com/blog/evaluaciones-ia-probar-pipeline-rag-antes-produccion-2026-es/
- Fuente: VORLUX AI (J4SGON S.L.), https://vorluxai.com/

---

Al terminar tendrás un método para saber si tu RAG encuentra el pasaje correcto: un conjunto de preguntas pequeño, dos métricas que caben en 20 líneas de Python y una prueba para no celebrar ruido. Lo enseñamos con una evaluación nuestra: 54 preguntas en español sobre la Ley de IA de la UE, medidas el 15-11-2026 en nuestra DGX Spark. Para repetir las cuentas te basta un portátil con Python.

> **Resumen**
> - Te llevas: cómo escribir un conjunto de referencia, qué son hit@k y MRR, y el código para calcularlos sobre nuestros datos publicados.
> - Cuesta: una tarde escribiendo preguntas y cero euros. Estas métricas no necesitan modelo juez ni API.
> - Veredicto: hazlo antes de cambiar nada en tu RAG, y desconfía de las mejoras pequeñas. Nuestro reranker ganó 3 primeros puestos de 54 y la prueba de signos dio p = 0,51.

## Qué necesitas

- Un RAG que ya devuelva resultados. Si no lo tienes, monta uno con [Ollama, Qdrant y bge-m3](https://vorluxai.com/blog/rag-local-qdrant-bge-m3-medido-es/) o con [n8n y Ollama](https://vorluxai.com/blog/tutorial-n8n-ollama-rag-pipeline-documentos-empresa-es/).
- Python 3, solo con la librería estándar.
- Tus documentos y una tarde para leerlos. Es lo único caro de todo el proceso.

## Paso 1: escribe un conjunto de referencia pequeño

Un conjunto de referencia (*golden set*) es una lista de preguntas, cada una con el pasaje que la responde. El pasaje, no la respuesta esperada. Así la nota es determinista: el pasaje correcto salió entre los k primeros resultados o no salió. Nadie tiene que opinar.

El nuestro tiene 54 preguntas sobre el texto en español del [Reglamento (UE) 2024/1689](http://data.europa.eu/eli/reg/2024/1689/oj), cortado en 761 fragmentos. Una de ellas, tal cual está en el fichero:

```json
{"id": "h14", "type": "hard",
 "q": "¿Qué amparo tiene un trabajador que da el chivatazo de que su empresa se salta la ley de IA?",
 "gold": [{"unit": "art_87"}]}
```

Las reglas que seguimos, por si quieres copiarlas:

- **Etiqueta pasajes.** Un pasaje es correcto cuando responde a la pregunta con su propio texto. 40 preguntas tienen un fragmento correcto, 12 tienen dos, una tiene tres y otra cinco.
- **Mezcla la dificultad a propósito.** 18 literales (con los términos del documento), 18 parafraseadas y 18 difíciles, en lenguaje de la calle. Si todas usan las palabras del documento, cualquier búsqueda parece buena.
- **Escríbelas una a una, leyendo el documento.** Ninguna pregunta ni etiqueta de las nuestras salió en lote de un modelo local. El fichero recoge quién las escribió y con qué regla.
- **Congela el fichero con fecha.** Si cambias las preguntas entre dos medidas, el antes y el después ya no se comparan.
- **Revisa los fallos una vez, con la regla fija.** Tras la primera ejecución leímos el primer resultado de cada método en las 17 preguntas que alguno falló. Añadimos 0 etiquetas. El pasaje que define una ultrasuplantación no es el que manda avisar de ella, así que siguió contando como fallo.

El conjunto está publicado: [reranker-es-legal-questions-2026-11-15.json](https://vorluxai.com/data/measurements/reranker-es-legal-questions-2026-11-15.json).

## Paso 2: calcula hit@k y MRR

- **hit@k**: en cuántas preguntas hay un pasaje correcto entre los k primeros resultados. Dalo como recuento sobre el total, no solo como porcentaje.
- **MRR@10** ([*mean reciprocal rank*](https://en.wikipedia.org/wiki/Mean_reciprocal_rank)): la media de 1 dividido por la posición del primer pasaje correcto. Si no está entre los diez primeros, esa pregunta suma 0.

Nuestro fichero de resultados guarda, para cada método, la posición del primer pasaje correcto en cada pregunta. Descárgalo y calcula las dos métricas tú mismo:

```bash
curl -sO https://vorluxai.com/data/measurements/reranker-es-legal-2026-11-15.json
```

```python
import json
from math import comb

run = json.load(open("reranker-es-legal-2026-11-15.json"))["results"]
ranks = {m["method"]: m["first_gold_rank"] for m in run["methods"]}

def hit_at(k, rs):
    return sum(1 for r in rs if r is not None and r <= k)

def mrr_at(k, rs):
    return sum(1 / r for r in rs if r is not None and r <= k) / len(rs)

def sign_test(a, b):  # exacta, a dos colas
    n, k = a + b, max(a, b)
    return min(1.0, 2 * sum(comb(n, i) for i in range(k, n + 1)) / 2 ** n)

base, new = ranks["dense"], ranks["dense top 25 -> rerank"]
for name, rs in (("embeddings", base), ("reranked", new)):
    print(name, hit_at(1, rs), hit_at(10, rs), round(mrr_at(10, rs), 4))

first = lambda r: r == 1
gained = sum(1 for a, b in zip(base, new) if not first(a) and first(b))
lost = sum(1 for a, b in zip(base, new) if first(a) and not first(b))
print(gained, lost, round(sign_test(gained, lost), 4))
```

Salida esperada:

```
embeddings 41 48 0.8057
reranked 44 51 0.8619
6 3 0.5078
```

La cuenta del MRR, a mano. Con embeddings solos, el primer pasaje correcto quedó en la posición 1 en 41 preguntas, en la 2 en tres, en la 3 en dos, en la 5 en una y en la 7 en otra. En las seis restantes quedó más allá de la décima o no apareció. Eso da (41 + 3/2 + 2/3 + 1/5 + 1/7) / 54 = 0,81.

Con tu propio RAG, sustituye `first_gold_rank` por la posición que devuelve tu búsqueda para cada pregunta. El resto no cambia.

## Qué medimos

Medido el 15-11-2026 en nuestra primera DGX Spark (`spark-43d5`, NVIDIA GB10). Embeddings: bge-m3 en Ollama 0.30.10. Reranker: BAAI/bge-reranker-v2-m3 en vLLM 0.19.0, reordenando los 25 primeros candidatos. La ejecución completa duró 509 s, con la GPU al 94 o 95 % por un entrenamiento nuestro. El comando:

```bash
python3 scripts/bench/reranker_es_legal.py --keep-alive -1 --reps 5 --out <tmp>
```

Cada posición y cada tiempo están en [reranker-es-legal-2026-11-15.json](https://vorluxai.com/data/measurements/reranker-es-legal-2026-11-15.json), con el protocolo y el hash del script.

| Configuración | Primer lugar | 10 primeros | MRR@10 | Intervalo 95 %, primer lugar |
|---|---|---|---|---|
| Solo embeddings | 41 de 54 | 48 de 54 | 0,81 | 63 % a 85 % |
| 25 primeros reordenados | 44 de 54 | 51 de 54 | 0,86 | 69 % a 90 % |

Primer lugar por tipo de pregunta, sobre 18 cada uno:

| Tipo | Solo embeddings | 25 primeros reordenados |
|---|---|---|
| Literales | 17 | 18 |
| Parafraseadas | 16 | 17 |
| Difíciles | 8 | 9 |

## Paso 3: compara dos configuraciones sin engañarte

Pasar de 41 a 44 se puede contar como pasar del 75,9 % al 81,5 %. Suena a mucho. Son tres preguntas: con 54, cada una vale 1,9 puntos.

- **Mira los intervalos.** Son [intervalos de Wilson](https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval) y se solapan casi enteros: 63 % a 85 % frente a 69 % a 90 %.
- **Compara pregunta a pregunta.** Las dos configuraciones responden a las mismas 54, así que importa cuáles cambiaron. El reranker subió 6 al primer puesto y sacó a 3 de él. Las otras 45 quedaron igual.
- **Pasa una prueba de signos.** Una [prueba de signos](https://en.wikipedia.org/wiki/Sign_test) exacta con 6 frente a 3 da p = 0,51. Una moneda al aire reparte nueve tiradas así de desiguales, o más, la mitad de las veces.
- **Calcula cuántas preguntas harían falta.** Esto es aritmética, no una medida. Si la proporción de dos a uno se mantuviera, 24 frente a 12 daría p = 0,065 y 30 frente a 15 daría p = 0,036. Eso son 270 preguntas, cinco veces las nuestras. No las hemos escrito, así que no sabemos si la proporción se mantiene.
- **Elige la métrica antes de medir.** Con los mismos datos, si cuentas posiciones en vez de primeros puestos, el reranker subió el pasaje correcto en 6 preguntas y lo bajó en 7.

## Lo que no te dicen los totales

- **El total esconde dónde falla.** Los embeddings acertaron 17 de 18 literales en primer lugar y 8 de 18 difíciles. Si tus usuarios escriben como las difíciles, tu número es el 8.
- **La primera etapa pone el techo.** El pasaje correcto estaba entre los 50 primeros candidatos de los embeddings en 52 preguntas. El de la pregunta del chivatazo no llegó, así que ninguna segunda pasada pudo verlo.
- **Un recorte también quita.** En una pregunta difícil el pasaje estaba en la posición 41. Al reordenar solo 25 candidatos se quedó fuera.

## Cuándo repetir la evaluación

- Al añadir o cambiar documentos.
- Al cambiar el modelo de embeddings, el tamaño de fragmento o el número de candidatos.
- Antes de cada paso a producción.

Siempre con el mismo fichero de preguntas. Si lo amplías, vuelve a medir también la configuración anterior.

## Cuándo no basta con esto

- **Mide la búsqueda, no la respuesta.** Nuestro conjunto no tiene respuestas correctas, solo pasajes. Un RAG puede encontrar el pasaje y redactar mal, y eso aquí no lo hemos medido.
- **Es un solo corpus.** Español jurídico, 54 preguntas, un solo autor. Tus facturas o tus tickets pueden comportarse de otra manera.
- **No tiene preguntas sin respuesta.** Conviene añadir algunas que tus documentos no contestan y comprobar que el sistema dice que no lo sabe. Nosotros no lo hicimos en esta prueba.
- **54 es poco para afinar.** Basta para ver que las difíciles fallan. No basta para demostrar una mejora de tres preguntas.

## Siguientes pasos

- Monta la búsqueda que vas a evaluar: [RAG local con Ollama, Qdrant y bge-m3](https://vorluxai.com/blog/rag-local-qdrant-bge-m3-medido-es/).
- Elige la primera etapa con datos: [el mejor modelo de embeddings local para español](https://vorluxai.com/blog/mejor-modelo-embeddings-local-espanol-medido-es/).
- Mide también la velocidad del modelo que redacta: [benchmark de un modelo local en 30 minutos](https://vorluxai.com/blog/benchmark-modelo-local-tu-ordenador-30-minutos-es/).

## Trabaja con nosotros

Podemos hacer esta evaluación con tus documentos y tus preguntas antes de recomendarte un modelo o una máquina. Una llamada gratuita de 15 minutos basta para saber si tiene sentido en tu caso: [reserva la llamada](https://vorluxai.com/contact/) o mira [cómo trabajamos en consultoría](https://vorluxai.com/consulting/).
