{
 "_published": {
  "source": "evals/reranker-es-legal/questions-2026-11-15.json",
  "published": "2026-11-15",
  "publisher": "J4SGON S.L., vorluxai.com",
  "index": "https://vorluxai.com/data/",
  "cleaned": "Copied from our internal repository by scripts/publish_measurements.py. Every number is unchanged. Redacted: nothing. Hostnames (spark-43d5, spark-7180) and the PRIME / spark2 labels are kept: the posts use them.",
  "redactions": {}
 },
 "name": "reranker-es-legal",
 "frozen": "2026-11-15",
 "author": "Written by hand by Claude (Fable) for J4SGON S.L. while reading the Spanish text of Regulation (EU) 2024/1689. No question and no gold label was generated by a local model. No gold answers exist: only gold passages.",
 "corpus": "evals/reranker-es-legal/corpus-aiact-es-2024-1689.json",
 "types": {
  "literal": "uses the regulation's own terms",
  "paraphrase": "same idea in other words, some shared vocabulary",
  "hard": "everyday wording or a scenario; the key terms of the passage are avoided on purpose"
 },
 "gold_rule": "A passage is gold when it answers the question from its own text. `unit` is an id from the corpus (article paragraph, numbered point, or a whole article or annex). Where a unit covers several topics, `contains` names a literal string and only the chunk holding it is gold. Where more than one unit answers, all are listed. After the first run, the top result of every method was read for each question it missed; any passage that did answer was added here and the bench re-run (see `pooling_review`).",
 "pooling_review": [
  {"date": "2026-11-15", "read": "the first result of the dense run and of each of the five reranked runs, for the 17 questions where at least one of them did not put a gold chunk first", "labels_added": 0, "note": "Near misses left as misses: art_3.pt_60 defines a deepfake but does not say it must be labelled (p03); art_50.par_3 obliges deployers of emotion recognition to inform people but does not answer whether the workplace use is allowed (h01); art_58.par_2 and art_58.par_3 describe sandbox services for SMEs but not the priority access (h12); art_14.par_1 is the design-side oversight rule, not the deployer's (h07)."}
 ],
 "questions": [
  {"id": "l01", "type": "literal", "q": "¿Qué multa administrativa se aplica a una empresa por no respetar la prohibición de las prácticas de IA del artículo 5?", "gold": [{"unit": "art_99.par_3"}]},
  {"id": "l02", "type": "literal", "q": "¿Durante cuánto tiempo deben conservar los responsables del despliegue los archivos de registro que genera automáticamente un sistema de IA de alto riesgo?", "gold": [{"unit": "art_26.par_6"}]},
  {"id": "l03", "type": "literal", "q": "¿Qué es una «ultrasuplantación» según el Reglamento?", "gold": [{"unit": "art_3.pt_60"}]},
  {"id": "l04", "type": "literal", "q": "¿A partir de qué fecha será aplicable el Reglamento con carácter general?", "gold": [{"unit": "art_113"}]},
  {"id": "l05", "type": "literal", "q": "¿Qué se entiende por «responsable del despliegue»?", "gold": [{"unit": "art_3.pt_4"}]},
  {"id": "l06", "type": "literal", "q": "¿Cuándo se presume que un modelo de IA de uso general tiene capacidades de gran impacto?", "gold": [{"unit": "art_51.par_2"}]},
  {"id": "l07", "type": "literal", "q": "¿Qué deben hacer los proveedores establecidos en terceros países antes de comercializar sus sistemas de IA de alto riesgo en el mercado de la Unión?", "gold": [{"unit": "art_22.par_1"}]},
  {"id": "l08", "type": "literal", "q": "¿Qué medidas adoptarán los proveedores y responsables del despliegue para garantizar la alfabetización en materia de IA de su personal?", "gold": [{"unit": "art_4"}]},
  {"id": "l09", "type": "literal", "q": "¿En qué plazo máximo debe notificarse un incidente grave desde que el proveedor tiene conocimiento de él?", "gold": [{"unit": "art_73.par_2"}]},
  {"id": "l10", "type": "literal", "q": "¿Qué condiciones permiten que un sistema de IA del anexo III no se considere de alto riesgo?", "gold": [{"unit": "art_6.par_3"}]},
  {"id": "l11", "type": "literal", "q": "¿Qué información deben recibir los representantes de los trabajadores antes de utilizar un sistema de IA de alto riesgo en el lugar de trabajo?", "gold": [{"unit": "art_26.par_7"}]},
  {"id": "l12", "type": "literal", "q": "¿Qué sistemas de IA relacionados con el empleo y la gestión de los trabajadores son de alto riesgo?", "gold": [{"unit": "anx_III.pt_4"}]},
  {"id": "l13", "type": "literal", "q": "¿Durante cuántos años mantendrá el proveedor la documentación técnica a disposición de las autoridades nacionales competentes?", "gold": [{"unit": "art_18.par_1"}]},
  {"id": "l14", "type": "literal", "q": "¿Quién debe llevar a cabo una evaluación de impacto relativa a los derechos fundamentales antes de desplegar un sistema de IA de alto riesgo?", "gold": [{"unit": "art_27.par_1", "contains": "llevarán a cabo una evaluación del impacto"}]},
  {"id": "l15", "type": "literal", "q": "¿Dónde se colocará el marcado CE en los sistemas de IA de alto riesgo?", "gold": [{"unit": "art_48.par_3"}, {"unit": "art_48.par_2"}]},
  {"id": "l16", "type": "literal", "q": "¿Qué obligaciones tienen los proveedores de modelos de IA de uso general?", "gold": [{"unit": "art_53.par_1"}]},
  {"id": "l17", "type": "literal", "q": "¿Cuándo debe estar operativo al menos un espacio controlado de pruebas para la IA a escala nacional?", "gold": [{"unit": "art_57.par_1"}]},
  {"id": "l18", "type": "literal", "q": "¿Qué prácticas de puntuación ciudadana quedan prohibidas?", "gold": [{"unit": "art_5.par_1", "contains": "puntuación ciudadana"}]},

  {"id": "p01", "type": "paraphrase", "q": "¿Cuánto puede costarle a una compañía dar datos falsos o incompletos a la autoridad cuando esta le pide información?", "gold": [{"unit": "art_99.par_5"}]},
  {"id": "p02", "type": "paraphrase", "q": "¿Tengo que avisar a los usuarios de que están hablando con un chatbot y no con una persona?", "gold": [{"unit": "art_50.par_1"}]},
  {"id": "p03", "type": "paraphrase", "q": "¿Hay que etiquetar un vídeo falso generado con IA que imita a una persona real?", "gold": [{"unit": "art_50.par_4", "contains": "ultrasuplantación harán público"}, {"unit": "art_50.par_2"}]},
  {"id": "p04", "type": "paraphrase", "q": "¿Las multas son más bajas para las empresas pequeñas?", "gold": [{"unit": "art_99.par_6"}]},
  {"id": "p05", "type": "paraphrase", "q": "¿Se aplica la norma a alguien que usa IA en casa para asuntos personales?", "gold": [{"unit": "art_2.par_10"}, {"unit": "art_3.pt_4"}]},
  {"id": "p06", "type": "paraphrase", "q": "¿Los modelos publicados con licencia abierta están exentos de preparar la documentación técnica?", "gold": [{"unit": "art_53.par_2"}]},
  {"id": "p07", "type": "paraphrase", "q": "¿Qué pasa si una empresa pone su propia marca en un sistema de alto riesgo fabricado por otro?", "gold": [{"unit": "art_25.par_1"}]},
  {"id": "p08", "type": "paraphrase", "q": "¿Puede una persona pedir que le expliquen una decisión que le perjudica y que se tomó con ayuda de un sistema de alto riesgo?", "gold": [{"unit": "art_86.par_1"}]},
  {"id": "p09", "type": "paraphrase", "q": "¿Cuántas personas deben confirmar una identificación biométrica antes de actuar en consecuencia?", "gold": [{"unit": "art_14.par_5"}]},
  {"id": "p10", "type": "paraphrase", "q": "¿Con cuánta rapidez hay que comunicar un incidente en el que ha muerto alguien?", "gold": [{"unit": "art_73.par_4"}]},
  {"id": "p11", "type": "paraphrase", "q": "¿Qué obligaciones adicionales tienen los modelos generalistas más potentes, como hacer pruebas de ataque?", "gold": [{"unit": "art_55.par_1"}]},
  {"id": "p12", "type": "paraphrase", "q": "¿Quedan fuera del Reglamento los sistemas usados solo para defensa?", "gold": [{"unit": "art_2.par_3"}]},
  {"id": "p13", "type": "paraphrase", "q": "¿Hasta cuándo tienen para adaptarse los modelos de uso general que ya estaban a la venta antes de agosto de 2025?", "gold": [{"unit": "art_111.par_3"}]},
  {"id": "p14", "type": "paraphrase", "q": "¿Dónde puede quejarse alguien que crea que una empresa incumple el Reglamento?", "gold": [{"unit": "art_85"}]},
  {"id": "p15", "type": "paraphrase", "q": "¿Se pueden usar datos sensibles, como el origen étnico, para corregir sesgos de un sistema?", "gold": [{"unit": "art_10.par_5"}]},
  {"id": "p16", "type": "paraphrase", "q": "¿Qué deben comprobar los importadores antes de vender en la UE un sistema de alto riesgo?", "gold": [{"unit": "art_23.par_1"}]},
  {"id": "p17", "type": "paraphrase", "q": "¿Las empresas muy pequeñas pueden cumplir el sistema de gestión de la calidad de forma más sencilla?", "gold": [{"unit": "art_63.par_1"}, {"unit": "art_17.par_2"}]},
  {"id": "p18", "type": "paraphrase", "q": "¿Es obligatorio que los contenidos generados por IA lleven una marca detectable por máquinas?", "gold": [{"unit": "art_50.par_2"}]},

  {"id": "h01", "type": "hard", "q": "Mi empresa quiere instalar un programa que detecta por la cara si los empleados están estresados o aburridos. ¿Es legal?", "gold": [{"unit": "art_5.par_1", "contains": "inferir las emociones"}]},
  {"id": "h02", "type": "hard", "q": "Usamos un software que criba currículums y descarta candidatos automáticamente. ¿En qué categoría cae?", "gold": [{"unit": "anx_III.pt_4"}]},
  {"id": "h03", "type": "hard", "q": "¿Puede una app aprovecharse de que una persona mayor se confunde con facilidad para venderle cosas que no necesita?", "gold": [{"unit": "art_5.par_1", "contains": "vulnerabilidades de una persona física"}]},
  {"id": "h04", "type": "hard", "q": "Un banco decide con un algoritmo si te concede una hipoteca. ¿Cómo trata eso la ley?", "gold": [{"unit": "anx_III.pt_5"}]},
  {"id": "h05", "type": "hard", "q": "¿Puede una empresa descargar millones de fotos de redes sociales para montar un buscador de caras?", "gold": [{"unit": "art_5.par_1", "contains": "extracción no selectiva"}]},
  {"id": "h06", "type": "hard", "q": "Si la herramienta empieza a comportarse de forma peligrosa mientras la usamos, ¿qué tenemos que hacer y a quién avisamos?", "gold": [{"unit": "art_26.par_5"}]},
  {"id": "h07", "type": "hard", "q": "¿Quién tiene que vigilar lo que hace la máquina dentro de la empresa que la utiliza y qué preparación necesita?", "gold": [{"unit": "art_26.par_2"}]},
  {"id": "h08", "type": "hard", "q": "Hemos retocado a fondo un sistema comprado a otro fabricante. ¿Pasamos a tener las obligaciones del fabricante?", "gold": [{"unit": "art_25.par_1"}]},
  {"id": "h09", "type": "hard", "q": "¿Puede la policía usar cámaras que reconocen caras en directo en la calle?", "gold": [{"unit": "art_5.par_1", "contains": "en espacios de acceso público con fines de garantía del cumplimiento del Derecho, salvo"}, {"unit": "art_5.par_2"}, {"unit": "art_5.par_3"}]},
  {"id": "h10", "type": "hard", "q": "¿Está permitido predecir quién va a delinquir solo a partir de su perfil psicológico?", "gold": [{"unit": "art_5.par_1", "contains": "cometa un delito"}]},
  {"id": "h11", "type": "hard", "q": "¿Qué pasa con los programas que ya estaban funcionando antes de que la norma empezara a aplicarse?", "gold": [{"unit": "art_111.par_1"}, {"unit": "art_111.par_2"}, {"unit": "art_111.par_3"}]},
  {"id": "h12", "type": "hard", "q": "Soy una pyme: ¿hay algún sitio donde probar mi producto con el regulador antes de lanzarlo, y tengo preferencia?", "gold": [{"unit": "art_62.par_1"}]},
  {"id": "h13", "type": "hard", "q": "¿Tiene que haber una forma de detener el sistema en seco si algo va mal?", "gold": [{"unit": "art_14.par_4", "contains": "botón de parada"}]},
  {"id": "h14", "type": "hard", "q": "¿Qué amparo tiene un trabajador que da el chivatazo de que su empresa se salta la ley de IA?", "gold": [{"unit": "art_87"}]},
  {"id": "h15", "type": "hard", "q": "¿Cuánto tiempo hay que guardar los papeles que demuestran que el sistema cumple, una vez puesto a la venta?", "gold": [{"unit": "art_18.par_1"}, {"unit": "art_47.par_1"}]},
  {"id": "h16", "type": "hard", "q": "¿Un sistema que ordena las llamadas al 112 según su urgencia entra en la lista de usos delicados?", "gold": [{"unit": "anx_III.pt_5"}]},
  {"id": "h17", "type": "hard", "q": "¿Puede un programa que corrige exámenes automáticamente considerarse de riesgo elevado?", "gold": [{"unit": "anx_III.pt_3"}]},
  {"id": "h18", "type": "hard", "q": "¿Hay que protegerse frente a quien intenta engañar al modelo con entradas trucadas o contaminar sus datos de entrenamiento?", "gold": [{"unit": "art_15.par_5"}]}
 ]
}
