Artículo
Probamos cinco modelos de IA con un informe confidencial
No era un informe financiero ni una hoja de cálculo. El punto de partida fue un informe interno de investigación de 13 708 caracteres, dividido en 12 bloques temáticos. Un responsable no necesita una versión más corta del documento, sino un mapa conciso de barreras, motivaciones y puntos de desconfianza, con cada hallazgo respaldado por una cita exacta. La solución más sencilla parece obvia: cargar el DOCX en Claude o Codex. Pero ¿qué hacemos si no está permitido? Para este experimento no era deseable enviar el documento original a servicios externos. No se trata de una prohibición universal. La admisibilidad de los modelos en la nube depende de la política de la empresa, los contratos y la categoría de los datos. En nuestro caso, el documento permaneció en el portátil. Claude y Codex no lo leyeron ni lo analizaron, pero ayudaron a configurar el flujo local: preparar los scripts, definir el esquema de resultados y las verificaciones, y generar los archivos de salida. Ejecutamos cinco modelos de IA en un MacBook Air M5 con 32 GB de memoria. No medimos una inteligencia abstracta. Probamos una tarea práctica: producir material útil para tomar una decisión, respaldar cada hallazgo con el texto original y mantener los datos dentro del entorno elegido.
01
Qué queríamos obtener
El estudio respondía a preguntas prácticas: si los clientes detectan la sección relevante del producto, en qué punto abandonan el proceso, cómo eligen a un proveedor, por qué confían o desconfían de la oferta y qué canales de captación llevan a una compra. No necesitábamos un resumen breve, sino una nota analítica.
Cada modelo debía extraer entre cinco y nueve hallazgos independientes, agruparlos en cuatro, cinco o seis temas y adjuntar a cada uno una cita exacta del DOCX. También debía conservar las limitaciones del estudio y evitar convertir observaciones de una investigación acotada en afirmaciones sobre todos los clientes.
- 01Leer DOCX13 708 caracteres y 12 bloques temáticos
- 02Identificar temasBarreras, confianza, elección y canales de captación
- 03Extraer hallazgosEntre cinco y nueve observaciones distintas
- 04Verificar evidenciasCada hallazgo tiene una cita literal del original
El objetivo no era acortar el texto, sino producir material para una decisión que pudiera verificarse en la fuente.
02 — Spoiler
Funciona, pero no como un chat
Sí, un informe confidencial puede analizarse localmente. La mejor ejecución produjo cinco secciones temáticas y ocho hallazgos. Las ocho citas de respaldo coincidieron palabra por palabra con el documento original. La parte analítica tardó algo más de ocho minutos.
El resultado útil, sin embargo, no fue una respuesta de chat, sino el flujo completo. El modelo devuelve una estructura estricta. El código valida el esquema y cada cita. Con los datos verificados se genera un informe HTML que se abre en un navegador normal, con un resumen breve arriba y los temas, hallazgos y evidencias exactas debajo.
JSON no está pensado para el lector. Es la estructura legible por máquinas para el siguiente paso de automatización, con temas, hallazgos y referencias a citas. React solo hace falta cuando ese mismo material verificado debe integrarse en un portal interno o un panel con tarjetas, navegación y gráficos. La copia de texto anonimizada pertenecía a una prueba separada de las salvaguardas. No son cuatro versiones de una misma ejecución.
HTML en navegador
Informe HTML verificado
Resumen breve
Se retrasan las acciones cuando las condiciones no se pueden comparar rápidamente.
React en el portal interno
Representación interactiva
Panel de investigación
La tarjeta muestra el tema, el estado de verificación y el enlace al fragmento original.
Los mockups anonimizados muestran la estructura del resultado, no el contenido del informe original. JSON y HTML se generaron en la ejecución principal. React y la anonimización se probaron por separado.
03
Cómo se estructuró el experimento
El original era un DOCX de 13 708 caracteres con un informe interno de investigación completo, dividido en 12 bloques temáticos con texto, datos e indicadores numéricos. No publicamos el nombre de la empresa, el producto ni el contenido de la investigación.
Cada modelo recibió el mismo texto y el mismo contrato de salida: extraer entre cinco y nueve hallazgos, agruparlos en cuatro, cinco o seis secciones y adjuntar a cada uno una cita exacta de la fuente.
La prueba se realizó en un MacBook Air M5 con 32 GB de memoria. La temperatura de generación fue cero y la semilla se fijó en 42. Hicimos una sola ejecución determinista por condición, por lo que las cifras muestran una orientación y no resultados estadísticamente estables.
- DOCX
- Formato de informe interno
- 12
- Bloques temáticos del estudio
- 13 708
- Caracteres en el documento
- 5
- Modelos de IA en comparación
MacBook Air M5, 32 GB de memoria. El documento original no salió del entorno local.
04
Qué modelos ejecutamos
Cuatro modelos se ejecutaron con Ollama 0.30.11. Muse Glimmer se ejecutó con LM Studio 0.4.16. Los modelos MLX no entraron en la comparación final: Qwen 3 14B no completó la solicitud con la carga de memoria disponible y Devstral 2507 no se volvió a ejecutar con el nuevo documento. GPT-OSS 20B en LM Studio tampoco completó la solicitud y no recibió puntuación.
El gráfico muestra el tamaño de los pesos cuantizados o del paquete del modelo, no el consumo máximo de memoria. Durante la generación también se necesita memoria para el contexto, la caché y los datos de ejecución, por lo que la carga real es mayor.
Ollama utilizó Q4_K_M, para Qwen 3.5 se usó Q4_K. Muse Glimmer trabajó en formato k-quant GGUF.
05
Los modelos mostraron perfiles distintos
Un solo informe muestra apenas una parte de la imagen. Por eso el gráfico radial de abajo procede de una prueba de campo más amplia con ocho tipos de tareas: trabajo con código, análisis de documentos, precisión de citas, construcción de una interfaz React, acciones de agentes y propuesta de un esquema de anonimización.
No hubo un ganador universal. Muse Glimmer analizó mejor el informe y conservó la trazabilidad de las evidencias, pero quedó por detrás en tareas de agentes. Qwen 3 4B fue claramente más rápido y, después de un ejemplo resuelto, generó una presentación React válida. Devstral, Gemma y Qwen 3.5 rindieron mejor en escenarios de agentes que en trabajos que exigían citas exactas.
El efecto del contexto fue especialmente claro. Un buen ejemplo mejoró de forma notable el resultado en React de dos modelos. Por tanto, no solo hay que elegir el modelo, sino también la forma de plantear la tarea.
Diagrama renderizado con Pele, el motor de diagramas que utiliza el editor Markdown Mark.
Escala de 0 a 5. Cada modelo se ejecutó una vez en cada escenario, así que las cifras muestran una tendencia y no una clasificación exacta.
06
El modelo más grande dio el mejor análisis
Muse Glimmer 30B produjo la mejor nota analítica, con 4,6 puntos sobre 5. El pequeño Qwen 3 4B quedó en segundo lugar con 4,05. Devstral Small 2 y Gemma 4 obtuvieron 3,65 cada uno. Qwen 3.5 Abliterated obtuvo 3,15.
Este gráfico por sí solo no decide un ganador. La diferencia entre el primer y el segundo puesto es clara, pero la calidad debe evaluarse junto con la precisión de las evidencias y el tiempo. Ahí es donde la comparación se vuelve más útil.
Se evaluó la completitud del resumen, ausencia de repeticiones, estructura, cuidado en las conclusiones y legibilidad.
07
Las citas exactas cambiaron el resultado
Muse Glimmer fue el único modelo que superó la verificación estricta de evidencias. Sus ocho citas aparecían palabra por palabra en el documento. Qwen 3 4B superó cinco de ocho, Devstral Small 2 cinco de nueve, Gemma 4 cuatro de siete y Qwen 3.5 Abliterated dos de siete.
Estos errores pasan fácilmente inadvertidos en una interfaz normal. Una cita parece verosímil, encaja con el tema y puede diferir del original en solo unas palabras. Pero entonces ya no es una cita. Si ese material llega a un responsable o a un cliente, una paráfrasis pulida empieza a hacerse pasar por evidencia.
La puntuación se calcula a partir de la proporción de citas declaradas que aparecen palabra por palabra en el documento original.
08
Por qué ocho minutos por informe es razonable
Muse Glimmer preparó el mejor documento en 8 minutos y 7 segundos. Devstral Small 2 terminó casi en nueve minutos. Qwen 3 4B logró el resultado en 1 minuto y 29 segundos y ocupó el segundo lugar en calidad de resumen.
Para un informe sustantivo, ocho o nueve minutos no son una espera larga. La salida ya contiene un borrador estructurado, pero eso no significa que el modelo haya sustituido al analista. Una persona todavía debe revisar el sentido de los hallazgos, las limitaciones de la muestra y las recomendaciones finales.
La velocidad empieza a influir en la elección cuando hay decenas o cientos de documentos, o cuando se necesita una respuesta interactiva. Entonces una diferencia de casi 5,5 veces se convierte en una diferencia real de capacidad. Para un informe importante, pesan más la calidad y la precisión de las evidencias.
Una ejecución en una sola máquina. El tiempo indica el orden de magnitud, no un rendimiento garantizado.
09 — Extra
¿se puede anonimizar el informe y enviarlo a Claude o Codex?
¿Y si anonimizamos el informe, lo enviamos a Claude o Codex y después reponemos los valores originales? A veces puede ser aceptable, si la política de la empresa, los contratos y la categoría de datos lo permiten. Por eso probamos por separado si los modelos locales podían ayudar con la anonimización.
Primero probamos el modelo por sí solo. Debía encontrar los fragmentos sensibles y sustituirlos por marcadores reversibles. El documento sintético contenía 15 fragmentos protegidos. Ningún modelo por sí solo cumplió el requisito de cero fugas.
Era un resultado esperable. La instrucción de encontrar todos los datos sensibles no convierte un modelo probabilístico en un cortafuegos. Puede encontrar casi todo, pero basta con omitir un fragmento para provocar una fuga.
En la prueba con el documento real limitamos deliberadamente las salvaguardas a números, intervalos y porcentajes. El modelo propuso sustituciones. Después, un código determinista volvió a buscar los mismos tipos de datos, cubrió lo que el modelo había omitido y solo entonces permitió continuar el procesamiento. La correspondencia entre los marcadores y los valores originales permaneció en el almacenamiento local.
Esta prueba no demuestra que el mismo método proteja automáticamente nombres, números de documentos u otros datos personales. Esas categorías necesitan sus propias reglas y pruebas.
- 01Análisis localEl modelo propone sustituciones para números, intervalos y porcentajes
- 02Verificación deterministaEl código vuelve a buscar y cubre lo que el modelo omitió
- 03Material anonimizadoSolo continúa el texto sin cifras restantes
- 04Reconstrucción localLos valores originales se recuperan desde una tabla privada de marcadores
En este experimento, la comprobación determinista solo cubrió números, intervalos y porcentajes.
10
Ambos modelos omitieron un número en el documento real
Como comprobación adicional, pedimos a Qwen 3 4B y Muse Glimmer que encontraran siete valores numéricos únicos en el documento confidencial real. Ambos modelos encontraron correctamente seis de siete y cada respuesta incluyó además un elemento no válido. No fue un resultado perfecto, aunque los valores válidos se reprodujeron con una precisión del 100 por ciento.
La comprobación determinista añadió el valor que faltaba. Después, el texto anonimizado no contenía cifras y la reconstrucción recuperó con exactitud todos los valores utilizados.
El modelo más potente no resolvió la tarea por sí solo. El más pequeño obtuvo el mismo resultado. La fiabilidad no apareció por el tamaño del modelo, sino por la arquitectura del proceso.
Aquí no hay una conclusión tajante. Este esquema no evita las fugas al 100 por ciento ni ofrece garantías: el modelo puede omitir un fragmento y la comprobación por código solo cubre los tipos de datos para los que fue diseñada. La anonimización parcial puede ser una etapa, pero este test no basta para decidir si un documento puede enviarse a un servicio externo. Esa decisión depende de la política de la empresa, las restricciones contractuales y la revisión de cada categoría de datos.
- 7
- Valores únicos en el origen
- 6
- encontrados por cada uno de los dos modelos
- 1
- añadido por la comprobación del código
- 0
- dígitos expuestos tras la comprobación
Después de la reconstrucción local, todos los valores sustituidos se recuperaron con exactitud.
11
¿Qué esquema elegiríamos para trabajar?
Si necesitáramos el mejor borrador para un informe analítico importante en esta máquina, empezaríamos con Muse Glimmer. Ocho minutos son perfectamente razonables para esta tarea. Si hay muchos documentos y el resultado pasa de todos modos por controles automáticos y humanos, Qwen 3 4B parece más práctico.
Devstral Small 2 fue más fuerte en escenarios de agentes que en el análisis documental basado en evidencias. Gemma 4 y Qwen 3.5 Abliterated también pueden ser útiles en otras funciones, pero esta prueba no dio razones para elegirlos para analizar informes confidenciales.
No dejaríamos que ningún modelo publicara conclusiones por su cuenta ni decidiera que los datos ya son seguros. El modelo prepara el borrador. El código comprueba los límites formales. Una persona toma la decisión de fondo.
12
Conclusión
La ejecución local controla dónde se procesa físicamente el documento. No resuelve el problema de calidad ni ofrece una garantía automática de confidencialidad.
En nuestra prueba, el modelo grande produjo el mejor material analítico. El pequeño fue varias veces más rápido y suficientemente bueno para una función limitada. Ambos omitieron un número sensible. Por eso la opción de trabajo no es el nombre de un único modelo, sino una combinación de ejecución local, citas exactas, comprobaciones por código y un control humano claro.
El mismo principio, que los datos se queden dentro de su perímetro, está en la base de nuestros proyectos de voz y de texto en imágenes: desde la transcripción de reuniones hasta el OCR de capturas con un modelo local.
- VozAsistente de voz localDictado y notas de reuniones en el portátil; la voz nunca sale del equipo.
- VozBase de conocimiento a partir de chats y reunionesTranscripción con separación de hablantes; decisiones y tareas extraídas y vinculadas a su fuente.
- OCRModelo de visión local para agentesAnálisis de capturas y OCR en un modelo local para agentes de desarrollo y soporte.
- ArtículoTranscripción de reuniones sin la nube: Whisper y separación de hablantesCómo montar la transcripción local de reuniones: Whisper large-v3, pyannote para los hablantes, reconocimiento de voces conocidas y extracción de decisiones con su marca de tiempo.