Una de las mayores dificultades al revisar una tesis, un paper o un manuscrito extenso es que los problemas importantes rara vez se encuentran todos en el mismo lugar.
Una frase puede estar perfectamente escrita.
Un párrafo puede ser coherente.
Un capítulo puede parecer sólido cuando se lee de forma aislada.
Y, aun así, el documento completo puede contener problemas de estructura, coherencia, bibliografía, terminología o argumentación que solo aparecen cuando se observa el manuscrito como una unidad.
Ese es el tipo de problema que intenta abordar Document Analysis dentro de Philologica.
No como un corrector de frases.
No como una función para “resumir el PDF”.
Sino como una primera capa de auditoría del documento completo.
El problema de revisar por fragmentos
Cuando trabajamos sobre textos académicos largos, es habitual dividirlos.
Capítulo 1.
Después capítulo 2.
Después metodología.
Después conclusiones.
Este método es práctico porque reduce la complejidad.
Pero introduce un riesgo.
Al analizar cada fragmento por separado podemos perder relaciones entre partes distantes.
Por ejemplo:
- una hipótesis formulada al principio y una conclusión al final;
- una definición inicial y sus usos posteriores;
- una cita en el cuerpo y su entrada bibliográfica;
- un cambio de terminología entre capítulos;
- una afirmación repetida con distinta formulación;
- una transición débil entre secciones.
En esos casos, el problema no vive dentro del fragmento.
Vive entre fragmentos.
Una tesis es una estructura
Una tesis no es simplemente una secuencia de páginas.
Tiene arquitectura.
Puede contener:
- introducción;
- objetivos;
- hipótesis;
- marco teórico;
- metodología;
- resultados;
- discusión;
- conclusiones;
- bibliografía;
- anexos.
Cada una de estas partes cumple una función diferente.
Y, sobre todo, mantienen relaciones.
Los objetivos deberían aparecer reflejados en el desarrollo.
La metodología debería ser coherente con el tipo de resultados obtenidos.
La discusión debería dialogar con la evidencia.
Las conclusiones deberían derivarse del trabajo anterior.
La bibliografía debería corresponderse con las citas utilizadas.
Por eso una revisión completa necesita algo más que comprensión lingüística.
Necesita intentar reconstruir la estructura del documento.
Qué entiendo por “auditar” un manuscrito
Utilizo deliberadamente la palabra auditar y no simplemente “corregir”.
Corregir implica que ya sabemos qué está mal.
Auditar significa investigar si existen elementos que merecen revisión.
Una auditoría puede buscar:
- inconsistencias;
- ausencias;
- relaciones incompletas;
- patrones atípicos;
- riesgos;
- desviaciones respecto a la propia estructura del documento.
Esto encaja mejor con el papel que creo que debe tener la IA.
El sistema no debería afirmar que conoce la versión correcta de una investigación.
Debería ayudar a identificar dónde puede haber algo que revisar.
Document Analysis como primera capa
Dentro del flujo de Philologica, Document Analysis tiene sentido como una primera lectura estructurada.
No necesariamente porque deba utilizarse siempre antes que cualquier otra herramienta.
Pero sí porque puede ofrecer una imagen inicial del manuscrito.
Algo parecido a:
“Antes de entrar en detalles, veamos dónde están los principales puntos de atención.”
Esa primera capa puede orientar revisiones posteriores.
Por ejemplo, si el análisis general detecta señales relacionadas con bibliografía, podemos pasar después a una auditoría de fuentes más específica.
Si aparecen incoherencias conceptuales, podemos trabajar con terminología.
Si los problemas parecen concentrarse en determinadas conclusiones, podemos estudiar la argumentación.
De documento a mapa de riesgos
Esta es quizá la mejor forma de entender Document Analysis.
El resultado ideal no es un comentario general como:
“La tesis está bien estructurada, aunque puede mejorar.”
Eso aporta poco.
Tampoco queremos simplemente un resumen de capítulos.
Lo interesante es producir una especie de mapa de riesgos del documento.
Por ejemplo:
Riesgo alto
- conclusión que parece superar la evidencia desarrollada;
- referencia central no localizable;
- inconsistencia importante entre dos definiciones.
Riesgo medio
- sección con transición débil;
- cambio terminológico;
- argumento que parece depender de una premisa implícita.
Riesgo bajo
- pequeñas inconsistencias de estilo;
- redundancias;
- detalles formales menores.
Este tipo de salida convierte un manuscrito enorme en un conjunto más manejable de puntos de revisión.
Qué puede analizar una primera auditoría
Dependiendo del documento y de la herramienta concreta, una primera revisión puede prestar atención a varias dimensiones.
Estructura
¿La organización del manuscrito parece consistente?
¿Existen secciones inesperadamente débiles o desproporcionadas?
¿Hay relaciones poco claras entre partes?
Coherencia interna
¿Aparecen afirmaciones que parecen entrar en tensión con otras?
¿Cambian conceptos importantes?
¿Hay conclusiones que no parecen conectarse con el desarrollo previo?
Distribución de contenido
¿Algunas secciones concentran demasiada información?
¿Hay zonas con muy poca argumentación?
¿Existen repeticiones?
Señales bibliográficas
¿Aparecen patrones que justifican una revisión de referencias?
Riesgos editoriales
¿Hay aspectos que podrían dificultar una revisión externa o una entrega final?
No todas estas dimensiones tienen que resolverse dentro del mismo análisis.
El objetivo puede ser simplemente señalar dónde conviene profundizar.
Un ejemplo: una tesis de 300 páginas
Imaginemos una tesis doctoral terminada.
Tiene:
- 307 páginas;
- 9 capítulos;
- 214 referencias;
- 37 tablas;
- 18 figuras.
El autor lleva tres años trabajando sobre ella.
La ha leído decenas de veces.
En ese momento existe un problema humano bastante conocido:
familiaridad excesiva con el texto.
El autor no lee exactamente lo que está escrito.
Lee también lo que recuerda, lo que quería decir y lo que sabe que debería estar allí.
Por eso ciertos problemas pueden volverse prácticamente invisibles.
Un análisis externo puede ayudar a cambiar la perspectiva.
Primer hallazgo: una conclusión demasiado fuerte
Imaginemos que el capítulo 8 presenta evidencia sobre tres casos concretos.
Pero en la conclusión general encontramos:
“Estos resultados demuestran que el modelo es aplicable universalmente.”
No necesariamente es incorrecto.
Quizá existe una justificación metodológica.
Pero sí parece una afirmación que merece atención.
El análisis puede marcarla como:
Categoría: argumentación
Ubicación: conclusiones
Riesgo: generalización potencial
Evidencia: relación entre muestra y afirmación final
Acción sugerida: comprobar si el alcance de la conclusión está suficientemente justificado
El sistema no decide que la frase sea falsa.
Ayuda a localizar una posible tensión.
Segundo hallazgo: definición inconsistente
En el capítulo 2 se define un término central de una manera.
En el capítulo 6 aparece otra formulación que parece ampliar su significado.
De nuevo, puede ser totalmente intencional.
Pero si el cambio no está explicado, merece revisión.
El sistema podría indicar:
Categoría: terminología
Ubicación: capítulos 2 y 6
Hallazgo: variación en definición de término central
Acción: comprobar si existe evolución conceptual deliberada o inconsistencia
Este tipo de problema es difícil de encontrar leyendo capítulos por separado.
Tercer hallazgo: sección aislada
Ahora imaginemos una sección que introduce una discusión importante, pero que posteriormente no vuelve a relacionarse con los objetivos o las conclusiones.
La sección puede estar bien escrita.
Puede contener información relevante.
Pero estructuralmente parece aislada.
Esto plantea una pregunta editorial:
¿Qué función cumple dentro del argumento general?
Quizá debería conectarse mejor.
Quizá debería moverse.
Quizá incluso debería eliminarse.
La decisión pertenece al autor.
El análisis simplemente ayuda a formular la pregunta.
El valor de la localización
Todo esto depende de una condición:
el sistema debe intentar decir dónde ha encontrado el problema.
Un comentario sin ubicación pierde gran parte de su valor.
Especialmente en un documento largo.
Por eso una estructura útil puede ser:
Capítulo 6
Sección 6.3
Fragmento identificado
Tipo de hallazgo
Explicación
Recomendación
Esta combinación de localización y evidencia es una de las bases de la trazabilidad que intento mantener en Philologica.
No todos los hallazgos son errores
Este punto merece repetirse porque cambia por completo la forma de utilizar una herramienta de análisis.
Supongamos que el sistema señala:
“Existe un cambio notable en la densidad de citas entre los capítulos 4 y 5.”
Eso no significa:
“El capítulo 5 está mal.”
Puede haber una explicación perfectamente válida.
Quizá el capítulo 4 es marco teórico y el 5 presenta resultados propios.
La señal es real.
La interpretación depende del contexto.
Por eso una auditoría debería separar tres niveles:
observación
lo que se ha detectado;
interpretación
por qué podría importar;
decisión
qué hace el autor con esa información.
La IA puede participar en los dos primeros.
La tercera debe permanecer en manos humanas.
Diferencia entre Document Analysis y Fragment Review
Dentro del dossier, Document Analysis y Fragment Review aparecen juntos dentro de la categoría Document Review.
Pero conceptualmente tienen funciones diferentes.
Document Analysis
Pregunta:
¿Qué ocurre en el manuscrito como conjunto?
Busca visión global.
Fragment Review
Pregunta:
¿Qué ocurre exactamente en esta parte del manuscrito?
Busca profundidad local.
Las dos herramientas son complementarias.
Podemos detectar un riesgo global y después profundizar en el fragmento donde aparece.
Vista global primero, detalle después
Este patrón me parece especialmente útil.
Imaginemos que Document Analysis señala:
“El capítulo 7 contiene varias observaciones relacionadas con la coherencia argumentativa.”
En lugar de revisar todo el documento otra vez, podemos concentrarnos en ese capítulo.
Después incluso en una sección.
El proceso sería:
documento completo
↓
zona de riesgo
↓
fragmento
↓
decisión editorial
La IA ayuda a reducir progresivamente el espacio de búsqueda.
Live Extraction y el problema de la evidencia
El dossier también sitúa Live Extraction dentro del bloque Document Review.
La idea de extracción resulta importante porque una revisión académica necesita trabajar sobre evidencia concreta.
No basta con que el sistema diga:
“He encontrado una inconsistencia.”
El usuario debe poder ver qué texto ha generado esa observación.
Cuanto más fácil resulte regresar al contenido original, menor es la necesidad de confiar ciegamente en la salida del modelo.
Un análisis útil debería permitir desacuerdo
Este principio me parece fundamental.
Si el sistema produce una observación con la que el usuario no puede estar en desacuerdo, tenemos un problema de diseño.
Una buena herramienta debería permitir pensar:
“Veo por qué ha marcado esto, pero en mi investigación esta decisión es intencional.”
Perfecto.
Ese desacuerdo también es útil.
Porque obliga a justificar la decisión.
En cierto sentido, la herramienta funciona como una segunda lectura.
No tiene que tener razón siempre.
Tiene que hacer preguntas suficientemente buenas.
¿Puede una IA evaluar la calidad de una tesis?
Aquí conviene ser muy cuidadosos.
Un modelo puede identificar patrones y producir indicadores.
Pero “calidad académica” es una categoría demasiado amplia para reducirla a una puntuación universal.
La calidad de una investigación depende de aspectos como:
- originalidad;
- metodología;
- conocimiento disciplinar;
- calidad de las fuentes;
- diseño experimental;
- interpretación;
- relevancia;
- contribución.
Muchos de estos aspectos requieren especialistas.
Por eso yo no presentaría Document Analysis como:
“La IA te dice si tu tesis es buena.”
Sería una promesa excesiva.
Prefiero:
“La herramienta ayuda a localizar aspectos de tu tesis que merece la pena revisar.”
Eso es mucho más defendible.
El problema de las puntuaciones
Las puntuaciones pueden ser útiles.
Pero también pueden producir una falsa sensación de objetividad.
Imaginemos:
Coherencia: 82/100
¿Qué significa exactamente?
¿Es 82 bueno?
¿Es comparable entre disciplinas?
¿Una tesis de filosofía y una de ingeniería deberían utilizar la misma escala?
Si mostramos puntuaciones, deberían interpretarse como indicadores internos, no como calificaciones académicas.
Su utilidad está en:
- priorizar;
- comparar versiones;
- detectar cambios;
- orientar atención.
No en emitir un veredicto.
Comparar versiones puede ser más útil que obtener una nota
De hecho, existe una aplicación de estos indicadores que me parece especialmente interesante.
Supongamos:
Versión 1
17 hallazgos importantes.
Después el autor trabaja sobre el manuscrito.
Versión 2
8 hallazgos importantes.
Eso es mucho más útil que saber si la primera versión tenía un “74/100”.
La comparación muestra progreso.
La revisión se convierte en un proceso iterativo.
El manuscrito como sistema vivo
Esto nos lleva otra vez a una idea recurrente de Philologica.
Un documento académico no debería tratarse como algo completamente estático.
Durante su desarrollo cambia.
Se añaden fuentes.
Se eliminan argumentos.
Se reorganizan capítulos.
Se reformulan conclusiones.
Por eso el análisis también puede evolucionar.
Una primera auditoría puede mostrar una serie de riesgos.
Después de corregirlos, otra revisión puede revelar problemas más pequeños que antes estaban ocultos por cuestiones mayores.
Es parecido a depurar software.
Primero aparecen los errores estructurales.
Después los detalles.
El paralelismo con una auditoría de software
Esta comparación resulta especialmente natural desde mi perspectiva como desarrollador.
Cuando auditamos un sistema de software no preguntamos simplemente:
“¿Funciona?”
Revisamos capas.
Arquitectura.
Seguridad.
Dependencias.
Datos.
Errores.
Rendimiento.
Tests.
Configuración.
Un sistema puede funcionar aparentemente y contener problemas importantes.
Con un manuscrito sucede algo parecido.
Puede leerse correctamente y, sin embargo, contener inconsistencias internas.
La revisión estructurada intenta encontrar esas capas.
Un posible flujo de trabajo
Para alguien que esté terminando una tesis, yo plantearía algo parecido a esto.
1. Terminar una versión estable
No tiene demasiado sentido auditar exhaustivamente un documento que cambia cada hora.
Conviene disponer de una versión suficientemente madura.
2. Ejecutar Document Analysis
Buscar zonas de riesgo global.
3. Priorizar
Empezar por los hallazgos que puedan afectar más al manuscrito.
4. Profundizar
Utilizar Fragment Review u otras herramientas sobre las zonas concretas.
5. Corregir manualmente
Modificar el documento original.
6. Volver a analizar
Comprobar cómo ha cambiado la situación.
Ese ciclo puede repetirse.
Qué debería revisar primero un estudiante
Si el análisis devuelve muchas observaciones, empezaría por este orden:
Primero: problemas estructurales
Porque pueden afectar a muchas otras partes.
Segundo: argumentación y evidencia
Especialmente conclusiones y afirmaciones centrales.
Tercero: referencias
Porque afectan a trazabilidad y verificabilidad.
Cuarto: terminología
Sobre todo términos esenciales.
Quinto: estilo
Una vez que la arquitectura académica está estable.
Esto no es una regla universal.
Pero evita dedicar horas a perfeccionar frases que después habrá que eliminar porque la sección completa cambia.
Document Analysis no es un corrector ortográfico
Esta distinción merece quedar muy clara.
Ya existen excelentes herramientas para:
- ortografía;
- gramática;
- puntuación;
- estilo de frase.
Document Analysis persigue otra escala.
La pregunta no es:
“¿Esta coma está bien?”
Es:
“¿Esta parte del documento cumple una función coherente dentro del conjunto?”
Eso cambia completamente el tipo de análisis.
Tampoco debería reescribir automáticamente el manuscrito
Existe otra tentación fácil.
Si detectamos un problema, ¿por qué no dejar que la IA lo corrija directamente?
En determinadas tareas menores puede tener sentido generar alternativas.
Pero en cuestiones académicas importantes prefiero mantener separación entre:
diagnóstico
y
reescritura.
Primero:
“Aquí existe un posible problema.”
Después, si el usuario lo desea:
“Ayúdame a explorar formas de resolverlo.”
Esto evita convertir una recomendación del sistema en texto insertado automáticamente dentro de una investigación.
Qué debería conservar el usuario
Idealmente, al terminar el análisis el usuario debería disponer de tres cosas.
Una visión global
¿Cuál parece ser el estado general del documento?
Una lista priorizada
¿Dónde debería mirar primero?
Evidencia localizable
¿Dónde se encuentra exactamente cada observación?
Si falta cualquiera de estas tres capas, el análisis pierde utilidad.
Del informe al trabajo real
La finalidad de Document Analysis no es producir un informe bonito.
El informe es solo un medio.
Lo importante ocurre después.
El autor abre su manuscrito.
Va al capítulo indicado.
Lee nuevamente el fragmento.
Compara.
Investiga.
Decide.
Corrige.
Ese es el momento en el que el análisis genera valor real.
Qué quiero evitar con Philologica
Hay varias experiencias que intento evitar deliberadamente.
La primera:
“Tu tesis tiene un 87 % de calidad.”
No creo que una cifra así sea académicamente significativa sin mucha más explicación.
La segunda:
“He encontrado 147 errores.”
La cantidad por sí sola no significa nada.
La tercera:
“He corregido automáticamente tu tesis.”
Demasiada autoridad para el sistema.
Prefiero:
“He encontrado estas cuestiones, aquí están, esta es la evidencia disponible y este es el orden en el que podrías revisarlas.”
Eso se parece mucho más a un instrumento editorial.
La ventaja de una primera lectura externa
Después de meses o años escribiendo un documento, resulta muy difícil leerlo como si fuera la primera vez.
Ya sabemos lo que queremos decir.
Completamos mentalmente conexiones.
Recordamos información que quizá ya no está escrita.
Interpretamos frases dentro de un contexto que el lector externo no posee.
Una herramienta de análisis introduce otra perspectiva.
No necesariamente mejor.
Pero distinta.
Y esa distancia puede ser útil.
La IA como lector adicional
Probablemente esta sea la forma en la que más me gusta pensar en Document Analysis.
No como juez.
No como corrector definitivo.
No como director de tesis artificial.
Sino como un lector adicional extremadamente sistemático.
Un lector que puede buscar patrones.
Comparar secciones.
Localizar señales.
Repetir procedimientos.
Y presentar puntos de atención.
Después el investigador decide qué significan.
El objetivo final: saber dónde mirar
Una tesis de 300 páginas puede resultar abrumadora.
Incluso para su propio autor.
Si una herramienta consigue reducir esa complejidad a:
“Empieza revisando estas cinco partes”
ya ha generado valor.
No necesita resolver automáticamente el documento entero.
A veces el problema más importante de una revisión no es saber cómo corregir algo.
Es saber dónde mirar.
Y esa es precisamente la función que intento desarrollar con Document Analysis dentro de Philologica.
Philologica Document Analysis
Document Analysis forma parte del área Document Review de Philologica, junto con herramientas orientadas a la revisión de fragmentos y extracción del documento.
Su objetivo es ayudar a convertir un manuscrito extenso en una serie de hallazgos localizables y priorizados que el autor pueda comprobar.
Puedes explorar Philologica en:
Los resultados de una revisión asistida por IA deben interpretarse como apoyo al proceso editorial. La evaluación final del manuscrito continúa correspondiendo al autor, investigador, editor o revisor.
