La bibliografía de un trabajo académico puede tener decenas, cientos o incluso miles de referencias.
Y cuanto más crece el documento, más difícil resulta comprobar una cosa aparentemente sencilla:
¿Existe una correspondencia correcta entre lo que cito dentro del texto y lo que aparece al final en la bibliografía?
A primera vista parece un problema trivial.
Tenemos citas.
Tenemos referencias.
Solo hay que comprobar que coincidan.
Pero en un manuscrito largo, esa tarea puede convertirse rápidamente en una pequeña auditoría.
Una cita puede aparecer en una nota al pie.
Otra puede utilizar una abreviatura.
Una referencia puede estar duplicada.
Un autor puede aparecer escrito de dos formas distintas.
Un DOI puede contener un error.
Una obra puede permanecer en la bibliografía después de haber eliminado el párrafo donde se citaba.
Una cita puede mantenerse en el texto mientras su referencia desaparece durante una revisión.
Cuando estas situaciones se multiplican, la integridad bibliográfica deja de ser un problema de memoria.
Se convierte en un problema de correspondencia entre estructuras.
Dos listas que deberían hablar entre sí
Podemos simplificar el problema en dos conjuntos.
Por un lado tenemos:
las citas que aparecen dentro del manuscrito
y por otro:
las referencias que aparecen en la bibliografía final
En un documento ideal, ambas estructuras deberían mantener una relación coherente.
Podemos representarlo así:
cita en el texto → referencia bibliográfica
y también:
referencia bibliográfica → utilización en el texto
Cuando una de esas relaciones se rompe aparecen dos problemas muy habituales:
Cita sin referencia
El manuscrito cita una fuente, pero la referencia correspondiente no aparece en la bibliografía.
Referencia no citada
La bibliografía contiene una obra que no se localiza en el cuerpo del documento.
Son problemas opuestos.
Y ambos merecen revisión.
El primer caso: una cita sin referencia
Imaginemos que encontramos este fragmento:
Según Martínez y López (2022), los sistemas automatizados de decisión requieren mecanismos adicionales de supervisión.
La cita existe.
Pero al revisar la bibliografía final no aparece ninguna entrada correspondiente a Martínez y López de 2022.
¿Qué ha ocurrido?
Hay muchas posibilidades.
Quizá la referencia se eliminó accidentalmente.
Quizá el año está mal.
Quizá los autores aparecen en la bibliografía con otra variante.
Quizá la cita procede de una versión anterior del manuscrito.
Quizá simplemente falta añadirla.
La cuestión importante es que el lector encuentra una afirmación atribuida a una fuente que no puede reconstruir desde el propio documento.
Eso afecta directamente a la trazabilidad académica.
Por qué este error es fácil de introducir
Los manuscritos académicos evolucionan continuamente.
Durante meses o años se producen operaciones como:
- copiar y mover párrafos;
- eliminar secciones;
- importar referencias;
- cambiar gestores bibliográficos;
- combinar capítulos;
- sustituir una fuente por otra;
- actualizar años;
- corregir autores;
- reutilizar partes de trabajos anteriores.
Cada modificación puede alterar la relación entre texto y bibliografía.
Por ejemplo:
Versión 1:
García (2019)
Bibliografía:
García, J. (2019). …
Después encontramos una fuente más reciente y cambiamos el párrafo:
García (2023)
Pero olvidamos actualizar la bibliografía.
El texto sigue pareciendo completamente normal.
El error solo aparece cuando comparamos ambas zonas.
El segundo caso: bibliografía no citada
Ahora imaginemos el caso contrario.
En la bibliografía aparece:
Smith, R. (2018). Algorithmic Governance and Institutional Control…
Pero buscamos el apellido Smith y no encontramos ninguna cita correspondiente dentro del documento.
¿Es necesariamente un error?
No.
Y esto es importante.
Algunos trabajos incluyen bibliografía complementaria.
Otros utilizan secciones de lecturas recomendadas.
Determinadas convenciones pueden permitir referencias no citadas directamente.
Pero si el apartado se presenta como una lista de obras citadas, la ausencia merece revisión.
Podría significar:
- que la fuente ya no se utiliza;
- que se eliminó un fragmento;
- que falta una cita;
- que existe un error en el nombre;
- que hay una referencia duplicada o equivalente.
Por eso el resultado no debería decir:
«Elimina esta referencia.»
Debería decir:
«No se ha localizado una cita correspondiente. Comprueba si debe mantenerse.»
Detectar no es decidir
Esta distinción es central en toda auditoría bibliográfica automatizada.
El sistema puede detectar una relación aparentemente rota.
Pero el autor conoce el contexto.
Una referencia aparentemente no citada podría formar parte de una bibliografía general.
Una cita aparentemente huérfana podría utilizar una convención que el extractor no ha interpretado.
Una abreviatura puede impedir la coincidencia automática.
Una obra clásica puede citarse mediante un sistema especial.
Por eso conviene separar:
detección
de
decisión editorial.
La automatización sirve para encontrar candidatos.
La revisión humana decide qué significan.
El problema real no son solo los nombres
A veces pensamos que comprobar bibliografía consiste simplemente en comparar apellidos y años.
En la práctica puede ser bastante más complicado.
Consideremos:
García et al. (2021)
frente a:
García Martínez, P., López, A., Sánchez, R. & Torres, M. (2021)
La relación es evidente para una persona.
Para un sistema necesita cierta normalización.
Ahora pensemos en:
García-Martínez (2021)
frente a:
Garcia Martinez (2021)
Hay tildes.
Guiones.
Variaciones.
Iniciales.
O:
European Commission (2024)
frente a:
Comisión Europea (2024)
Aquí incluso puede haber traducción institucional.
La auditoría necesita ser suficientemente flexible para reconocer equivalencias, pero no tanto como para inventarlas.
Normalizar antes de comparar
Una estrategia útil consiste en normalizar algunos elementos.
Por ejemplo:
- mayúsculas/minúsculas;
- signos de puntuación;
- espacios;
- ciertas variantes ortográficas;
- DOI;
- identificadores.
Pero la normalización tiene límites.
No deberíamos asumir automáticamente que dos nombres parecidos representan la misma fuente.
Por eso una buena herramienta puede trabajar con grados de confianza.
Coincidencia fuerte
Los elementos principales coinciden claramente.
Coincidencia posible
Existen suficientes similitudes para sugerir revisión.
Sin coincidencia
No se ha localizado una referencia compatible.
Esta graduación es más útil que una clasificación binaria demasiado rígida.
DOI: una pequeña cadena con mucho valor
Cuando existe DOI, la comprobación puede ser mucho más fiable.
Un DOI es un identificador persistente de objetos digitales.
Por ejemplo:
10.xxxx/xxxxxxxx
Cuando una referencia contiene uno, podemos intentar contrastarlo con servicios externos.
Esto permite responder preguntas como:
- ¿existe el DOI?;
- ¿qué título devuelve?;
- ¿qué autores aparecen?;
- ¿qué año?;
- ¿qué publicación?;
- ¿coinciden estos datos con la referencia del manuscrito?
Aquí la auditoría bibliográfica deja de limitarse al propio documento.
Empieza a conectarse con infraestructura académica externa.
Por qué no basta con preguntarle al modelo
Imaginemos que tenemos una referencia dudosa.
Podríamos preguntar a un modelo:
«¿Existe este artículo?»
Es posible que lo conozca.
Pero también existe el riesgo de obtener una respuesta basada en asociaciones internas del modelo.
Para una comprobación bibliográfica, resulta mucho más interesante consultar una fuente diseñada específicamente para almacenar metadatos académicos.
Por eso, en el modelo de Philologica, la investigación de fuentes se conecta con servicios como:
- Crossref;
- OpenAlex;
- DataCite;
- DOAJ;
- Open Library.
Cada uno aporta información distinta.
Y ninguno debe entenderse como una autoridad absoluta para todas las disciplinas.
Pero juntos permiten reducir la dependencia de respuestas puramente generativas.
Crossref
Crossref es especialmente relevante cuando trabajamos con DOI y metadatos de publicaciones académicas.
Puede ayudarnos a contrastar:
- título;
- autores;
- fecha;
- publicación;
- DOI;
- determinados metadatos editoriales.
Si el manuscrito afirma:
Autor X, 2020
pero el DOI devuelve:
Autor X, 2018
tenemos una señal clara para revisar.
No significa necesariamente que el documento esté mal.
Podría existir una edición diferente.
Pero merece atención.
OpenAlex
OpenAlex permite trabajar con un grafo amplio de producción científica.
Puede resultar útil para localizar:
- trabajos;
- autores;
- instituciones;
- publicaciones;
- relaciones entre obras.
El valor de este tipo de servicios es que amplían el análisis más allá del texto literal.
Una referencia incompleta puede quizá identificarse a partir de varios de sus elementos.
DataCite
DataCite resulta especialmente interesante para objetos de investigación y DOI que no necesariamente pertenecen al circuito tradicional de artículos de revista.
Por ejemplo:
- datasets;
- repositorios;
- informes;
- otros objetos digitales de investigación.
Esto importa porque una bibliografía académica moderna ya no contiene únicamente libros y artículos.
DOAJ
El Directory of Open Access Journals aporta información sobre revistas de acceso abierto.
Puede ayudar a enriquecer determinadas comprobaciones relacionadas con publicaciones y contexto editorial.
Open Library
Open Library puede ser especialmente útil cuando trabajamos con libros.
Una tesis de humanidades, por ejemplo, puede contener una gran cantidad de monografías que no tienen DOI.
La verificación bibliográfica necesita entonces ampliar sus fuentes.
No existe una única base que contenga todo
Este punto es importante.
La inexistencia de una referencia en un catálogo determinado no demuestra que la referencia sea falsa.
Puede tratarse de:
- una edición local;
- un libro antiguo;
- una tesis;
- un documento institucional;
- un archivo histórico;
- una publicación no indexada;
- una fuente primaria;
- un documento sin DOI.
Por eso la salida responsable sería:
«No se ha localizado en las fuentes consultadas.»
No:
«Esta referencia no existe.»
El lenguaje importa.
Otro problema: referencias duplicadas
Una auditoría bibliográfica también puede descubrir duplicados.
Por ejemplo:
Smith, J. (2020). Academic AI…
y:
Smith, John. 2020. Academic Artificial Intelligence…
Podrían ser la misma obra introducida dos veces con formatos distintos.
Este tipo de problema aparece con frecuencia al importar referencias desde varias fuentes.
La detección puede utilizar elementos como:
- DOI idéntico;
- título muy similar;
- autor coincidente;
- mismo año;
- misma revista.
Cuando existen varios indicadores, la herramienta puede marcar:
posible duplicado
y dejar la decisión al usuario.
El error de DOI también es frecuente
Un DOI puede parecer correcto y contener un pequeño error.
Por ejemplo:
10.1234/abc.1234
frente a:
10.1234/abc.1235
Una sola cifra cambia completamente el identificador.
También aparecen problemas por copiar:
https://doi.org/;doi:;- puntuación final;
- espacios;
- caracteres adicionales.
Una normalización técnica puede resolver parte de estos problemas antes de consultar el servicio correspondiente.
La bibliografía también contiene metadatos
Una referencia académica es, en esencia, una estructura de datos expresada como texto.
Puede contener:
- autores;
- año;
- título;
- revista;
- volumen;
- número;
- páginas;
- editorial;
- DOI;
- ISBN;
- URL.
Esto abre una posibilidad interesante.
Podemos convertir temporalmente la referencia en una representación estructurada y comparar sus campos con fuentes externas.
Por ejemplo:
Documento
Autor: García
Año: 2021
Título: X
DOI: Y
Crossref
Autor: García
Año: 2020
Título: X
DOI: Y
Entonces tenemos una discrepancia concreta:
año
Es mucho más útil que limitarse a decir:
«La referencia parece incorrecta.»
Qué debería producir una auditoría bibliográfica
Un resultado útil podría organizarse en varias categorías.
Citas sin referencia
Elementos citados en el cuerpo para los que no se localiza una entrada correspondiente.
Referencias no citadas
Entradas bibliográficas sin uso localizado en el documento.
Posibles duplicados
Referencias que parecen representar la misma obra.
Identificadores problemáticos
DOI u otros identificadores que requieren comprobación.
Metadatos inconsistentes
Diferencias entre el manuscrito y fuentes externas.
Referencias no verificadas
Fuentes que no han podido contrastarse automáticamente.
Esta última categoría es especialmente importante.
No verificado no significa incorrecto.
Un ejemplo de informe
Imaginemos una tesis con 185 referencias.
Después del análisis obtenemos:
Citas sin referencia: 4
Referencias no citadas: 11
Posibles duplicados: 3
DOI con discrepancias: 2
Referencias no verificadas externamente: 17
A primera vista parecen muchos problemas.
Pero el siguiente paso es revisar.
Después de hacerlo descubrimos:
- 2 citas realmente necesitaban su referencia;
- 2 eran variantes reconocibles;
- 6 referencias podían eliminarse;
- 5 pertenecían intencionalmente a bibliografía complementaria;
- 2 duplicados eran reales;
- 1 era una edición distinta;
- uno de los DOI tenía un error tipográfico;
- otro apuntaba correctamente a una versión online.
El sistema no ha corregido la tesis.
Ha reducido una tarea potencialmente enorme a una lista concreta de verificaciones.
El coste de una revisión manual completa
Supongamos que tenemos 300 referencias.
Para comprobarlas manualmente podríamos:
- recorrer todas las citas;
- buscarlas en la bibliografía;
- recorrer toda la bibliografía;
- comprobar si cada entrada aparece citada;
- buscar DOI;
- contrastar títulos;
- comprobar autores;
- revisar duplicados.
Es perfectamente posible.
Pero consume tiempo.
Y es una tarea especialmente propensa al cansancio.
La automatización puede asumir la parte repetitiva.
La interpretación continúa siendo humana.
Integridad bibliográfica no es lo mismo que calidad bibliográfica
Hay otra distinción importante.
Una auditoría puede comprobar que una fuente está correctamente citada.
Eso no significa que la fuente sea buena.
Una referencia puede existir perfectamente y ser:
- poco relevante;
- metodológicamente débil;
- anticuada;
- secundaria cuando existe una fuente primaria mejor;
- inapropiada para la afirmación que pretende sostener.
Esto pertenece a otra capa de revisión.
La integridad pregunta:
¿La referencia existe y está correctamente conectada?
La evaluación académica pregunta:
¿Es una buena fuente para este argumento?
No debemos confundir ambas cosas.
Tampoco debemos confundir existencia con respaldo
Imaginemos que una fuente existe.
El DOI es correcto.
El título coincide.
Los autores coinciden.
Todo perfecto.
Todavía queda una pregunta esencial:
¿La fuente realmente sostiene la afirmación para la que se utiliza?
Eso exige examinar el contenido y el contexto.
Verificar los metadatos es únicamente un primer nivel.
Pero es un nivel extremadamente útil porque elimina muchos errores básicos antes de entrar en análisis más complejos.
La importancia de la trazabilidad
En una auditoría bibliográfica, la trazabilidad debería funcionar en ambas direcciones.
Desde el texto:
cita → referencia → fuente externa
Y desde la bibliografía:
referencia → citas dentro del manuscrito
Esta doble navegación resulta muy potente.
Permite responder:
¿Dónde utilizo esta obra?
y:
¿Qué obra corresponde a esta cita?
Cuando existe ese mapa, la bibliografía deja de ser una lista estática al final del documento.
Se convierte en una red.
Pensar la bibliografía como grafo
Podemos ir incluso un poco más lejos.
Imaginemos cada fuente como un nodo.
Y cada cita como una conexión desde una parte del manuscrito hacia ese nodo.
Tendríamos algo parecido a:
Capítulo 1 ──────┐
├── Fuente A
Capítulo 2 ──────┘
Capítulo 3 ───────── Fuente B
Capítulo 4 ──┐
├──── Fuente C
Capítulo 6 ──┘Ahora imaginemos:
Fuente Dsin ninguna conexión.
Es una referencia aparentemente no citada.
O:
Capítulo 5 ────── ?una cita sin nodo correspondiente.
Pensar la bibliografía como estructura permite visualizar muy claramente el problema.
También podemos observar concentración de fuentes
Una vez existe ese mapa, aparecen preguntas más interesantes.
¿Hay capítulos casi sin referencias?
¿Una única fuente sostiene una parte excesivamente importante del argumento?
¿Una fuente se utiliza repetidamente?
¿Hay secciones cuya base bibliográfica es mucho más antigua?
Estas preguntas ya pertenecen a análisis bibliométricos o editoriales más avanzados.
Pero nacen de la misma estructura básica.
El objetivo no es perseguir una bibliografía “perfecta”
No creo que exista una bibliografía universalmente perfecta.
Cada disciplina tiene convenciones diferentes.
Cada investigación necesita fuentes distintas.
La antigüedad de una referencia puede ser irrelevante en historia y problemática en determinadas áreas tecnológicas.
Un libro puede ser central en filosofía y menos habitual en otras disciplinas.
Por eso una herramienta automática debería evitar imponer criterios académicos universales.
Lo que sí puede hacer es comprobar relaciones objetivamente observables:
- presencia;
- ausencia;
- duplicación;
- identificadores;
- metadatos;
- coincidencias.
Cómo lo planteo dentro de Philologica
Dentro de Philologica, este tipo de revisión pertenece al área Source Research & Verification.
La idea es combinar dos perspectivas.
Primero:
qué dice el manuscrito sobre sus propias fuentes
y después:
qué podemos contrastar externamente sobre esas fuentes.
El dossier representa esta capa mediante herramientas como Bibliography Catalog y conexiones con servicios académicos externos.
La intención es convertir la bibliografía en algo inspeccionable.
Un flujo posible de auditoría
Para una tesis que esté cerca de su entrega, utilizaría un proceso parecido a este.
1. Extraer las citas
Identificar las referencias utilizadas en el cuerpo.
2. Extraer la bibliografía
Convertir las entradas finales en registros analizables.
3. Resolver correspondencias
Intentar conectar cada cita con su referencia.
4. Buscar huérfanos
Detectar citas sin referencia y referencias sin cita.
5. Detectar duplicados
Comparar identificadores y metadatos.
6. Verificar externamente
Consultar fuentes académicas cuando sea posible.
7. Revisar discrepancias
Presentar al autor los casos dudosos.
8. Corregir manualmente
Actualizar el manuscrito o el gestor bibliográfico.
Ese último paso sigue siendo fundamental.
¿Cuándo realizar esta revisión?
Yo no esperaría necesariamente hasta el último minuto.
Una auditoría bibliográfica es especialmente útil en tres momentos.
Antes de entregar un borrador importante
Evita enviar errores básicos al director o revisor.
Antes de someter un artículo a una revista
Permite revisar correspondencias e identificadores.
Antes de la versión definitiva
Sirve como control final después de múltiples cambios.
Cuanto más ha evolucionado el documento, mayor es la probabilidad de que hayan quedado referencias residuales.
Los gestores bibliográficos ayudan, pero no eliminan el problema
Zotero, Mendeley, EndNote y otras herramientas han mejorado enormemente la gestión de referencias.
Si un manuscrito se mantiene perfectamente sincronizado con el gestor, muchos problemas se reducen.
Pero la realidad editorial suele ser menos limpia.
Hay:
- referencias pegadas manualmente;
- conversiones de formato;
- documentos importados;
- capítulos antiguos;
- colaboradores;
- cambios de estilo;
- ediciones finales.
Además, el gestor puede garantizar que insertó una referencia, pero no necesariamente que la fuente respalde correctamente el argumento.
Por eso una auditoría externa sigue teniendo valor.
Qué no debería hacer una herramienta automática
Hay varias decisiones que no delegaría automáticamente.
No eliminaría una referencia simplemente porque no se ha localizado una cita.
No sustituiría un DOI sin confirmación.
No modificaría autores basándome únicamente en una coincidencia aproximada.
No asumiría que una fuente no existe porque una API no la devuelve.
No cambiaría el estilo bibliográfico sin una instrucción explícita.
El sistema debería ser conservador.
Especialmente cuando trabaja con datos académicos.
La bibliografía como infraestructura de confianza
En el fondo, una bibliografía cumple una función muy importante.
Permite que el lector siga el camino de una afirmación.
El autor dice:
«Esta idea se apoya aquí.»
Y ofrece una ruta.
Fuente.
Autor.
Título.
Publicación.
Identificador.
Cada error en esa cadena aumenta la fricción para verificar el trabajo.
Por eso la integridad bibliográfica no es únicamente una cuestión estética o normativa.
Es parte de la trazabilidad de la investigación.
Una pequeña comprobación con un impacto grande
Lo interesante es que muchos problemas bibliográficos son relativamente sencillos de corregir una vez encontrados.
Un DOI mal escrito.
Una referencia duplicada.
Una entrada olvidada.
Una cita antigua.
Un año incorrecto.
El coste de corregirlos puede ser bajo.
El coste está en encontrarlos.
Y ese es precisamente el tipo de tarea donde la automatización puede resultar especialmente útil:
grandes cantidades de comparaciones repetitivas que después una persona puede revisar rápidamente.
Mi regla práctica
Antes de entregar un manuscrito, intentaría poder responder afirmativamente a cuatro preguntas:
¿Todas mis citas pueden conectarse con una referencia?
¿Sé por qué está cada entrada en mi bibliografía?
¿He comprobado los identificadores más importantes?
¿Puedo rastrear las fuentes centrales de mis afirmaciones?
Si alguna respuesta es no, merece la pena dedicar una última revisión a la bibliografía.
El objetivo final no es una lista más limpia
Una buena auditoría bibliográfica no debería perseguir únicamente que la sección final tenga mejor aspecto.
Su objetivo es más profundo:
que las afirmaciones del manuscrito puedan rastrearse hasta las fuentes que las sostienen.
Porque una investigación no termina en lo que afirma.
También importa cómo permite verificarlo.
Y esa es una de las razones por las que considero la verificación de fuentes una pieza central de cualquier sistema serio de IA académica.
