IA y rigor bibliográfico: cómo verificar fuentes académicas sin inventar referencias
Uno de los errores más peligrosos que puede producir una inteligencia artificial en un contexto académico no es necesariamente una frase absurda.
Puede ser algo mucho más convincente.
Una referencia bibliográfica perfectamente formada.
Autor plausible.
Título plausible.
Revista plausible.
Año plausible.
Volumen plausible.
Incluso un DOI con apariencia completamente normal.
El problema aparece cuando intentamos localizarla.
Y no existe.
Esta capacidad de los modelos generativos para producir información verosímil pero incorrecta es uno de los motivos por los que considero que la verificación bibliográfica debe estar separada de la generación bibliográfica.
Una IA puede ayudarnos a descubrir literatura.
Puede sugerir términos de búsqueda.
Puede organizar información.
Puede interpretar una referencia.
Pero cuando una fuente se utiliza dentro de un trabajo académico, aparece una exigencia adicional:
debe poder verificarse.
Una referencia creíble no es necesariamente una referencia real
Los modelos de lenguaje están extraordinariamente bien entrenados para reconocer patrones.
Y una referencia académica es un patrón muy reconocible.
Por ejemplo:
Morales, J., Chen, L. & García, P. (2022). Algorithmic Governance and Institutional Accountability. Journal of Digital Ethics, 14(3), 112–129.
Tiene todo el aspecto de una publicación académica.
Podríamos incluso añadir:
Ahora resulta todavía más convincente.
Pero la estructura correcta no demuestra la existencia del artículo.
La IA puede haber producido cada elemento siguiendo patrones estadísticos perfectamente plausibles.
Este es el problema.
La plausibilidad lingüística no equivale a evidencia bibliográfica.
Por qué ocurre
Un modelo generativo no funciona como una base de datos tradicional de referencias.
No recibe necesariamente una pregunta y busca después una fila exacta en un catálogo bibliográfico.
Genera una respuesta basándose en patrones aprendidos.
Esto permite resultados extraordinarios.
Pero también significa que, cuando falta información suficiente, el modelo puede completar huecos de una forma que parece razonable.
En escritura creativa esto puede ser una virtud.
En bibliografía académica puede ser un problema grave.
El error no siempre consiste en inventar toda la fuente
Además, las alucinaciones bibliográficas no tienen por qué ser completamente ficticias.
Existen muchos niveles.
Fuente totalmente inexistente
Autores, título y revista generados.
Título incorrecto
El artículo existe, pero su título se ha reconstruido aproximadamente.
Año equivocado
La publicación existe, pero la fecha no coincide.
Autores mezclados
Los nombres pertenecen a trabajos diferentes.
Revista incorrecta
El artículo es real, pero aparece asociado a otra publicación.
DOI incorrecto
La referencia es real y el identificador no.
DOI perteneciente a otro artículo
Especialmente peligroso porque el enlace funciona, pero apunta a otra fuente.
Edición confundida
Un libro o informe existe en distintas versiones y la referencia mezcla datos.
Por eso la comprobación no debería limitarse a preguntar:
«¿Existe algo parecido?»
Hay que comprobar que los elementos correspondan entre sí.
El DOI como punto de partida
Cuando una fuente dispone de DOI, tenemos una ventaja importante.
El Digital Object Identifier está pensado precisamente como identificador persistente.
Una referencia puede cambiar de URL.
Una revista puede modificar su web.
El DOI pretende mantener una identidad estable del objeto.
Por eso, ante una referencia con DOI, una primera pregunta es muy sencilla:
¿Este DOI existe?
Y después:
¿Qué metadatos devuelve?
Podemos comparar:
- título;
- autores;
- año;
- publicación;
- volumen;
- número;
- páginas.
Si los datos del manuscrito y los datos devueltos por la fuente externa son compatibles, aumenta nuestra confianza.
Si aparecen discrepancias, tenemos algo que revisar.
Verificar un DOI no significa únicamente abrir un enlace
Hay una diferencia entre:
«el enlace funciona»
y:
«el DOI corresponde a la referencia que estoy citando».
Imaginemos que nuestro manuscrito contiene:
García, P. (2020). Ethical AI Governance…
y el DOI lleva a:
García, P. (2020). Automated Decision Systems in Public Administration…
El identificador existe.
El autor coincide.
El año coincide.
Pero el título no.
Tenemos una discrepancia importante.
Por eso una verificación útil necesita comparar metadatos, no simplemente comprobar el HTTP 200 de una URL.
Crossref como infraestructura de comprobación
Crossref es una de las infraestructuras más útiles para este tipo de tarea.
Cuando una publicación se encuentra registrada, puede devolver información estructurada sobre ella.
Por ejemplo:
DOI
Título
Autores
Fecha
Revista
Editorial
Tipo de documentoEsto permite convertir una duda bibliográfica en una comparación.
Referencia declarada en el manuscrito
frente a
metadatos registrados externamente
La IA puede entonces ayudar a interpretar la diferencia.
Pero la evidencia procede de una infraestructura bibliográfica externa.
Ese orden es importante.
OpenAlex aporta otra perspectiva
No todas las búsquedas comienzan con un DOI.
A veces tenemos:
- autor;
- título parcial;
- año;
- algunas palabras clave.
Aquí sistemas como OpenAlex pueden ayudar a localizar obras mediante distintos metadatos.
Además, permiten situar el trabajo dentro de un grafo académico más amplio.
Esto puede resultar útil para identificar:
- trabajos con títulos similares;
- perfiles de autores;
- publicaciones;
- relaciones entre obras;
- información adicional de contexto.
El objetivo no es utilizar una única fuente como verdad absoluta.
Es acumular evidencia.
DataCite y los objetos que no son artículos tradicionales
Otra dificultad de la bibliografía contemporánea es que cada vez citamos más tipos de objetos.
No únicamente:
- libros;
- artículos de revista.
También:
- datasets;
- repositorios;
- informes;
- software;
- materiales de investigación;
- objetos digitales.
DataCite resulta especialmente relevante en este ecosistema.
Esto recuerda algo importante:
la verificación bibliográfica no puede diseñarse únicamente pensando en el artículo científico tradicional.
El paisaje académico es más amplio.
DOAJ y Open Library
El dossier de Philologica incluye además servicios como DOAJ y Open Library dentro del ecosistema de investigación y verificación de fuentes.
Tienen finalidades distintas.
DOAJ puede aportar contexto sobre revistas de acceso abierto.
Open Library puede resultar útil en búsquedas relacionadas con libros.
Esto es especialmente relevante para disciplinas donde los DOI tienen mucha menos presencia.
Por ejemplo, en determinadas áreas de humanidades, una investigación puede depender ampliamente de:
- monografías;
- ediciones críticas;
- obras históricas;
- traducciones;
- documentos antiguos.
Una arquitectura bibliográfica seria necesita admitir esa diversidad.
Qué ocurre cuando ninguna fuente encuentra la referencia
Aquí aparece una de las reglas más importantes.
Supongamos que buscamos una referencia en varios servicios y no encontramos ninguna coincidencia.
La conclusión automática no debería ser:
«Esta fuente es falsa.»
La conclusión correcta es:
«No se ha podido verificar en las fuentes consultadas.»
Parece una diferencia menor.
No lo es.
Puede existir una publicación perfectamente legítima fuera de esas bases.
Por ejemplo:
- una revista local;
- una obra antigua;
- un documento institucional;
- una tesis no indexada;
- un catálogo especializado;
- documentación privada;
- una fuente primaria histórica.
La ausencia de evidencia no es siempre evidencia de inexistencia.
Tres estados más útiles que verdadero/falso
Para este tipo de sistemas prefiero pensar en tres estados.
Verificada
Existe una coincidencia suficientemente fuerte entre la referencia y una fuente externa.
Requiere revisión
Existen discrepancias o coincidencias parciales.
No verificada
No ha podido encontrarse evidencia suficiente.
Esto es bastante más responsable que:
correcta / falsa
porque representa mejor la incertidumbre real.
El caso más peligroso: la coincidencia parcial
A veces el problema no es que no encontremos nada.
Encontramos algo demasiado parecido.
Por ejemplo:
Referencia:
Smith, J. (2021). Artificial Intelligence and Editorial Integrity.
Resultado externo:
Smith, J. (2021). Artificial Intelligence and Research Integrity.
¿Es el mismo trabajo?
Quizá.
Quizá no.
Podría haber:
- error de transcripción;
- título traducido;
- dos publicaciones distintas;
- un preprint y una versión final;
- una referencia inventada a partir de una real.
En estos casos, un sistema debería presentar la comparación y dejar que el usuario decida.
La verificación tiene que mostrar evidencia
Esto conecta con el concepto de trazabilidad.
Una mala interfaz podría decir:
«Referencia probablemente correcta.»
Una interfaz mucho más útil mostraría:
Referencia en el manuscrito
Smith, J. (2021)…
Coincidencia encontrada
Smith, J. (2021)…
Fuente
Crossref
Coincidencia
Título: 91 %
Autor: compatible
Año: idéntico
DOI: localizado
Ahora el usuario puede entender por qué el sistema ha llegado a esa conclusión.
No necesita confiar únicamente en una etiqueta.
La IA debería interpretar, no inventar la evidencia
Esta es una separación conceptual que considero fundamental.
Tenemos dos capas.
Capa de evidencia
Datos obtenidos del documento o de servicios externos.
Capa de interpretación
El modelo ayuda a:
- comparar;
- explicar;
- priorizar;
- describir discrepancias.
El modelo no debería fabricar la primera capa.
Si Crossref no devuelve un DOI, el sistema no debería rellenarlo porque «probablemente sea este».
Puede sugerir una posible coincidencia.
Pero debe etiquetarla como tal.
Un ejemplo realista de verificación
Imaginemos esta referencia:
Morales, E. (2023). Digital Editorial Workflows in Academic Publishing. Journal of Publishing Studies, 19(2), 44–61. doi:10.1234/jps.2023.456
El sistema consulta el DOI.
Resultado:
No localizado.
Después busca título + autor.
Encuentra:
Morales, E. (2023). Digital Workflows in Academic Publishing. Journal of Publishing Studies, 19(2), 44–61. DOI: 10.5678/jps.2023.456
Tenemos varias coincidencias:
- autor;
- año;
- revista;
- volumen;
- páginas.
Pero:
- título ligeramente distinto;
- DOI completamente distinto.
El resultado debería ser:
Estado: requiere revisión
Motivo: se ha localizado una obra altamente similar con metadatos parcialmente coincidentes, pero el DOI del manuscrito no corresponde.
Eso es mucho más útil que corregir silenciosamente la referencia.
Corregir automáticamente puede ser peligroso
Supongamos que el sistema encuentra una coincidencia muy buena.
Puede resultar tentador reemplazar automáticamente los datos del manuscrito.
Yo sería muy prudente.
Porque podría tratarse de:
- otra edición;
- otro idioma;
- versión online frente a impresa;
- preprint frente a versión editorial;
- obra con título casi idéntico.
La automatización debería proponer:
«¿Quieres utilizar estos metadatos?»
no imponer:
«Ya los he cambiado.»
Referencias generadas por IA: una regla sencilla
Cuando una IA me proporciona una referencia que no conocía previamente, utilizo una regla muy simple:
la referencia no existe para mí hasta que puedo verificarla externamente.
No importa lo convincente que parezca.
No importa que el modelo diga:
«Este es un artículo muy conocido.»
No importa que proporcione DOI.
Primero verifico.
Esta regla elimina una gran cantidad de problemas.
El DOI tampoco es garantía absoluta de calidad
Otro error sería pensar:
DOI válido = fuente fiable.
No necesariamente.
El DOI identifica.
No evalúa la calidad metodológica del trabajo.
Un artículo puede tener DOI y contener investigación pobre.
Una publicación puede existir y resultar irrelevante para nuestra tesis.
Un trabajo puede haber sido posteriormente corregido o retractado.
Por tanto, la verificación bibliográfica responde únicamente a algunas preguntas.
¿Existe?
¿Los metadatos coinciden?
Después aparecen otras:
¿Es adecuada?
¿Es fiable?
¿Sostiene realmente la afirmación?
Son niveles distintos.
Existencia, pertinencia y respaldo
Me parece útil dividir la revisión de fuentes en tres capas.
1. Existencia
¿Podemos localizar la fuente?
2. Pertinencia
¿Es relevante para el argumento o área que estamos tratando?
3. Respaldo
¿La fuente realmente sostiene la afirmación para la que se cita?
Una herramienta automática puede ayudar mucho con la primera.
Puede ayudar parcialmente con la segunda y la tercera.
Pero cuanto más nos acercamos a la interpretación académica, más importante se vuelve la revisión humana.
Una fuente real puede estar mal utilizada
Esto es especialmente importante.
Imaginemos una fuente perfectamente real.
La referencia está impecable.
El DOI funciona.
Todos los metadatos son correctos.
Pero el manuscrito afirma:
«Smith demuestra que A causa B.»
Y cuando leemos Smith, encontramos:
«A y B presentan correlación, pero no podemos establecer causalidad.»
La referencia existe.
Pero se ha utilizado para respaldar algo que no dice.
Este problema es mucho más profundo que una alucinación bibliográfica.
Es una alucinación interpretativa, deliberada o no.
Una revisión futura de IA académica debería intentar ayudar también aquí.
Pero requiere trabajar sobre el contenido de la fuente, no únicamente sus metadatos.
Fuentes primarias frente a fuentes secundarias
Otra pregunta importante es:
¿Estamos citando la fuente original?
Una IA puede recomendar un artículo que resume una teoría.
Pero quizá existe un trabajo primario que sería más apropiado citar.
Por ejemplo:
Paper C cita a Paper B.
Paper B resume a Paper A.
Nosotros encontramos C y afirmamos:
«Según C, A demuestra…»
La trazabilidad se vuelve indirecta.
Siempre que sea posible, merece la pena intentar recuperar la fuente primaria.
Una herramienta bibliográfica puede ayudar a reconstruir parte de estas relaciones.
El problema de las referencias antiguas
La antigüedad también necesita contexto.
Una fuente de 1960 puede ser completamente adecuada en:
- historia;
- filosofía;
- teoría;
- humanidades.
Puede incluso ser una obra fundamental.
En cambio, una revisión sobre modelos de inteligencia artificial basada casi exclusivamente en fuentes de hace diez años puede tener otro significado.
Por eso un sistema no debería decidir:
«Esta fuente es demasiado antigua.»
Puede señalar:
«La sección utiliza principalmente literatura publicada antes de determinada fecha.»
Después el investigador interpreta.
Verificación no significa sustituir al investigador
Esta idea aparece repetidamente porque es fundamental.
La verificación automática puede ahorrar mucho trabajo mecánico.
Pero el investigador sigue teniendo que saber:
- por qué cita;
- qué cita;
- qué significa la fuente;
- qué relación tiene con el argumento.
Una bibliografía impecablemente verificada puede seguir sosteniendo una investigación débil.
La tecnología ayuda con la infraestructura.
No sustituye el criterio académico.
El error humano también genera referencias falsas
Conviene no atribuir todo este problema a la IA.
Antes de los modelos generativos ya existían:
- DOI mal copiados;
- años incorrectos;
- títulos truncados;
- autores omitidos;
- revistas equivocadas;
- referencias duplicadas.
Una persona puede copiar una referencia desde una página web incorrecta.
Puede mezclar datos.
Puede utilizar una cita secundaria como si fuera primaria.
La IA añade nuevas formas de error.
Pero también puede ayudarnos a detectar errores humanos anteriores.
Una arquitectura responsable para investigación bibliográfica
Si tuviera que diseñar un flujo mínimo para trabajar con referencias mediante IA, utilizaría algo parecido a esto:
1. El usuario solicita una fuente
Por ejemplo:
estudios recientes sobre trazabilidad de IA académica.
2. El sistema busca en fuentes externas
No depende únicamente de generación libre.
3. Recupera candidatos
Título, autor, año, DOI y metadatos.
4. La IA explica
Resume la posible relevancia de cada resultado.
5. El usuario comprueba
Puede abrir la fuente original.
6. Solo después se incorpora la referencia
La generación aparece encima de evidencia externa.
No al revés.
Cómo encaja esto en Philologica
Esta filosofía es la que intento trasladar al bloque Source Research & Verification de Philologica.
El dossier representa un flujo en el que Bibliography Catalog se conecta con infraestructuras externas como:
Crossref → OpenAlex → DataCite → DOAJ → Open Library.
No significa que todas las fuentes tengan que consultarse siempre.
Ni que juntas garanticen verificación absoluta.
Representan algo más importante:
la investigación bibliográfica no debería depender exclusivamente de la memoria del modelo.
La procedencia debería estar visible
Otra característica que considero fundamental es saber de dónde procede cada dato.
Por ejemplo:
Título: Crossref
Autores: Crossref
Número de citas: OpenAlex
Tipo de objeto: DataCite
Información de revista OA: DOAJ
Esta información de procedencia permite evaluar mejor el resultado.
Si dos fuentes devuelven datos distintos, también podemos verlo.
Cuando las fuentes discrepan
Esto ocurre.
Una base puede indicar:
2022
y otra:
Puede deberse a:
- publicación online primero;
- número impreso posterior;
- preprint;
- edición;
- diferencias de indexación.
El sistema no debería elegir silenciosamente una fecha.
Debería presentar la discrepancia.
Porque a veces el problema no está en ninguna de las dos fuentes.
Está en que representan acontecimientos distintos.
La confianza debe ser graduada
Podemos imaginar un esquema de confianza.
Alta
DOI idéntico + título + autores compatibles.
Media
Título y autores compatibles, sin identificador persistente.
Baja
Coincidencia aproximada basada en pocos elementos.
Sin verificar
No existe evidencia externa suficiente.
Esto ayuda a decidir cuánto esfuerzo dedicar a cada caso.
Una auditoría de IA también debe auditarse
Hay una ironía interesante aquí.
Utilizamos IA para comprobar bibliografía.
Pero también tenemos que comprobar a la IA.
Esta aparente contradicción no invalida la herramienta.
Simplemente define su uso correcto.
La IA puede reducir miles de comparaciones a veinte casos dudosos.
Después una persona revisa esos veinte.
Eso es enormemente útil.
No necesitamos que el sistema sea infalible.
Necesitamos que reduzca el espacio de búsqueda sin ocultar incertidumbre.
El objetivo no es confiar más en la IA
En realidad, mi objetivo con este tipo de arquitectura es casi el contrario.
No quiero diseñar un sistema que diga:
«Puedes confiar en la IA.»
Prefiero uno que diga:
«No necesitas confiar: puedes comprobar.»
La diferencia es significativa.
Cuando el sistema muestra:
- fuente;
- identificador;
- metadatos;
- evidencia;
- discrepancias;
la confianza deja de depender únicamente de la autoridad aparente de la respuesta.
Una lista práctica antes de utilizar una referencia generada por IA
Si una inteligencia artificial me recomienda una fuente para un trabajo académico, comprobaría al menos:
¿Puedo localizarla externamente?
Google Scholar, catálogo, Crossref, OpenAlex u otra fuente apropiada.
¿Coinciden autores y título?
No aproximadamente cuando el dato es crítico.
¿Coincide el año?
Especialmente si existen varias versiones.
¿El DOI pertenece realmente a esa obra?
No basta con que funcione.
¿He accedido al trabajo?
Siempre que sea posible.
¿La fuente dice realmente lo que estoy afirmando?
La pregunta más importante.
Si no puedo responder a estas preguntas, todavía no utilizaría la referencia como evidencia.
La IA puede ayudarnos a ser más rigurosos
Hay una paradoja.
La inteligencia artificial puede introducir errores bibliográficos nuevos.
Pero también puede permitir procedimientos de verificación que antes requerían muchas horas.
Podemos utilizarla para:
- detectar referencias incompletas;
- comparar metadatos;
- encontrar discrepancias;
- buscar posibles coincidencias;
- clasificar resultados;
- explicar diferencias.
La misma tecnología que introduce riesgo puede utilizarse para reducirlo.
La diferencia está en el diseño.
De generador de citas a instrumento de verificación
Durante la primera etapa de la IA generativa muchas personas utilizaron los modelos para:
«Dame diez referencias sobre este tema.»
El problema era que el usuario podía recibir una mezcla de:
- fuentes reales;
- fuentes parcialmente correctas;
- fuentes inexistentes.
Creo que la siguiente etapa debe cambiar la pregunta.
En lugar de:
«Inventa o recuerda referencias.»
preguntar:
«Ayúdame a encontrar y verificar evidencia bibliográfica real.»
Ese cambio parece pequeño.
Pero transforma completamente la arquitectura.
Mi principio para Philologica
Si tuviera que resumir toda esta parte del proyecto en una sola regla sería:
La IA puede proponer una referencia. La evidencia externa debe intentar confirmarla.
Y cuando no pueda confirmarla:
el sistema debe decirlo.
No inventar.
No completar silenciosamente.
No convertir una posibilidad en certeza.
Rigor bibliográfico en la era generativa
Durante mucho tiempo, verificar una bibliografía significaba principalmente evitar errores humanos.
Ahora tenemos un nuevo participante en el proceso.
Una máquina capaz de producir información con enorme fluidez.
Eso hace que la verificación sea todavía más importante.
Porque cuanto mejor se vuelve la generación, más difícil puede resultar distinguir visualmente una referencia real de una falsa.
Una cita inventada por un modelo avanzado puede parecer muchísimo más convincente que una referencia mal escrita por una persona.
Por tanto, la calidad lingüística ya no puede funcionar como indicador de fiabilidad.
Necesitamos trazabilidad.
La conclusión
La IA puede ser una herramienta extraordinaria para investigar literatura académica.
Puede acelerar búsquedas.
Ayudar a comprender campos nuevos.
Comparar trabajos.
Organizar referencias.
Encontrar conexiones.
Pero hay una frontera que considero muy clara:
una fuente utilizada como evidencia debe poder existir fuera de la respuesta de la IA.
Debe poder localizarse.
Examinarse.
Contrastarse.
Y, si es posible, relacionarse con un identificador o registro externo.
La bibliografía académica es una infraestructura de confianza.
Y la inteligencia artificial debe integrarse en ella sin romper esa propiedad.
La mejor IA académica no será necesariamente la que genere las referencias más convincentes.
Será la que nos permita saber cuáles podemos verificar y por qué.
Philologica Source Research & Verification
Dentro de Philologica estoy desarrollando Source Research & Verification como una capa orientada a conectar el manuscrito con fuentes bibliográficas verificables.
El ecosistema descrito actualmente integra herramientas como Bibliography Catalog y servicios externos como Crossref, OpenAlex, DataCite, DOAJ y Open Library.
Puedes explorar Philologica en:
La verificación automatizada debe considerarse una ayuda. Una referencia no localizada automáticamente no debe clasificarse como falsa sin comprobaciones adicionales, y la existencia de una publicación no demuestra por sí sola que respalde la afirmación para la que se utiliza.
