Grotte du Renne, o la estadística inadecuada

Me ha llevado tiempo pero...

Por fin abordo la crítica de un artículo, publicado en PNAS este mes de Noviembre (disponible online para usuarios registrados, desde el 19 de Octubre). El texto trata sobre la secuencia de Grotte-du-Renne (Francia) y pone en entredicho la integridad de su estratigrafía. Es decir, propone que los materiales pueden estar mezclados o desplazados en la dimensión horizontal.

Paisaje de Arcy-sur-Cure donde se halla la Grotte-du-Renne

Esa no es una afirmación baladí, ya que los niveles Chatelperronienses de dicha cueva han dado una importante industria ósea asociada con poblaciones Neandertales, y también colgantes y otros objetos de adorno, de tipo simbólico. He tratado ese tema aquí, y aquí - por si alquien quiere refrescar la memoria.

Objetos de Grotte-du-Renne en relación al plano y los niveles (Zilhao, 2008)

No es, por cierto, la única cueva con niveles Chatelperronienses en los que aparecen elementos simbólicos (también están Quinçay, Saint-Cesaire y Caune de Belvis, con ciertas dudas esta última). Pero Grotte-du-Renne es uno de los conjuntos más claros y abundantes, tanto en colgantes como en industria ósea.

Materiales de la Grotte du Renne (Higham et al. 2010; Foto de M. Vahaeren)

En el artículo al me refería al principio los autores concluyen que: sus resultados ponen en entredicho la integridad estratigráfica de los niveles chatelperronienses. Y, por ello, según su criterio, no se puede asegurar que los ornamentos de dichos estratos estén realmente asociados a los Neandertales.

Desde que recibí el texto de este artículo, a mediados de Octubre, le he dedicado cierta cantidad de tiempo (cuando me ha sido posible) para tratar de analizarlo en detalle y madurar mi opinión al respecto. He aislado y considerado los distintos elementos del proceso de construcción de las inferencias de los autores. Dichos elementos son, de manera condensada, los siguientes:

1. El procesado de los materiales, datados por la técnica del Carbono-14.
2. Los presupuestos arqueológicos y estratigráficos básicos del problema abordado.
3. Los resultados de las dataciones sensu estricto.
4. Y, por último, la aplicación de un modelo estadístico para juzgar la integridad de la secuencia, en razón de las dataciones de Carbono-14. 

Bueno y, ¿donde está el fallo?

Mi conclusión, en último término, es que el trabajo es muy válido en los puntos 1 a 3, pero fracasa de manera rotunda en el cuarto punto. En concreto, en el encaje del punto cuatro con los tres anteriores. Sus resultados no son válidos, porque se basa en una serie de asunciones erróneas.

En realidad creo que los resultados son contradictorios con los propios datos per se, desde una interpretación razonada de las evidencias presentadas (las dataciones de Carbono-14), y en el contexto de las investigaciones arqueológicas sobre el OIS3 (periodo crono-climático en el que se centra el estudio).

Habría muchas cuestiones que matizar, en cuanto a los procedimientos estadísticos utilizados para el trabajo. Teniendo en cuenta el tipo de datos manejados y las características de sus distribuciones, considero que el modelo propuesto quizás adolece de un exceso de "entusiasmo tecnicista", un tanto oscurecedor de los datos, que no es infrecuente en este tipo de publicaciones. Lo que quiero decir es que existen, de hecho, pruebas robustas y sencillas para abordar los mismos problemas, dentro de los procedimientos estadísticos más conocidos.

Pero entrar en esos detalles requeriría alargar esta entrada todavía más, algo que no es, realmente, aceptable. Además, existen problemas más evidentes en el artículo, al margen de las sutilezas de la estadística.

El problema más grave es que el artículo falla al no considerar una hipótesis nula que debería ser obvia. La enunciaré, a mi manera, con las siguientes palabras:

Las dataciones por Carbono-14, para la etapa considerada, carecen de la precisión y fiabilidad necesaria para juzgar (de manera precisa y fiable) la integridad estratigráfica de la secuencia de la que provienen.

Sería necesario rechazar esta hipótesis nula para poder continuar con todo el proceso de investigación. Si no se puede probar que lo que dice esa frase es incorrecto, el resto del tratamiento de los datos carece de todo sentido.

Si, por el contrario, se consigue rechazar esta hipótesis, o bien con métodos estadísticos, o bien con un razonamiento robusto basado en evidencias, entonces tendría sentido asumir la hipótesis alternativa: Que las dataciones por Carbono-14 si tienen la fiabilidad y precisión suficiente para juzgar  (de manera precisa y fiable) la integridad estratigráfica de la secuencia de la que provienen.

Volviendo al artículo, cabe preguntarse como abordan y solucionan esta cuestión fundamental los autores del mismo. Mi sorpresa ha sido que, de hecho, no aparece considerada como tal, ni el el texto principal ni tampoco en los materiales complementarios. Se da por hecho que las dataciones por Carbono-14 tienen una fiabilidad y una precisión suficiente para juzgar la integridad de la estratigrafía. Esta circunstancia no permite dar apenas fiabilidad a los resultados del estudio. 

Por otro lado, los autores presentan una serie de factores que, aunque no se ennumeran como tales, parece que son sus argumentos para justificar su "fe" en la precisión y fiabilidad de las dataciones de Carbono-14, en relación a los objetivos de la investigación:
 
· Un método relativamente nuevo de limpieza de las muestras ("ultrafiltración") que supone en teoría una mejora cualitativa en la precisión y fiabilidad de las fechas.

· El recurso a un número grande de dataciones individuales, para obtener más detalle estadístico sobre los intervalos cronológicos representados por los distintos niveles.

· El uso de la calibración de las fechas radiocarbónicas para pasarlas a fechas calendáricas, que -en teoría- mejora su encuadre y afina la comparación.

· Las cualidades intrínsecas del modelo estadístico usado para procesar los datos. 

La pregunta que tenemos que hacernos aquí es: ¿Esos argumentos de los autores se pueden considerar válidos, y por tanto, justificarían -al menos en parte- rechazar la hipótesis nula? Veamoslos uno por uno. 

¿La ultrafiltración es tan maravillosa? 

En cuanto al método de la "ultrafiltración", es indudable que parece ofrecer ciertas ventajas en términos globales. Y, probablemente, suponga grandes mejoras para la datación en otros periodos y a otras escalas. Pero dicha ventaja se difumina al estudiar la Grotte-du-Renne. Esto se puede comprobar de dos formas: 

1. Cotejando la tabla 1 del artículo (muestras que no dieron dataciones por distintos motivos) con la tabla 2 (muestras datadas): De dicha comparación se puede deducir que la proporción de muestras de las que no se obtuvieron dataciones es muy alta (19 de 50, es decir un 38%). Son muchas, incluso para un yacimiento del OIS 3. Esto significa que o bien la técnica no supone ninguna ventaja respecto a los protocolos de limpieza anteriores (para éstas muestras, al menos) o bien que los materiales arqueológicos datados -los objetos- son problematicos para este tipo de análisis (fueron, por tanto, mal escogidos).
2. Cotejando la precisión de los resultados de las nuevas dataciones con las ya existentes para esa misma secuencia. Esto se puede hacer comparando las medias y las desvaciones estándar de las fechas. En el artículo, hay que comparar los resultados de la tabla 2 con los resultados que aparecen en el material suplementario (Figura S1), referidos a las dataciones que ya se conocían para la Grotte-du-Renne. El resultado de esta comparación (que podéis corroborar armados de calculadora y paciencia) es, por un lado, que apenas existen diferencias significativas en las desviaciones estándar de cada grupo de fechas. Y, por otro lado, si que parece haber diferencia en cuanto a las medias, que son más coherentes y ajustadas, dentro de cada nivel,  para el nuevo estudio (no es necesaria estadística avanzada: la del "Excel" basta para probar eso). Y por cierto que es interesante retener esa idea: que en el nuevo "set" de dataciones para Grotte-du-Renne, las medias de las fechas fortalecen la idea de la integridad y la homogeneidad de los niveles, respecto a los datos anteriores, y no al revés.  

Por tanto, en lo que se refiere a este caso y este yacimiento, la única ninguna evidencia de que la "ultrafiltración" suponga una mejora cualitativa o cuantitativa en las dataciones, sirve en realidad para sugerir que no hay problemas estratigráficos reales en la secuencia. 

¡Más fechas, es la guerra!

En lo que se refiere al segundo argumento, el uso de un número grande de dataciones para caracterizar mejor los niveles, resulta un tanto contradictorio. Por un lado, el número de dataciones aportado "ex novo" (31) apenas es superior al de las dataciones ya existentes (27). Con ese dato, hay que concluir que la cantidad, de por sí, no es un gran argumento. Más aún, cuando los autores admiten que las dataciones con "ultrafiltración" no son directamente comparables a las que no usaron ese protocolo en el pasado (al menos para esta antiguedad).

En lo que se refiere a la calibración de las fechas de Carbono-14, todo el modelo propuesto por los autores descansa en asumir que las fechas calibradas son suficientemente fiables, en términos estadísticos, como para construir con ellas su modelo, y -sobre todo- para juzgar la posición estratigráfica de los objetos datados. Esta asunción de los autores es incorrecta. En concreto, por (1) la naturaleza de las dataciones de Carbono-14 y (2) por la sección de la curva de calibración en la cronología que estudian, cercana al límite real de la técnica de datación por Carbono-14.

Lo que es una datación de radiocarbono y lo que no.

En cuanto a la naturaleza de las dataciones de Carbono-14, se pasa de puntillas -hasta cierto punto- sobre el hecho de que la datación se expresa como un intervalo de probabilidad (media + desviación estándar de una población normal) dentro del cual hay una probabilidad del 68% de que "caiga" la fecha "real", en escala radiocarbónica. Pero esa fecha "real" puede ser cualquier punto del intervalo, no existe ninguna razón estadística para que sea la media.

Y, si se dobla la desviación estándar, multiplicando por dos el intervalo considerado, la probabilidad de que la fecha real "caiga" dentro de ese intervalo es del 95%. Pero, de nuevo, la fecha real puede estar en cualquier punto. Así, cuando se calibra una datación, se transforma un intervalo de probabilidad (a 1 o 2 desviaciones estándar) de una a otra escala, pero no se calibra una fecha real, porque la fecha real nunca se sabe cual es. Sólo se infiere que hay un 68% de que la fecha real esté dentro de una desviación estándar, y un 95% de que esté dentro de dos desviaciones estándar.

Los bayesianos esos.

Ese problema de las dataciones y su naturaleza reconozco que es "soslayable", y enlaza con el punto cuarto, las características intrínsecas del modelo estadístico utilizado: En ese aspecto lo cierto es que tampoco es tan grave abstraerse lo suficiente -como hacen los autores- como para:

-Utilizar el modelo estadístico elegido, cuyo uso ha sido explicado por C. Bronk Rampsey -uno de los autores del trabajo- en un artículo de Radiocarbon, y que en principio no  tendría porqué funcionar mal con intervalos de probabilidad.

- Considerar como una fecha real (y por tanto, adjudicable a un objeto en una secuencia estratigráfica) lo que es -solamente- un intervalo de probabilidad.

Es, por decirlo así, un "error asumible".

Tu calibra lo que quieras, pero comprueba la curva antes de creértelo.

Pero el otro problema es mucho más grave. Me refiero a aceptar que la calibración supone una mejora en la caracterización de estas dataciones (en términos estadísticos y probabilisticos) cuando es al contrario.

Si fueran dataciones Neolíticas, o de la Edad Media, por ejemplo, con las magníficas curvas de calibración que hay para esos periodos, corregidas con dendrocronología, etc... entonces la asunción de los autores habría sido la correcta.

Pero para el OIS3, y dada la morfología del detalle de su curva de calibración (en la que abundan las irregularidades, y escasean los puntos calibrados sobre los que se construye la linea), dicha asunción no es aceptable.

La calibración sirve para aproximar cada datación a una escala calendárica "real". Así, una a una, y para comparaciones "gruesas", la calibración de fechas tan antiguas sí es útil. Pero no es aceptable que se asuma el sesgo introducido por la imprecisión de la curva de calibración y se utilicen dichas fechas calibradas, como elementos básicos de un modelo estadístico.

Cerrando el tema.

Por lo tanto, y a modo de conclusión, me gustaría decir que me parece un buen trabajo estropeado por un mal encaje de premisas, método y conclusiones. Y, en mi opinión, ese desencuentro se entiende mejor en el marco de la obsesión, por parte de determinados modelos de las incapacidades Neandertales, de poner en cuestión la estratigrafía de la Grotte-du-Renne, cuya evidencia arqueológica es del todo incompatible con dichas propuestas.

Al contrario de lo que concluyen los autores del trabajo, las nuevas dataciones por Carbono-14 obtenidas para la Grotte-du-Renne refuerzan -en mi opinión- la idea de integridad de los niveles y robustez de la secuencia arqueológica datada.

El modelo estadístico expuesto en el artículo, como he explicado, no tiene en cuenta la hipótesis nula inicial, lo cual es un error de bulto. E invalida el resto de los procedimientos y hace irrelevantes las conclusiones de los autores. En todo caso, y en mi opinión, los resultados del modelo estadístico planteado por los autores estarían reflejando los limites reales y las imprecisiones y errores de la datación por Carbono-14, y no unos problemas putativos de la secuencia estratigráfica.

Referencia:

Higham T, Jacobi R, Julien M, David F, Basell L, Wood R, Davies W, & Ramsey CB (2010). Chronology of the Grotte du Renne (France) and implications for the context of ornaments and human remains within the Chatelperronian. Proceedings of the National Academy of Sciences of the United States of America PMID: 20956292

Referencias adicionales en web: 

Para más información sobre las dataciones por radiocarbono podeis consultar la página "radiocarbon WEB-info" y la revista Radiocarbon, aunque para no iniciados quizás sea mejor empezar por la entrada de Wikipedia en inglés. 

Para explorar el tema de la precisión/imprecisión de las curvas de calibración del Carbono-14, se puede visitar la página de Calpal (podéis descargaros el programa, las curvas de calibración -no todas- y los manuales). También es de gran interés el detallado artículo sobre la curva de calibración Intcal2009, usada en el artículo de la Grotte-du-Renne. Recomiendo sobre todo consultar cómo se construyen las curvas para periodos antiguos (cuantos puntos se usan, cómo se crean las curvas, etc..).

  Colgantes de Grotte-du-Renne (Zilhao, 2008)

La bibliografía clásica sobre Grotte-du-Renne incluye las memorias de excavación originales (en Gallia Préhistorie), así como trabajos de White, d'Errico y Zilhao.

EDITADO 29/11/10: Me han hecho notar que el trabajo de las dataciones de Grotte-du-Renne, tiene otro error, que no es aceptable en términos estadísticos. Se trata de una cuestión de muestreo. A ver si lo explico bien: El nivel X (Chatelperroniense) concentra casi todas las nuevas dataciones. Tiene más del triple (16) que el siguiente nivel en número de fechas (el nivel VII, con 5). Y el resto de niveles tiene poquísimas (3, 2 o 1). Y este hecho (bastante evidente), no es considerado en el modelo. De ese modo, a la hora de tratar de juzgar las supuestas inconsistencias estratigráficas (algo que, como ya hemos dicho, tampoco tiene mucho sentido) es todavía más erróneo intentar hacerlo con datos tan dispares como estos, en terminos de muestreo.