DDD

No crec que el problema estigui en Recercat, perquè el programa https://ddd.uab.cat/idregistres.py que, de fet, actua també com un client oai, no en dóna cap, de problema. Continuo investigant perquè el del DDD s'encalla...

Segons el DDD, el servidor OAI de Recercat no respon bé al resumptionToken, que ve a ser l'equivalent dels cookies per les sessions OAI. M'estic trobant missatges d'aquest tipus:

<?xml version="1.0" encoding="utf-8"?>
<OAI-PMH xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/ http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd">
  <responseDate>2017-09-12T15:40:52Z</responseDate>
  <request verb="ListRecords" resumptionToken="http://oai.recercat.cat/request">http://oai.recercat.cat/request</request>
  <error code="badResumptionToken">The value of the resumptionToken argument is invalid or expired</error>
</OAI-PMH>

A més a més, això havia causat un munt de fitxers temporals que havia col·lapsat el directori de treball d'Invenio i ha fet francament difícil la neteja. És per això que no ha estat fàcil saber què estava passant.

Com que pel idregistres.py no faig servir resumptionToken (quan em trobo la petició, acoto per dates més fines, perquè OJS no sempre el gestiona bé, segons el Marc Bria del Servei de Publicacions), ara mateix no puc confirmar que sigui efectivament un error de Recercat o d'Invenio. Continuo.

Estic fent diferents proves amb el client OAI https://metacpan.org/release/HTTP-OAI (empaquetat a Debian com a http://packages.debian.org/libhttp-oai-perl) i sembla ser que Recercat sí que respon bé als resumptionToken. Però encara no ho he rastrejat prou com per confirmar-ho.

Doncs sí, que sembla que sigui error de l'OAI de Recercat. Llevat de les peticions més simples, com la primera, en totes les altres dóna error:

• http://oai.recercat.cat/request?verb=Identify
• http://oai.recercat.cat/request?set=hdl_2072_10315&verb=ListRecords&from=2017-07-14&metadataPrefix=oai_dc
• http://oai.recercat.cat/request?verb=ListRecords&from=2017-07-14&metadataPrefix=oai_dc
• http://oai.recercat.cat/request?verb=ListRecords&metadataPrefix=oai_dc
• http://oai.recercat.cat/request?set=hdl_2072_1743&verb=ListIdentifiers&from=2017-07-14&metadataPrefix=oai_dc

Ara miro de posar-me en contacte amb ells.

Bé, sembla que el servidor OAI de Recercat ja no dóna error. Com que avui el DDD està col·lapsat, és mal moment per actualitzar les càrregues, però ho deixaré perquè s'actualitzi automàticament demà.

Doncs no, el procediment automàtic d'Invenio pel DDD continua encallat per l'OAI de Recercat, malgrat sembla que Recercat ara funciona correctament. Continuarem investigant...

Intento recuperar el tema, però és tan estrany... De moment dóna els mateixos missatges des que va començar aquesta història.

Pensava haver trobat la solució a en una millora de la versió 1.1.7, que corregeix específicament la gestió dels resumptionToken de la recol·lecció OAI. En OAI, el resumtionToken és com els cookies de la web, serveixen per recordar la sessió i permetre servir els registres bibliogràfics en conjunts petits si la petició és molt gran:

https://github.com/inveniosoftware/invenio/commit/36a1921207337a70749af189c9d7b60bc554b33d

però no, no ha causat cap efecte. Però, en tot cas, ha de venir d'aquí. Deu ser que a partir de certa versió DSpace genera un resumptionToken en un format que Invenio no reconeix.

Acabo de desencallar el tema esquivant el problema. A veure, la conclusió que he arribat, sense entendre ben bé els detalls, és que algun canvi a Recercat, potser per alguna actualtizació del software DSpace, fa que el nostre Invenio no s'entengui bé amb el resumptionToken que li envia Recercat.

Torno a fer el recordatori de què és el resumptionToken: és una mena de cookie, una senyal que dóna un servidor OAI a una petició del client OAI quan el número de registres és molt gran. En veureu un exemple al final d'aquesta pàgina:

http://oai.recercat.cat/request?verb=ListRecords&metadataPrefix=oai_dc

El que ha de fer el client OAI, DDD en el nostre cas, és demanar-li al servidor OAI que li doni els registres que venen a continuació d'aquesta petició, la petició identificada amb el resumptionToken que el servidor se suposa que se n'enrecorda.

Doncs bé, abans s'entenien i ara no s'entenen. No m'atreveixo a dir qui és el que ho fa malament, sospito que el DDD, però no no sé encara. Sigui com sigui, he adoptat aquestes estratègies:

• A través de https://ddd.uab.cat/idregistres.py, he marcat amb + i, per tant, importat els registres que teníem pendents de Recercat.
• Actualitzar el registre de la base de dades del DDD per dir que la darrera consulta OAI a Recercat era el 1 d'octubre, en comptes del 27 de juliol. Amb això minimitzo la possibilitat que hagin d'haver-hi resumptionTokens amunt i avall.
• Configurar, via https://ddd.uab.cat/admin/oaiharvest/oaiharvestadmin.py/editsource?ln=ca&oai_src_id=12, que la recol·lecció de Recercat sigui diària. Amb això continuo minimitzant la possibilitat que hagin d'haver-hi resumptionTokens amunt i avall.

Un cop fet això, he forçat una recol·lecció OAI de Recercat (des del dia 1 d'octubre, de gloriosa memòria), i sí, ha funcionat! Ha recol·lectat un parell de registres (que també tenia a la llista via idregistres), i, en qualsevol cas, de moment hem sortejat el problema.