Tasca #7529
tancatLes recol·leccions OAI no estan al dia en tots els casos
Descripció
En les darreres setmanes ens hem adonat que no sempre tenim al dia els registres recol·lectats via OAI i visibles a través de https://ddd.uab.cat/idregistres.py.
Després d'unes quantes tentines, al final vaig veure que el problema estava en que jo hi tenia un límit de recollir un màxim 1000 registres nous o modificats al dia. Això ho vaig posar per diferents motius: un, per prudència, perquè no se'ns saturi el procés; també perquè quan vam començar a recol·lectar Egreta o Pubmed, hi havia una cua tan gran de registres pendents, que era una manera senzilla de garantir d'anar-ho fent mica a mica.
Però resulta que a hores d'ara, segurament per la intervenció del personal del Servei de Biblioteques a Egreta, s'estan generant més de 1000 registres nous o modificats al dia. Com que el màxim de 1000 registres recol·lectats afecta registres de qualsevol servidor OAI, i els processo alfabèticament, fa que els de més al final de la llista (com el TDX) també en surtin perjudicats i tinguem registres que no entren.
En aquesta tasca aniré documentant les possibles solucions fins que ens quedem amb la més pràctica.