Projecte

General

Perfil

Accions

Tasca #7439

tancat
CA FJ

Idregistres no agafa les versions més noves que es publiquen per OAI

Tasca #7439: Idregistres no agafa les versions més noves que es publiquen per OAI

Afegit per Cristina Azorin fa més de 3 anys. Actualitzat fa aproximadament 3 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Suport a docència i recerca
Temàtica prevista:
Inici:
21-10-2022
Data de venciment:
30-12-2022
Paraula clau:

Descripció

Aquesta manca d'actualització té com a conseqüència que s'estiguin pujant fitxers a registres ja existents a EGRETA i que no arriben al DDD perquè no s'actualitza la recol·lecció de l'OAI publications:withFiles.


Tasques relacionades 2 (0 obertes2 tancades)

relacionat amb Accions de millora - Millora #7228: 2022/142 Revisar els articles d'EGRETA que no tenen la URL del DDDTancadaCarme Besson27-05-202227-02-2023Accions
relacionat amb DDD - Tasca #7529: Les recol·leccions OAI no estan al dia en tots els casosTancadaFerran Jorba11-11-2022Accions

CA Actualitzat per Cristina Azorin fa més de 3 anys Accions #1

Exemples d'articles que tenen pujat el pdf a EGRETA, però no arriba al DDD:

Ja hem comprovat que a dins d'EGRETA el fitxer té la característica de 'restringido' per a que pugui sortir al DDD.

CA Actualitzat per Cristina Azorin fa més de 3 anys Accions #2

  • S'ha afegit relacionat amb Millora #7228: 2022/142 Revisar els articles d'EGRETA que no tenen la URL del DDD

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #3

  • Estat ha canviat de Creada a En curs

De moment em sembla que el problema el té el servidor OAI de Pure. Per algun motiu misteriós, el oaiset que ens interessa a nosaltres, publications:withFiles, (ara) no es comporta com els demés, i no retorna la llista dels registres o els identificadors com els altres.

Per exemple, podem demanar els identificadors de tots els registres en general, sense oaiset, del oaiset publications, del oaiset publications:2020, però quan ho fem del oaiset publications:withFiles, diu que la combinació no té cap registre:

Jo juraria que abans havia funcionat, perquè en això em basava. A part d'avisar a Recerca, crec que hauré de mirar una alternativa, com demanar el publications:all, que hi són tots, i d'aquests veure quins també pertanyen al oaiset publications:withFiles. M'ho estudio.

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #4

Ho he consultat amb en Marc Creus i m'ha dit que li consta una actualització del software Pure fa un parell de setmanes a la versió 5.24; s'havien llegit les notes de versió o no hi van veure res. Tampoc creu que tinguin accés a com es defineixen els oaisets, i en concret aquest publications:withFiles.

També és cert que nosaltres tampoc no sabem des de quan té aquest comportament; potser fa mesos i no n'érem conscients, perquè donàvem per fet que tot anava bé.

Per tant: d'una banda em sembla molt que per part nostra haurem de treballar-nos una alternativa per tenir una solució en pocs dies (crec que és possible). I ja pactarem amb ells per obrir una incidència a Pure.

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #5

He recollit tota la informació actualitzada dels identificadors de l'oaiset publications:all via ListIdentifiers i l'he desada temporalment en un fitxer. Com que la llista de tots els oaisets als què pertany un registre ja queda recollida, de moment estic forçant a l'actualització dels 657 registres que he vist que formen part de publications:withFiles.

L'operació és relativament lenta, i hauré de deixar que acabi en les properes hores. Si tot va bé, demà hauria d'haver actualitzat la llista als 657 i, si va tot bé, importar-los amb els seus fitxers a la col·lecció revisar. Avui encara només en consten 543, o sigui que n'haurien d'entrar 114. Ho podrem comprovar amb aquesta cerca:

https://ddd.uab.cat/idregistres.py/search?q=publications:withFiles

Més endavant miraré d'automatitzar aquest procediment perquè s'actualitzi diàriament sense haver de tornar a importar els que ja tenim actualitzats.

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #6

Doncs avui ja en tenim 678, o sigui que n'han entrat 135, no està gens malament!

https://ddd.uab.cat/idregistres.py/search?q=publications:withFiles

També es poden veure, d'una altra manera, a https://ddd.uab.cat/qualitat/oaiharvest_a2022.html, tot i que en aquest llistat fins demà no quedaran lligats amb els nostres registres.

Com que ho he fet d'una manera desordenada, no s'han baixat els pdf al DDD ni s'han generat les miniatures. Miraré de resoldre-ho aquest matí mateix.

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #7

Ja s'han copiat els 104 pdf dels registres importats i ara s'estan acabant de generar les miniatures.

https://ddd.uab.cat/search?cc=revisar

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #8

Ja ho he preparat perquè aquesta operació es faci automàticament a partir de demà.

No tanco la tasca perquè per fer això he hagut de deshabilitar temporalment la detecció de registres esborrats a Egreta, perquè he de fer una petició oai idèntica (llistar tots els identificadors d'Egreta de l'oaiset publications:all), que triga molta estona. Del que es tracta doncs és que les dues operacions aprofitin el resultat d'aquesta petició oai, perquè és absurd fer-ho dues vegades, i a més se'ns menjaria una hora més de tasques nocturnes, que ja anem prou justos. No costa gaire, però encara no ho he fet pels registres esborrats.

CA Actualitzat per Cristina Azorin fa més de 3 anys Accions #9

  • Prioritat ha canviat de Normal a Urgent

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #10

  • Estat ha canviat de En curs a Tancada

Avui ja he pogut actualitzar la llista de status de deleted (o l'equivalent a canvi d'identificador) d'Egreta a partir del mateix llistat. Com que ho he fet de dia, mentre provava que funcionés bé, fins demà no s'actualitaran els llistats cap a Egreta ni s'esborraran les 035 amb els identificadors ja esborrats d'Egreta.

Però sí que puc tancar la tasca.

CA Actualitzat per Cristina Azorin fa més de 3 anys Accions #11

  • Paraula clau s'ha establert a NCR

FJ Actualitzat per Ferran Jorba fa més de 3 anys Accions #12

  • S'ha afegit relacionat amb Tasca #7529: Les recol·leccions OAI no estan al dia en tots els casos

CA Actualitzat per Cristina Azorin fa aproximadament 3 anys Accions #13

  • Prioritat ha canviat de Urgent a Normal

CA Actualitzat per Cristina Azorin fa aproximadament 3 anys Accions #14

  • Paraula clau s'ha suprimit (NCR)
Accions

També disponible a: PDF Atom