Tasca #4950
tancatRefer internament la base de dades de cites de Scopus i WoS
Descripció
En el seu moment vam implementar la visualització de les citacions a Scopus i Wos (tasques #3217 i #3218) i Altmetric (#2536). Perquè la visualització (#3288) no castigués la rapidesa de la visualització dels registres al DDD via connexió a les bases de dades remotes, ho vaig implementar guardant en un fitxer intern els identificadors remots i els comptadors de citacions. Aquesta comprovació sempre s'havia fet només si el registre nostre té DOI.
Com que inicialment el número de DOIs era petit, vaig implementar una lògica de dates d'expiració i consulta online amb un caché intern que, a la llarga, s'ha demostrat massa complicat d'entendre per mi mateix i que, a més, fa que segons com consumim la quota de 20.000 consultes setmanals a la base de dades de Scopus.
Cal refer la base de dades interna perquè sigui més fàcil d'entendre i sabent que tenim quota disponible pels nous serveis que tenim pendents d'obrir en el futur (#4614).
Tasques relacionades 6 (0 obertes — 6 tancades)
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #3217: Lligar els APIs de Scopus amb el DDD
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #3218: Lligar els APIs de WOS amb el DDD
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #2536: Afegir les mètriques d'Almetric
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #4614: Extracció automàtica de la base de dades de Scopus a partir de l'API
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- Estat ha canviat de Creada a En curs
La primera part ja està implementada. En comptes d'un fitxer tabulat, ara internament hi ha una base de dades SQLite amb els dois i les seves relacions (nom de la base de dades, identificador remot, número de citacions, i data de comprovació) amb les bases de dades remotes.
La lògica que segueix ara és: cada dia ordena els dois per data de comprovació, de més antiga a més recent, i comprova els 1000 dois que fa més temps que s'han comprovat. El resultat el desa la base de dades amb la data actualitzada. Per tant, si ara mateix hi tenim 16.643 dois, en poc més de 16 dies estan tots comprovats. I, per tant, hauríem de fer només 7.000 accessos a Scopus (i WoS) setmanals, que ens deixa marge per la tasca #4614.
De tota manera, fins que no hagin transcorregut els 16 dies, la visualització pública d'aquells registres amb doi que ni estiguin actualitzats a la base de dades internes, continuaran fent consultes online a Scopus i WoS, i de moment ho deixaran disponibles en un caché vàlid només durant el dia. Prefereixo no tocar aquesta lògica fins que no hagi tancat aquest cicle complet.
Tangencialment, i malgrat que de manera pública hi hagi el programa de comprovació de urls (#2636), també estic desant el codi http que em dóna l'accés al doi via https://doi.org (però vull mirar-me la pàgina http://www.doi.org/factsheets/DOIProxy.html, per si cal fer-ho d'una altra manera).
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #4955: Identificar els DOIs erronis i el seu origen
FJ Actualitzat per Ferran Jorba fa aproximadament 7 anys
- S'ha afegit relacionat amb Tasca #5250: Afegir les citacions de google scholar
FJ Actualitzat per Ferran Jorba fa aproximadament 7 anys
- Estat ha canviat de En curs a Tancada
Ja està fet. Com acostuma a passar quan hi ha coses que van començar amb un objectiu i al final se n'han afegit d'altres, internament hi havia coses que grinyolaven.
En aquest cas, el que havia de ser comptar les citacions a partir dels dois, se li havia afegit la comprovació que els dois fossin vàlids. Perquè és cert que tots dos es basen com a informació primària amb els dois, però el tipus de comprovació que han de fer és diferent, o s'han de comprovar a llocs difernts.
Finalment he separat en dues taules, una amb els status codes dels dois (tasca #4955, entre d'altres) amb les citations (tasca #2536, entre d'altres).
La freqüència de les comprovacions també l'he canviada. Ho explico a cada tasca, i així tanco aquesta.