Projecte

General

Perfil

Accions

Tasca #4614

tancat
CB FJ

Extracció automàtica de la base de dades de Scopus a partir de l'API

Tasca #4614: Extracció automàtica de la base de dades de Scopus a partir de l'API

Afegit per Carme Besson fa més de 8 anys. Actualitzat fa més de 4 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Suport a docència i recerca
Inici:
03-07-2017
Data de venciment:
25-02-2019
Paraula clau:
API Scopus DOI extracció registres

Descripció

El Vicenç ha sol.licitat la càrrega de registres a través del DOI apuntant a WoS i Scopus. Per PUBMED ja tenim una tasca


Fitxers

scopus.xml (37.4 KB) scopus.xml Cristina Azorin, 24-05-2018 12:52

Tasques relacionades 8 (0 obertes8 tancades)

relacionat amb DDD - Tasca #867: Càrrega dels articles de PubMed d'autors de la UABTancadaMarta Jordan18-06-201627-07-2017Accions
relacionat amb DDD - Tasca #4742: Com carreguem els articles de Pubmed?TancadaFerran Jorba07-11-201720-12-2017Accions
relacionat amb DDD - Tasca #4950: Refer internament la base de dades de cites de Scopus i WoSTancadaFerran Jorba15-03-201830-04-2018Accions
relacionat amb DDD - Tasca #4801: Carregar els articles en accés obert de PDI de la UAB de la Core Collection de la Web of ScienceTancadaNúria Casaldaliga18-12-2017Accions
relacionat amb DDD - Tasca #5057: Institut Català de Nanociència i Nanotecnologia (ICN2) - Càrrega de registres de Scopus a partir de DOIsTancadaMarta Jordan12-06-2018Accions
relacionat amb DDD - Tasca #5253: Extracció automàtica de la base de dades de Crossref a partir de l'APITancadaFerran Jorba17-01-201918-12-2020Accions
relacionat amb DDD - Tasca #5554: Afegir un camp de notes a les càrregues de Scopus a través del DOITancadaFerran Jorba10-01-202020-04-2020Accions
relacionat amb DDD - Tasca #6701: Permetre importar registres a partir del doi, handle o url quan no estiguin a Scopus (Dialnet?)TancadaFerran Jorba19-01-202230-12-2022Accions

CB Actualitzat per Carme Besson fa més de 8 anys Accions #1

A la reunió del CSUC del 28 de juny la Carme va preguntar a les universitats a veure si alguna feia extraccions a partir del DOI de les bases de dades WoS i Scopus. Les respostes van ser aquestes:
UPF i UPC: API de Scopus i WoS per carregar registres al CRIS (a través de la filiació UPF)
UVIC: Res
UdL: Ho fa al revés
UdG: Recuperen metadades a través del DOI només de Scopus, però l'api funciona correctament amb articles de revistes que són d'Elsevier i rarament d'altres editors. Per a més informació es pot consultar la pàgina de la FECYT i/o trucar a la Brigit, l'Oriol i la Clàudia de la UdG. És gratuït

CB Actualitzat per Carme Besson fa més de 8 anys Accions #2

Sembla ser que la Universitat de València també ho té via Crossref

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #3

  • Paraula clau ha canviat de API Scopus DOI extracció registres a API Scopus DOI extracció registres JR

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #4

  • Data de venciment s'ha establert a 25-10-2018
  • Assignat a ha canviat de Ferran Jorba a Cristina Azorin

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #5

  • Assignat a ha canviat de Cristina Azorin a Ferran Jorba

La petició inicial era poder omplir el formulari d'autoarxiu a través del DOI, però es replanteja l'objectiu de la tasca a la reunió de Gestió i Docència del 5 de març.

Caldria descarregar de manera automàtica els articles en accés obert de la base de dades de Scopus.

Sobretot comprovar els DOIs per a evitar carregar duplicats.

Es prioritza com a tasca important per al 2018 en Docència i Recerca

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #6

  • S'ha afegit relacionat amb Tasca #867: Càrrega dels articles de PubMed d'autors de la UAB

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #7

  • S'ha afegit relacionat amb Tasca #4742: Com carreguem els articles de Pubmed?

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #8

  • Tema ha canviat de Extracció de registres a partir del DOI de la base de dades de Scopus a partir de l'API a Extracció automàtica de la base de dades de Scopus a partir de l'API
  • Prioritat ha canviat de Normal a Alta

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #9

  • S'ha afegit relacionat amb Tasca #4950: Refer internament la base de dades de cites de Scopus i WoS

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #10

  • S'ha afegit relacionat amb Tasca #4801: Carregar els articles en accés obert de PDI de la UAB de la Core Collection de la Web of Science

CA Actualitzat per Cristina Azorin fa quasi 8 anys Accions #11

Exemple de cerca d'usuari dels documents de la UAB per afiliació (60023020) en accés obert:

https://www.scopus.com/results/results.uri?sort=plf-f&src=s&nlo=&nlr=&nls=&sid=371c4941b84824abbff20a3362b229b8&sot=a&sdt=cl&cluster=scoopenaccess%2c%221%22%2ct&sl=15&s=AF-ID%2860023020%29&origin=resultslist&zone=leftSideBar&editSaveSearch=&txGid=0a8be6308b6abe1cfc1f005d811ce35c

Avui la cerca dona com a resultat 3.466 documents.

Exemple de registre complert a partir d'un DOI via api:

http://api.elsevier.com/content/abstract/doi/10.1103/PhysRevE.63.057101

(retorna el registre en xml en una sintaxi pròpia, que adjuntem en un fitxer

API d'Elsevier en Python a Github:

https://github.com/ElsevierDev/elsapy

Més documentació sobre els camps via query:

https://dev.elsevier.com/tips/ScienceDirectSearchTips.htm

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #12

Més exemples via API. Per exemple, per obtenir la llista de dois a partir de la cerca per afiliació de la UAB (60023020). (Falta afegir-hi la restricció d'accés obert)

http://api.elsevier.com/content/search/index:SCOPUS?query=af-id(60023020)&field=doi

{u'search-results': {u'entry': [{u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-23802-8',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85044974711'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-24392-1',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85045525147'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-017-18842-5',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85040446489'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-20866-4',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85041643577'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-20473-3',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85041625833'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-20066-0',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85041052019'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-22735-6',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85044113056'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1186/s13613-018-0371-0',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85042166188'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1016/j.jspi.2018.01.004',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85040979655'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-19552-2',
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85040915847'},
                                {u'@_fa': u'true',
                                 u'prism:doi': u'10.1038/s41598-018-19604-7',
[...]
                                 u'prism:url': u'https://api.elsevier.com/content/abstract/scopus_id/85041201682'}],
                     u'link': [{u'@_fa': u'true',
                                u'@href': u'https://api.elsevier.com/content/search/scopus?start=0&count=25&query=af-id%2860023020%29&field=doi',
                                u'@ref': u'self',
                                u'@type': u'application/json'},
                               {u'@_fa': u'true',
                                u'@href': u'https://api.elsevier.com/content/search/scopus?start=0&count=25&query=af-id%2860023020%29&field=doi',
                                u'@ref': u'first',
                                u'@type': u'application/json'},
                               {u'@_fa': u'true',
                                u'@href': u'https://api.elsevier.com/content/search/scopus?start=25&count=25&query=af-id%2860023020%29&field=doi',
                                u'@ref': u'next',
                                u'@type': u'application/json'},
                               {u'@_fa': u'true',
                                u'@href': u'https://api.elsevier.com/content/search/scopus?start=4975&count=25&query=af-id%2860023020%29&field=doi',
                                u'@ref': u'last',
                                u'@type': u'application/json'}],
                     u'opensearch:Query': {u'@role': u'request',
                                           u'@searchTerms': u'af-id(60023020)',
                                           u'@startPage': u'0'},
                     u'opensearch:itemsPerPage': u'25',
                     u'opensearch:startIndex': u'0',
                     u'opensearch:totalResults': u'67548'}}

CA Actualitzat per Cristina Azorin fa quasi 8 anys Accions #13

T'escric en relació a la possibilitat de localitzar articles en accés obert a través de les API de la base de dades Scopus.

Pel que sembla, aquest cerca no és possible a nivell d'article:

Search Tips [https://dev.elsevier.com/tips/ScopusSearchTips.htm] > Scopus Search Guide > Field Restriction

Però sí sembla que es pot fer a través de la revista:

Serial Title API [https://dev.elsevier.com/documentation/SerialTitleAPI.wadl] > Resources > Request > Query params > oa

És una solució parcial però, com a mínim, es pot explorar.

Llorenç Arguimbau
Consultor en Informació Científica

No podem estar segurs que els DOI dels articles ens permetin aquesta limitació per revista així que aquesta solució no ens acaba de convèncer.

Es pot demanar al suport de Scopus si tenen previst fer-ho via API.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #14

  • S'ha afegit relacionat amb Tasca #5057: Institut Català de Nanociència i Nanotecnologia (ICN2) - Càrrega de registres de Scopus a partir de DOIs

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #15

  • Assignat a ha canviat de Ferran Jorba a Cristina Azorin

Cal consensuar amb la gent de suport a la docència i la recerca el mètode d'extracció de Scopus: via càrrega automàtica global, o bé identificant els dois com hem fet per l'INC2 (tasca #5057)

Un altre aspecte és que (creiem) que Scopus no té el pdf dels articles, sinó un html molt enriquit que no ens serveix per carregar-lo al DDD.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #16

  • Assignat a ha canviat de Cristina Azorin a Ferran Jorba

A la reunió de docència i recerca del dia 4 d'octubre, decidim que la solució establerta mitjançant el DOI es viable per a la càrrega de registres de Scopus.

Ferran, les biblioteques ja poden utilitzar la pàgina https://ddd.uab.cat/dois.py ?

Caldria tenir en compte que seria convenient afegir a tots els registres carregats de Pubmed una etiqueta

979 __ $a AUTPUBMED

Ho faràs tu o faig jo un canvi global? Pots detectar els que ja no estan a la carpeta revisar?

La Marta Jordan farà un document amb les instruccions, procediment i les etiquetes més importants a revisar.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #17

Cristina Azorin va escriure:

A la reunió de docència i recerca del dia 4 d'octubre, decidim que la solució establerta mitjançant el DOI es viable per a la càrrega de registres de Scopus.

Ferran, les biblioteques ja poden utilitzar la pàgina https://ddd.uab.cat/dois.py ?

Sí, ja poden. Però que tinguin en compte que s'ha utilitzat relativament poc i encara poden sortir sorpreses. Si alguna cosa no els hi quadra, que m'avisin. Els missatges d'error ja els rebré jo per correu.

Caldria tenir en compte que seria convenient afegir a tots els registres carregats de Pubmed una etiqueta

979 __ $a AUTPUBMED

Ho faràs tu o faig jo un canvi global? Pots detectar els que ja no estan a la carpeta revisar?

Acabo de fer que a partir d'ara hi surti.

Els anteriors diria que es poden detectar perquè a la 856 hi ha un pmc_. Ara mateix n'hi ha 359 de públics i 1.114 per revisar. Jo diria que és millor fer-ho per programa, perquè són molts. Potser li ho podríem encarregar al Javier?

La Marta Jordan farà un document amb les instruccions, procediment i les etiquetes més importants a revisar.

Perfecte.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #18

  • Data de venciment ha canviat de 25-10-2018 a 14-11-2018
  • Estat ha canviat de En curs a Tancada
  • Prioritat ha canviat de Alta a Normal

Tanquem la tasca perquè ja s'implementa l'entrada via DOI

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #19

Els registres entrats al DDD via DOI de SCOPUS portaran una etiqueta identificativa:

979 __ $a AUTSCOPUS

En alguns casos podem incloure el correu de la persona que fa el diposit a efectes d'autorització, per exemple:

979 __ $9 $a AUTSCOPUS

FJ Actualitzat per Ferran Jorba fa aproximadament 7 anys Accions #20

  • S'ha afegit relacionat amb Tasca #5253: Extracció automàtica de la base de dades de Crossref a partir de l'API

CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #21

  • Paraula clau ha canviat de API Scopus DOI extracció registres JR a API Scopus DOI extracció registres

FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #22

Com que he vist que els registres de Scopus també informen l'Orcid dels autors (quan el tenen), des d'avui mateix el conversor el recull i queda desat al $0, com sempre.

MJ Actualitzat per Marta Jordan fa quasi 7 anys Accions #23

  • Estat ha canviat de Tancada a En curs

Proposta des de la BCT: afegir al formulari https://ddd.uab.cat/dois.py un apartat on poder afegir la mateixa nota 500 a tots els registres de la càrrega de dois que es faci

CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #24

  • Estat ha canviat de En curs a Tancada

CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #25

  • Data de venciment ha canviat de 14-11-2018 a 25-02-2019
  • Estat ha canviat de Tancada a En curs
  • Prioritat ha canviat de Normal a Alta
  • Paraula clau ha canviat de API Scopus DOI extracció registres a API Scopus DOI extracció registres NCR

CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #26

  • S'ha afegit relacionat amb Tasca #5554: Afegir un camp de notes a les càrregues de Scopus a través del DOI

CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #27

  • Estat ha canviat de En curs a Tancada
  • Prioritat ha canviat de Alta a Normal
  • Paraula clau ha canviat de API Scopus DOI extracció registres NCR a API Scopus DOI extracció registres

FJ Actualitzat per Ferran Jorba fa més de 4 anys Accions #28

Des d'avui mateix, la comprovació de si el doi ja el tenim al DDD es fa en el formulari, perquè si no n'entraven de repetits, perquè Invenio només comprova si està duplicat el 035 o la 001, i el doi està a la 024.

FJ Actualitzat per Ferran Jorba fa aproximadament 4 anys Accions #29

  • S'ha afegit relacionat amb Tasca #6701: Permetre importar registres a partir del doi, handle o url quan no estiguin a Scopus (Dialnet?)
Accions

També disponible a: PDF Atom