DDD

Assumpte: Re: Desenvolupament a DSpace Cites WoS i Scopus
Data: Thu, 9 Oct 2014 17:36:20 +0200
De: Martí Domenech <mdomenech@greendata.es>
A: Berta López <blopez@greendata.com>
CC: Rosa Gil <rosa.gil@uab.cat>, Martí Domenech <mdomenech@greendata.com>,
Jordi Vendrell <jvendrell@greendata.com>, Anna Florensa Farré
<Anna.Florensa.Farre@uab.cat>, Núria Casaldàliga <Nuria.Casaldaliga@uab.cat>,
Cristina Azorin <Cristina.Azorin@uab.cat>

Bona tarda Cristina,

Em poso en contacte amb tu per comentar els requeriments necessaris per tal de
dur a terme la implementació.

En primer lloc, amb l'objectiu de poder establir la comunicació amb els serveis
externs que intervenen en el procés (Scopus i WOS):

- Per una banda i amb la finalitat de poder accedir al servei TimesCited de
Scopus, és necessari que disposeu de la clau obtinguda de registrar el lloc web
des d'on es realitzarà la implementació de forma gratuïta a Elsevier Developers.

- Per altra banda i amb la finalitat de poder accedir a la API de Web Of
Science, és necessari que disposeu dels permisos IP otorgats per FECYT, que és
l'entitat encarregada de gestionar el servei.

Alhora, serà necessari tenir al servidor els permisos per a poder executar
fitxers CGI. Per tal de realitzar les proves, també necessitaríem tenir accés a
alguna carpeta del servidor on dipositar els fitxers amb els scripts corresponents.

Finalment, mencionar que el servei només s'aplicaria i es faria visible a tots
aquells registres que tinguessin catalogat un camp amb el valor del DOI, doncs
és l'identificador que utilitzem per contactar amb els dos serveis.

Si teniu qualsevol dubte, siusplau no dubteu en consultar-nos-el.

Salutacions cordials,

El dia 9 octubre de 2014 13:56, Berta López <blopez@greendata.com
<mailto:blopez@greendata.com>> ha escrit:

Hola Rosa

Poso en còpia el meu company Martí que contactarà directament amb la
Cristina per a explicar-li el que necessitem per a poder fer el desenvolupament.

Un cop hagin parlat i donat un cop d'ull als requeriments us podré fer
arribar un pressupost.

Records i gràcies pel vostre interès!

Berta López
Directora de Negocios
93 265 34 24 Ext. 2151

• blopez@greendata.com <mailto:blopez@greendata.com>

2014-10-09 13:29 GMT+02:00 Rosa Gil Sánchez <rosa.gil@uab.cat
<mailto:rosa.gil@uab.cat>>:

Berta,

El desenvolupament ens agrada forca! Quin pressupost aproximat tindria?
Quines especificacions tècniques necessiteu per a poder-ho fer? Quins
terminis?

Poso en còpia a la Cristina Azorín, que és la persona que porta el
nostre repositori DDD <http://ddd.uab.cat/?ln=ca> i que serà qui et
podrà facilitar les dades que necesiteu per a fer-nos una proposta.

Cordialment,

Rosa Gil

Abans d'imprimir aquest correu, pensa si és realment necessari fer-ho.
El Medi Ambient és cosa de tots!

Rosa Gil
Universitat Autònoma de Barcelona
Servei de Biblioteques
Gestora d'Obtenció de Documents
Edifici N, Planta 1
08193 BELLATERRA
SPAIN

Telf.+34 93 581 11 15 <tel:%2B34%2093%20581%2011%2015>
+34 93 581 40 06 <tel:%2B34%2093%20581%2040%2006>
Fax+34 93 581 32 19 <tel:%2B34%2093%20581%2032%2019>
e-mailsubscripcions.utp@uab.es <mailto:subscripcions.utp@uab.es>

El 08/10/2014 15:03, Berta López ha escrit:

Hola Anna

Era un correu general...
Ara que si voleu alguna cosa semblant per Invenio ho podem estudiar

Salut

Berta López
Directora de Negocios
93 265 34 24 Ext. 2151

• blopez@greendata.com <mailto:blopez@greendata.com>

2014-10-08 14:35 GMT+02:00 Anna Florensa Farré
<Anna.Florensa.Farre@uab.cat <mailto:Anna.Florensa.Farre@uab.cat>>:

Berta,

Gràcies per la informació!! Us heu posat de ple amb
desenvolupaments propis!! Però el nostre repositari és amb
Invenio, no amb DSpace.

Merci de totes maneres.
anna
Anna Florensa Farré
/Biblioteca Digital/
Universitat Autònoma de Barcelona
Servei de Biblioteques - Unitat Tècnica i de Projectes
Tlf: 93 581 40 06 <tel:93%20581%2040%2006>
www.uab.cat/biblioteques/ <http://www.uab.cat/biblioteques/>
twitter <http://twitter.com/bdigitalUAB>

Cuidem el Medi Ambient: imprimeix el correu-e només si és necessari.
SAVE TREES: If possible, please do NOT print this email

El 08/10/2014 14:01, Berta López ha escrit:

Bona tarda,

Us escric per a compatir amb vosaltres una informació que crec
que us pot interessar.

El cas és que hem fet un desenvolupament a DSpace per a la
Universitat Autònoma de Madrid, es tracta d'un script que permet
mostrar les cites de Scoups i WoS als articles del repositori, la
informació s'actualitza a temps real a través de la seva API.

Et deixo un enllaç amb un exemple:
https://repositorio.uam.es/handle/10486/131307

Si us interessa i voleu ampliar informació no dubteu en contactar
amb mi.

Records

Berta López
Directora de Negocios
93 265 34 24 Ext. 2151

• blopez@greendata.com <mailto:blopez@greendata.com>

Un exemple per fer la crida des de curl, on la capçalera de resposta ja ens diu que no estem autoritzats (executat des d'Homs, el servidor del DDD):

$ curl -i -H "X-ELS-ApiKey=37325c0c784439b6f89d20b156f125b" -H "username:s0422.fecyt.es" -H "password:u@3lam4" "http://api.elsevier.com/content/affiliation/AFFILIATION_ID:60025778" 
Server: api.elsevier.com  9999
X-ELS-Status: WARNING(Unauthorized request results in minimized metadata response)
X-ELS-ReqId: 0000014a02e9bc0b-17d7363
X-ELS-TransId: 9c6022f2-5873-400d-ab0c-91d64ce51614
Allow: GET
Content-Type: text/xml;charset=UTF-8
Content-Length: 722
Date: Fri, 05 Dec 2014 10:56:23 GMT
X-RE-Ref: 1 -312432248
P3P: CP="IDC DSP LAW ADM DEV TAI PSA PSD IVA IVD CON HIS TEL OUR DEL SAM OTR IND OTC" 

<affiliation-retrieval-response
 xmlns:ait="http://www.elsevier.com/xml/ani/ait" 
 xmlns:ce="http://www.elsevier.com/xml/ani/common" 
 xmlns:cto="http://www.elsevier.com/xml/cto/dtd" 
 xmlns:dc="http://purl.org/dc/elements/1.1/" 
 xmlns:prism="http://prismstandard.org/namespaces/basic/2.0/" 
 xmlns:xocs="http://www.elsevier.com/xml/xocs/dtd" 
 xmlns:xoe="http://www.elsevier.com/xml/xoe/dtd">
 <coredata>
  <dc:identifier>AFFILIATION_ID:60025778</dc:identifier>
  <eid>10-s2.0-60025778</eid>
  <prism:url>http://api.elsevier.com/content/affiliation/affiliation_id:60025778</prism:url>
  <link href="http://www.scopus.com/affil/profile.url?afid=60025778&amp;partnerID=HzOxMe3b" rel="scopus-affiliation"/>
 </coredata>
</affiliation-retrieval-response>

Un altre exemple:

$ curl -i -H X-ELS-APIKey=37325c0c784439b6f89d20b156f125b http://api.elsevier.com/content/search/index:SCOPUS?query=doi%2810.4161/auto.19496%29&field=citedby-count
HTTP/1.1 401 Unauthorized
Server: api.elsevier.com  9999
X-ELS-Status: AUTHORIZATION_ERROR(No APIKey provided for request)
X-ELS-ReqId: 00000149f1773def-27fcbaf
X-ELS-TransId: 1f32caf6-e8ad-4e67-90be-ad8878df89b5
Allow: GET
Content-Type: application/json;charset=UTF-8
Content-Length: 111
Date: Fri, 05 Dec 2014 11:10:38 GMT
X-RE-Ref: 1 543891465
P3P: CP="IDC DSP LAW ADM DEV TAI PSA PSD IVA IVD CON HIS TEL OUR DEL SAM OTR IND OTC" 

{"service-error":{"status":{"statusCode":"AUTHORIZATION_ERROR","statusText":"No APIKey provided for request"}}}

Nosaltres ja em fet la primera part del que explica en aquest document.

http://www.scopus.fecyt.es/Noticias/Pages/Formaci%C3%B3n-para-la-Programaci%C3%B3n-de-las-Aplicaciones-de-la-interfaz-%28API%29.aspx

He registrat el DDD a l'Elsevier Developers i m'ha donat aquesta clau:
API key per al DDD: 373257c0c784439b6f89d20b156f125b
Diria que és això el que necessitàvem per a Scopus.

Ferran,

he revisat la tasca i jo diria que d'Scopus ja tenim totes les dades per implementar els APIs al DDD.
Sembla que en aquest cas només es necessitava l'API key per al DDD: 373257c0c784439b6f89d20b156f125b

Anna Florensa va escriure:

he revisat la tasca i jo diria que d'Scopus ja tenim totes les dades per implementar els APIs al DDD.
Sembla que en aquest cas només es necessitava l'API key per al DDD: 373257c0c784439b6f89d20b156f125b

Doncs sembla be bé que aquesta clau, que és la que ja vaig provar fa un mes (nota 3), continua sense ser vàlida, tant des del DDD de producció com des del de proves:

ddd@homs:~$ curl -i -H X-ELS-APIKey=373257c0c784439b6f89d20b156f125b "http://api.elsevier.com/content/search/index:SCOPUS?query=doi%2810.4161/auto.19496%29&field=citedby-count" 
HTTP/1.1 401 Unauthorized
Server: api.elsevier.com  9999
X-ELS-Status: AUTHORIZATION_ERROR(No APIKey provided for request)
X-ELS-ReqId: 0000014b22fb0dc3-1e33f0
X-ELS-TransId: 8f974ffe-8ab4-4fe9-8f25-0cfbe53ca6a2
Allow: GET
Content-Type: application/json;charset=UTF-8
Content-Length: 111
Date: Mon, 26 Jan 2015 10:18:50 GMT
X-RE-Ref: 1 1995920244
P3P: CP="IDC DSP LAW ADM DEV TAI PSA PSD IVA IVD CON HIS TEL OUR DEL SAM OTR IND OTC" 

{"service-error":{"status":{"statusCode":"AUTHORIZATION_ERROR","statusText":"No APIKey provided for request"}}}

Em miro amb més de detall la documentació...

De moment, amb Python ja tinc una resposta diferent, i al menys em reconeix l'API-Key, cosa que amb el curl (en principi totalment de fiar), no funcionava:

{"service-error":
 {"status":
  {"statusCode":"INVALID_INPUT",
  "statusText":"Query Parameter can not be empty" 
  }
 }
}

Ferran,
no se si has vist aquestes pàgines... per si de cas les deixo aquí...

http://searchapidocs.scopus.com/scapi_faq_vers_1.htm
http://dev.elsevier.com/

Ja ho tinc! M'estava equivocant amb una cosa tant tonta com fer un POST en comptes d'un GET. Per exemple, pel DOI d'aquest registre: http://ddd.uab.cat/record/112191 (10.1186/1742-6405-8-22):

{'search-results': {'entry': [{'@_fa': 'true',
                                 'citedby-count': '20',
                                 'prism:url': 'http://api.elsevier.com/content/abstract/scopus_id:79960700028'}],
                     'link': [{'@_fa': 'true',
                                '@href': 'http://api.elsevier.com:80/content/search/index:scopus?start=0&count=25&query=doi%2810.1186%2F1742-6405-8-22%29&field=citedby-count',
                                '@ref': 'self',
                                '@type': 'application/json'},
                               {'@_fa': 'true',
                                '@href': 'http://api.elsevier.com:80/content/search/index:scopus?start=0&count=25&query=doi%2810.1186%2F1742-6405-8-22%29&field=citedby-count',
                                '@ref': 'first',
                                '@type': 'application/json'}],
                     'opensearch:Query': {'@role': 'request',
                                           '@searchTerms': 'doi%2810.1186%2F1742-6405-8-22%29',
                                           '@startPage': '0'},
                     'opensearch:itemsPerPage': '1',
                     'opensearch:startIndex': '0',
                     'opensearch:totalResults': '1'}}

És a dir, que s'ha citat 20 cops. No ho puc comprovar des de casa, però entenc que és això, no?

No ho sé pas. Segurament a través de Rosa Gil es pugui saber.

Ferran,

Diria que el partnerID hauria de ser el nostre núm. d'Account number: C000053449. Si aquest no et funciona, m'ho dius i ho demanarem a Elseveir perquè no en tenim cap altre. Bé, ja ens acostem...

Ja estic recollint la informació sense problemes, gràcies a tothom. Us explico com ho veig jo i quins dubtes em venen. Les numero perquè sigui més fàcil respondre-les.

Per raons de rendiment, crec que val la pena guardar en una base de dades local aquesta informació, perquè si no enlentiria considerablement la consulta al DDD si per cada registre que té DOI ha d'anar a Scopus a mirar si existeix i el número de cites. Ara bé, com que aquestes dades difícilment canvien cada dia, podem donar-la per bona durant uns quants dies, i només renovar-la quan hagi passat un temps.

El nostre DOI de vegades està a Scopus i de vegades no. Quan està a Scopus, de vegades té cites i de vegades no. Quan està a Scopus i té cites, és evident que les hem de posar.

1. Quants dies creieu que és vàlida la informació de l'existència del DOI a can Scopus i el número de cites? Ho he posat com a paràmetre, de manera que ho podem canviar sempre que vulguem, però jo m'havia plantejat que fossin 7 (una setmana). Quina és la vostra opinió?
2. Quan el DOI no hi és a Scopus, què cal fer? Que no apareixi res de res?
3. Si està a Scopus i no té cap cita, també hem de mostrar-ho? És a dir, dir que en té zero a Scopus?
4. Aquesta informació s'ha de veure en el registre complet, no? On? Al costat del camp del DOI? Estem obligats a posar-hi un enllaç normalitzat (http://dev.elsevier.com/tecdoc_cited_by_in_scopus.html), però, l'adornem amb alguna icona, perquè es visualitzi que és un servei extern?
5. S'ha de veure també en el registre breu? Com?

En una primera implementació de proves (l'aspecte a consensuar), ja es poden veure resultats:

• http://ddd-test.uab.cat:2000/record/113423 [Registre amb 14 cites]
• http://ddd-test.uab.cat:2000/record/115159 [Registre amb 297 cites]
• http://ddd-test.uab.cat:2000/record/125679 [Registre amb 6 cites]
• http://ddd-test.uab.cat:2000/record/123405 [Registre que existeix a Scopus però sense cap cita]
• http://ddd-test.uab.cat:2000/record/13886 [Registre que no existeix a Scopus]

Ferran, anem contestant. De moment és una proposta i t'avisem quan tot el grup de Docència i Recerca en doni el vistiplau.

Quants dies creieu que és vàlida la informació de l'existència del DOI a can Scopus i el número de cites? Ho he posat com a paràmetre, de manera que ho podem canviar sempre que vulguem, però jo m'havia plantejat que fossin 7 (una setmana). Quina és la vostra opinió?

Ens sembla perfecte que s'actualitzin cada setmana. Aquest tema és per a rendiment de la màquina i per això és lleugerament diferent de com funciona a la Universitat madrilenya que fa la cerca al moment.

Quan el DOI no està a Scopus, què cal fer? Que no aparegui res de res?

Si no hi és, no hem de posar res, com tampoc posarem res als registres que no tenen DOI.

Si està a Scopus i no té cap cita, també hem de mostrar-ho? És a dir, dir que en té zero a Scopus?

Creiem que sí que hauria d'aparèixer que no té cap cita, això també és una informació afegida.

Aquesta informació s'ha de veure en el registre complet, no? On? Al costat del camp del DOI? Estem obligats a posar-hi un enllaç normalitzat (http://dev.elsevier.com/tecdoc_cited_by_in_scopus.html), però, l'adornem amb alguna icona, perquè es visualitzi que és un servei extern?

A sota del camp DOI com has fet als exemples estaria bé. Potser quan tinguem incorporades altres fonts per mètriques alternatives podríem fer un apartat per 'impacte' o algo així, però ja en parlarem. Ho haurem de deixar com tu ho has posat però traient en nom de Scopus o WOS al final d ela frase, perquè no podem posar cap icona. Cap dels dos serveis té una icona prou identificativa, surten més aviat els logos de les empreses.

La cosa hauria de quedar:

Scopus: 22 cites
Web of Science: 55 cites

On diu 22 cites o 55 cites hi hauria els enllaços cap al registre a Scopus o WOS.

S'ha de veure també en el registre breu? Com?

No cal

Tomas Fabregat va escriure a la tasca #3218 [però referida a Scopus, i per tant millor contestar-la aquí]:

ets conscient que en els registre d'exemple el link de xxx citations at scopus, no ens permet anar a la font (veure imatge adjunta)?

no, no ho puc veure, perquè sóc a casa, sense adreça IP UAB. De tota manera, com que segueixo l'exemple de la pàgina, sospito del partnerID. Algú em podria confirmar què hi he de posar?

Gràcies.

Hola Ferran,

Tant bon punt acabis amb la fase de configuració, segons indicacions de la Cristina, avisa'm si et plau per tal que pugui portar la proposta a tot l'equip de treball de Suport a la Docència i la Recerca.

Gràcies,

Carme

Ferran,

He demanat el partnerID a Elsevier, així que em responguin us ho envio.

Gràcies Tomàs, de moment entre WOS i Scopus ja tenim prou feina. Per les altres mètriques ja hi ha una tasca oberta: #2536 que està prevista tractar al 2015.

He estat mirant el tema de les cites a PubMed per si podíem aprofitar per afegir-les, però les cerques les fa sobre l'identificador de PubMed (fixat els enllaços de Digital CSIC http://digital.csic.es/handle/10261/9401) i nosaltres el tenim només en 37 registres del DDD (https://ddd.uab.cat/search?ln=ca&sc=1&p=pmid), així que de moment no val la pena.

Si creus que el tema de Google és important, si us plau, obre una tasca al DDD, i mira d'afegir tota la informació que puguis sobre l'API i la manera de configurar-la.

Quan has donat l'exemple de PLOS he pensat que potser t'interessava el tema de les icones, però les hem descartat perquè no n'hi ha cap d'evident ara mateix, la del WOS que tenen ells és antiga i ara no s'utilitza i l'icon de Scopus és una boleta blava que tampoc sembla gaire aclaridora.

El tema de fer un nou apartat amb les noves mètriques l'hem deixat per més endavant perquè, entre d'altres coses, afectaria a temes de disseny de les pàgines del DDD.

Ok!

Sobre l'API de Google Scholar, crec que no hi res. Curiós, però és la info que he trobat:

http://libguides.mit.edu/apis (en data 2013)

http://guides.lib.berkeley.edu/c.php?g=4424&p=15687

De moment ho deixo aturat. No obro cap tasca

Jo crec que ja funciona de la manera que hem quedat, ex: http://ddd-test.uab.cat:2000/record/113423

Diria que només queda pendent que funcioni l'enllaç a Scopus, potser (?) degut a que no tenim el partnerID i que l'Anna mirarà d'esbrinar.

Resto pendent als vostres comentaris.

Perfecte!!

El tema dels enllaços amb Scopus i WoS, el primer ja ho hem demanat, i el segon diria que ha de passar per l'autenticació de la FECYT sinó no funciona. Demà que estaré a la UAB faré proves perquè des de casa amb l'ARE es complica una mica veure què és el que pot estar fallant.

Tomàs Fabregat va escriure:

Creus que val la pena que l'enllaç ensenyi una nota explicativa? Per exemple:

nombre de cites rebudes segons SCOPUS (o similar)

Això us ho deixo al vostre criteri.

Ah, el link de WOK té el mateix problema que SCOPUS. Suposo que ja ho tens present (veure adjunt)

A mi, des de la UAB, avui m'està funcionant perfectament. Des de casa, ahir, no, és clar.

Aquest senyor d'Elsevier s'explica molt bé, el partnerID està malament, hem d'utilitzar el que ens genera l'API... segons entenc. Aquí la resposta:
__

Dear Anna,
I am writing you as Alvaro forwarded me the issue you are having with the Scopus APIs.

There is indeed an issue with the PartnerIDs, but also with the way the link is created: the ampersand character “&” is escaped as “&” in your link. In other words:

http://www.scopus.com/inward/citedby.url?partnerID=C000053449&amp;scp=79960699579

should be

http://www.scopus.com/inward/citedby.url?partnerID=C000053449&scp=79960699579

Besides, the partnerID is wrong.

Ideally, you should use the one that is returned by the Scopus APIs:

A search like this, which is probably similar to the one you’re doing

https://api.elsevier.com/content/search/index:SCOPUS?query=DOI

will give you:

<?xml version="1.0" encoding="UTF-8"?>

<search-results xmlns="http://www.w3.org/2005/Atom" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:opensearch="http://a9.com/-/spec/opensearch/1.1/" xmlns:prism="http://prismstandard.org/namespaces/basic/2.0/">
    <opensearch:totalResults>1</opensearch:totalResults>
    <opensearch:startIndex>0</opensearch:startIndex>
    <opensearch:itemsPerPage>1</opensearch:itemsPerPage>
    <opensearch:Query role="request" searchTerms="DOI%2810.1016%2Fj.surfcoat.2011.05.047%29" startPage="0"/>
    <link href="http://api.elsevier.com:80/content/search/index:scopus?start=0&amp;count=25&amp;query=DOI%2810.1016%2Fj.surfcoat.2011.05.047%29" ref="self" type="application/xml"/>
    <link href="http://api.elsevier.com:80/content/search/index:scopus?start=0&amp;count=25&amp;query=DOI%2810.1016%2Fj.surfcoat.2011.05.047%29" ref="first" type="application/xml"/>
    <entry>
      <link href="http://api.elsevier.com/content/abstract/scopus_id:79960699579" ref="self"/>
     * <link href="http://www.scopus.com/inward/record.url?partnerID=HzOxMe3b&amp;scp=79960699579&amp;origin=inward" ref="scopus"/>*
     * <link href="http://www.scopus.com/inward/citedby.url?partnerID=HzOxMe3b&amp;scp=79960699579&amp;origin=inward" ref="scopus-citedby"/>*
      <link href="http://api.elsevier.com/content/article/eid:1-s2.0-S0257897211005585" ref="full-text"/>
      <prism:url>http://api.elsevier.com/content/abstract/scopus_id:79960699579</prism:url>
      <dc:identifier>SCOPUS_ID:79960699579</dc:identifier>
      <eid>2-s2.0-79960699579</eid>
      <dc:title>A comparison between fine-grained and nanocrystalline electrodeposited Cu-Ni films. Insights on mechanical and corrosion performance</dc:title>
      <dc:creator>Pellicer, E.</dc:creator>
...

The first link points to the Scopus record, the second to the citing documents in Scopus (remember to unescape “&”)

As an alternative, I see that your Experts website:

http://experts.scival.com/uabcei/

uses the following partnerID: 7tDmEqzL

that you may be able to use.

You can see this in the “Scopus” link in a publication page such as this one:

http://experts.scival.com/uabcei/pubDetail.asp?t=pm&id=84918774002&o_id=1

Let me know if you need further help.

Sí, sembla que Scopus havia canviat la manera de retornar el seu identificador; ara el tornava en forma de URL i per això no funcionava l'enllaç. Ho he corregit i crec que ara ja torna a funcionar, ex:

http://ddd.uab.cat/record/123289

Funciona correctament. Per exemple: https://ddd.uab.cat/record/143290
Tanco la tasca.

Informació de la Fecyt https://www.recursoscientificos.fecyt.es/servicios/acceso-metadatos