DDD

Ara també és pot lligar a la inversa el DDD pot aparèixer a Pubmed https://unavdadun.wordpress.com/2017/03/27/repositorios-institucionales-en-pubmed/

Informació per demanar-ho:
https://www.ncbi.nlm.nih.gov/projects/linkout/doc/IR-application.shtml

Amb el Javier hem estat avançant en diferents fronts.

1. Identificació dels registres amb autors de la UAB. A partir de la (llarguíssima) cerca que ens ha preparat la Marta, el Javier ha preparat un script que fa les cerques per anys i retorna els PMIDs d'aquests registres. Creiem que és millor fer-ho per data d'entrada a PubMed, no per data de publicació de l'article, perquè podem anar segmentant i tancant anys.

2. Hem d'acabar d'esbrinar si és possible afinar la cerca perquè inclogui els registres que tinguin text complet i/o que puguem incorporar al DDD.

3. De la llista dels PMIDs, descartarem els que ja tenim al DDD, i ens quedem amb els que no tenim.

4. A hores d'ara estem mirant quina és la millor estratègia per recuperar el registre bibliogràfic d'aquests articles. Hem estat estudiant diferents estratègies.

a. Pel servidor OAI. Després d'algunes proves i errors, hem après que l'identificador del registre no és el PMID, sinó el PMC. A resultes de la tasca #2813, ja en tenim un fitxer amb les equivalències, que actualitzem automàticament un cop al mes.

Vegem-ne algun exemple: el registre https://ddd.uab.cat/record/175912 té el PMID 26919668. A partir del fitxer d'equivalències, sabem que el PMC és el 4769067. Amb aquest identificador podem accedir, via OAI, al registre en tres formats diferents: Dublin Core i dues variants de pmc (que deu ser PubMedCentral):

• https://www.ncbi.nlm.nih.gov/pmc/oai/oai.cgi?verb=ListMetadataFormats

Si els examinem, veurem això:

• https://www.ncbi.nlm.nih.gov/pmc/oai/oai.cgi?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:pubmedcentral.nih.gov:4769067
• https://www.ncbi.nlm.nih.gov/pmc/oai/oai.cgi?verb=GetRecord&metadataPrefix=pmc&identifier=oai:pubmedcentral.nih.gov:4769067
• https://www.ncbi.nlm.nih.gov/pmc/oai/oai.cgi?verb=GetRecord&metadataPrefix=pmc_fm&identifier=oai:pubmedcentral.nih.gov:4769067

b. Sembla que hi ha una altra manera, a través del seu servidor ftp:

ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/ (no feu clic als fitxers, que són tan grans que es penja el navegador!)

Hi ha uns fitxers (oa_comm_use_file_list.{csv,txt}, oa_file_list.{csv,txt}, oa_non_comm_use_pdf.{csv,txt} amb unes adreces del tipus ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_package/c1/d0/ i amb uns fitxers que (sembla) que tenen la mateixa informació que el servidor OAI.

Ara es tracta d'explorar quina és la manera que ens va millor per obtenir el registre i el pdf.

5. Per més endavant, quan tinguem més clars els punts anteriors, mirarem quina estratègia seguim per carregar-los al DDD. Podriem passar-los a la col·lecció revisar, o utilitzar la interfíce d'idregistres.py. Ja tindrem ocasió d'anar-ho valorant.

Programat pubmed.py

Aquest programa baixa el baixa el .pdf (text complet) i .pmc (descipció en XML) dels articles que estan en accés obert

• Llegeix els pmids de ddd@taltabull:~/importacions/pubmed/pmids@pubmed_a2016.xml
• Comprova si estan d'accés lliure
• Comprova si estan al DDD. Si no es així llavors baixa el .pdf (text complet) i .pmc (descripció en XML) i els deixa a ddd@taltabull:~/importacions/pubmed
• Per aquest any hi han 680 articles

Un cop descarregats els .pdf i el registres XML Ferran Jorba farà la conversió de dades a Marc21

Acabo de fer una primera càrrega, provisional, al DDD de proves, de 361 articles del PMC del 2015 a https://ddd-test.uab.cat/collection/artpub. Els PDFs els tenim però no els he enllaçat, per això no es veuen les miniatures.

(Si no es veuen de seguida, es veuran en una estoneta...)

Perdona Ferran, com els puc veure, en entrar al DDD de proves els primers registres que apareixen són els de Wormwood...

Val, ara he vist la teva nota entre parèntesis, perdona la meva impaciència ;-)

Crec que totes les millores ja estan fetes i, a més, hi he pogut posar els orcid quan hi són. Tinc un incident, que haurem de comentar, quan hi ha més d'una nota de drets.

He fet una càrrega nova amb 643 articles del 2016, amb totes les millores i amb més d'una etiqueta de notes si n'hi ha més d'una en el registre original:

https://ddd-test.uab.cat/collection/artpub

Després posaré algun exemple i comentarem les afiliacions.

Anem bé. El primer que es veu dels nous no té abstract: https://ddd-test.uab.cat/record/173790. Me'l miraré, és clar.

Ferran Jorba va escriure:

Anem bé. El primer que es veu dels nous no té abstract: https://ddd-test.uab.cat/record/173790. Me'l miraré, és clar.

Ja hi és. Certament, la codificació dels registres no és ben bé homogènia. Si trobeu altres irregularitats, si us plau aviseu-me, que se m'en poden haver escapat d'altres.

Per anar provant el conversor, he anat carregant anys, sempre registres que no tenim al DDD (de proves, en aquest cas). Ara mateix, a https://ddd-test.uab.cat/collection/artpub hi ha els del 2016 fins el 2013.

Hi he afegit els 85 registres del 2012 i els 70 del 2011. Registres amb text complet, amb llicència oberta i que no tenim ja al DDD (de proves).

Els registres que podem reutilitzar, per anys, són:

• 2017: 581 (provisional, fins a començaments de novembre)
• 2016: 689
• 2015: 553
• 2014: 353
• 2013: 141
• 2012: 85
• 2011: 70
• 2010: 32
• 2009: 34
• 2008: 13
• 2007: 8
• 2006: 5
• 2005: 3
• 2004: 1
• 2003: 1
• 2002: 2
• 2001: 0
• 2000: 0

Total: 2571

En els propers minuts els acabaré de carregar tots al DDD de proves, col·lecció https://ddd-test.uab.cat/collection/artpub

Una nota pel que fa a la xifra de registres que he estat donant fins ara. El comportament d'Invenio per identificar registres nous és si coincideix l'etiqueta 001 o la 035. Resulta que ni el DOI ni el PMID van a aquestes etiquetes, sinó a la 024 (exemple: https://ddd.uab.cat/record/181904/export/hm).

Cal doncs que el programa de conversió afini més que Invenio i que no carregui registres nous si ja n'existeix algun amb el DOI o el PMID.

Bon dia!

He estat revisant la càrrega d'articles de PubMed al DDD-test. Abans de res, he de dir que l'estalvi de feina que ens suposa a les biblioteques aquesta càrrega automàtica és impressionant. Jo ara comentaré una sèrie d'aspectes per saber si es poden automatitzar. Si no fos possible automatitzar-los tots, o alguns, no hi hauria cap problema en realitzar-los manualment, perquè ja tindrem moltíssima feina feta.

Veureu que alguns d'aquests aspectes ja els heu anat comentant al llarg de la tasca:

1. El text de les llicències està en anglès (etiqueta 546), seria possible que la 546 sortís automàticament en català?

2. Alguns registres no tenen la llicència. Exemples:
https://ddd-test.uab.cat/record/175165
https://ddd-test.uab.cat/record/175162

3. En un punt de la tasca, es comentava que les pàgines dels articles no apareixien. Això s'ha solventat, però quan no hi ha paginació i el que hi ha és el núm. d'article, aquesta dada no apareix al registre DDD. Exemples:

https://ddd-test.uab.cat/record/175165
https://ddd-test.uab.cat/record/175161
https://ddd-test.uab.cat/record/175155
https://ddd-test.uab.cat/record/175091

Si aneu al registre PubMed d'aquests articles, veureu que enlloc de pàgines apareix el núm. de l'article. Seria possible que aquesta dada s'inclogués al registre, tal i com s'ha fet amb les pàgines?

4. Comenteu que no s'han carregat registres duplicats, és a dir, que si l'article ja es trobava al DDD, aquest no s'ha carregat. A mi m'ha semblat veure que sí que s'han carregat registres que ja es trobaven al DDD, però no sé si ho miro bé. Us poso un parell d'exemples i ja confirmareu si m'equivoco o no:

Entrat al DDD: https://ddd.uab.cat/record/170647
Carregat del PubMed: https://ddd-test.uab.cat/record/174542

Entrat al DDD: https://ddd.uab.cat/record/170651
Carregat del PubMed: https://ddd-test.uab.cat/record/173498

5. Pel que fa a les filiacions: si és possible automatitzar alguna part d'aquest procés penso que, com a mínim, caldria intentar unificar de manera automàtica les filiacions corresponents a la UAB. Si hi ha la possibilitat de corregir automàticament les filiacions més "recurrents", perfecte. Ja ens indicareu si, en aquest aspecte concret, hem de fer alguna tasca específica.

6. Pel que fa a la possibilitat de refinar més la cerca a PubMed d'on s'obtenen aquests articles: he vist que comentàveu que apareixien articles de l'IFAE o CSIC que són institucions que es troben al Campus, tot i que no són UAB, i comentaveu la possibilitat de repolir l'estratègia de cerca per tal que aquests articles no apareguessin. Es podria intentar un refinament, però cal tenir present que, si ho fem, també desapareixeran articles que, per exemple, ha publicat algú d'un centre CSIC del Campus en col·laboració amb algun investigador d'un departament o centre de recerca de la UAB. No sé si m'explico... vull dir que podrien eliminar-se articles on, a banda d'aquests centres, també hi aparegués la UAB pròpiament com a coautora...

En principi, aquests són els aspectes a comentar sobre aquesta tasca. Moltes gràcies a tots per la feina que heu estat fent!

Ja hem fet una primera càrrega de tots els registres fins el 2010 inclòs (https://ddd.uab.cat/collection/revisarcaraut).

Falta:

• Normalitzar les afiliacions de la UAB més comunes.
• Falta automatitzar les càrregues, perquè vagin al dia, però ho farem quan hàgim acabat de fer els registres retrospectius. Ho fem en aquest ordre perquè els més recents apareguin a dalt de tot.

Cal continuar aquestes càrregues retrospectives, des del 2011 al 2017, per després deixar que es facin automàticament les de l'any actual (que serà el 2018).

Cal repassar la resta dels temes de la nota anterior.

Ahir vaig carregar els del 2011, i avui els del 2012. Però acabo de veure'n algun que clarament està malament:

• https://ddd.uab.cat/record/184866
• https://ddd.uab.cat/record/184862

Si us plau, no treballeu amb aquests registres ni els que estiguin malament, perquè vol dir que he de corregir el convertidor i m'interessa no perdre els casos. Gràcies.

Ja he corregit els registres mal convertits. La causa era que el servidor de proves (Taltabull) tenia unes versions diferents d'unes utilitats que no a Mompou, i per tant ho entenien diferent.

D'altra banda, i donat que hi ha articles antics que es van alliberant i queden oberts (p. ex., si hi ha un embargament), i que PubMed els ofereix en text complet, el que acabo de fer és que sempre repassi des de l'any actual (en aquest cas, el 2011) fins al 2000, retrospectivament, per si n'hi ha algun que abans no era d'accés o obert i ara sí i, si el troba, també el carrega al DDD i el deixarà a https://ddd.uab.cat/collection/revisarcaraut.

Ja estan carregat els del 2013 i 2014. En vaig fent un any per dia, més o menys.

Carregats els del 2015.

Avui m'ha fallat la càrrega del 2016 per una badada, i l'he reprogramada per demà a la matinada. (Ho deixo aquí apuntat per si demà me n'oblido).

Carregats els del 2017.

Moltes gràcies, Ferran.
Ara que ja en tenim un bon gruix podries fer un parell de coses més:

- Treure un altre TXT amb les filiacions de la UAB per a tots els anys
- Treure un altre TXT pels títols de revistes també per tots els anys

Gràcies!

Carme

Ja estan tots carregats, i programat perquè cada dilluns es carreguin els nous, i els antics que s'hagin desembargat segons la gestió que ja en fa la base de dades Pubmed.

Carme Besson va escriure:

- Treure un altre TXT amb les filiacions de la UAB per a tots els anys
- Treure un altre TXT pels títols de revistes també per tots els anys

Correcte, queda pendent.

Hola Ferran,

Creus que podríem tenir els dos llistats per aquest divendres a darrera hora o dilluns a primeríssima hora del matí? És que dilluns tenim reunió de SDR i ens aniria bé.

Gràcies!

Carme

Carme Besson va escriure:

Creus que podríem tenir els dos llistats per aquest divendres a darrera hora o dilluns a primeríssima hora del matí? És que dilluns tenim reunió de SDR i ens aniria bé.

Sí, compto que sí. Avui no podré dedicar-m'hi, però procuraré posar-m'hi demà a primera hora.

Gràcies, Ferran. De moment deixem-ho així. Dilluns tenim reunió i si veiem que ens cal alguna altra dada ja t'ho diria.

Vull aprofitar per publicar unes dades que crec que són il·lustratives. Pubmed allibera registres quan han expirat les dates d'embargament. Aquesta setmana, per exemple, hem pogut carregar registres nous d'anys anteriors i que han expirat. Les dates són, com sempre en el nostre cas, dates d'entrada a Pubmed, no dates de publicació:

• 2012: 1 registre (https://ddd.uab.cat/record/187823)
• 2014: 2 registres (https://ddd.uab.cat/record/187824 i https://ddd.uab.cat/record/187825)
• 2015: 3 registres (https://ddd.uab.cat/record/187826, https://ddd.uab.cat/record/187827 i https://ddd.uab.cat/record/187828)
• 2016: 2 registres (https://ddd.uab.cat/record/187829 i https://ddd.uab.cat/record/187830)
• 2017: 13 registres (del https://ddd.uab.cat/record/187831 al https://ddd.uab.cat/record/187843)
• 2018: 121 registres nous, probablement cap a resultes d'un embargament, però sí que pot ser significatiu de quants n'entren de nous en una setmana (del https://ddd.uab.cat/record/187844 al https://ddd.uab.cat/record/187905)

És a dir, que en una setmana n'han entrat 142 de nous.

Repassant un tema de duplicats, me n'he adonat que a Pubmed hi ha, al menys ara, informació sobre finançament dels articles. Potser abans també hi era i no ho vaig saber veure.

A partir d'ara, a les noves càrregues, aquesta informació ja apareixerà a la 536, i formatejat com sempre (info:eu-repo, etc).