DDD

Podem començar les feines associades a aquesta tasca amb uns quants correus del Comissionat prioritzant aquesta tasca, amb l'acord unànim que era important.

Incicialment vaig tenir de contacte un tal Alexander Kujath (a.kujath@elsevier.com), amb qui a l'octubre ens demanava informació de l'api d'Invenio per fer el connector. Després de fer-li saber que nosaltres estem amb Invenio 1.x i no 3.x i que treballem amb Marc21, va contestar que gràcies, que no s'ho esperava. Quan li vam demanar quin era el flux de treball que pretenien utilitzar (qui exporta i qui importa i com), ja ni va contestar i no n'hem sentit a parlar més.

Adjunto els correus per referències futures.

From: Ferran Jorba <Ferran.Jorba@uab.cat>
To: "Kujath, Alexander (ELS-FRK)" <a.kujath@elsevier.com>
Cc: "García, Juan (ELS)" <j.garcia@elsevier.com>, "Carlos Serrano Delgado" <Carlos.Serrano@uab.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>, Núria Casaldàliga Rojas <Nuria.Casaldaliga@uab.cat>, "Trier, Mads (ELS-AAL)" <M.Trier@elsevier.com>
Subject: Re: Contact for Invenio integration
Date: Tue, 16 Oct 2018 13:03:13 +0200
Organization: Universitat Autonoma de Barcelona

Hello Mr. Kujath,

as I wrote you in my first mail, we are not planning to migrate to
Invenio 3 in a year and, after that, the migration may take some
months, as it is a different beast. So, at UAB, I my personal take is
that we won't have DDD in full production with Invenio 3 in two years.
But future tends to be uncertain, to say the least.

Regarding the second question, I'm sorry I don't understand it, because
I'd say that either we export from DDD or we import to DDD. May I
kindly ask for your clarification?

However, to start with, we import records into DDD from many sources
and in many formats, some of them provided by CERN, others written
localy by us. The protocol may be OAI but also custom web gateways or
specific files. Internally, records are in Marc21 (MarcXML). Regarding
the export, we export via OAI in Dublin Core, MarcXML and EDM
(Europeana), and there are custom apis to export specific records or
fields via web. We also have been providing custom files for other
services, including the old UAB CRIS system.

I'll try to be more specific with more precise questions, but as I don't
know the workflows that you are trying to implement, I'm quite confused
about what are you interested in.

Best regards,

Ferran Jorba
Institutional repository sysadmin
Universitat Autònoma de Barcelona
Ferran.Jorba@uab.cat

El Tue, 16 Oct 2018 10:30:15 +0000
"Kujath, Alexander (ELS-FRK)" <a.kujath@elsevier.com> va escriure el
següent:

Hi Ferran,

thanks a lot for your elaborate reply, this helps us a lot getting to
know how you use Invenio. To explain myself a little further, we were
assuming that you were already using Invenio version 3, thus we were
asking for the configuration files. Sorry again, if this might have
caused any kind of confusion. With your help we got a way better
insight, thanks a lot.

If you could provide us with additional information about how you
export to DDD that is very welcome - if you have documentation
available.

We would also be interested in your plans to update DDD to version 3
of Invenio, which is substantially different from the previous
versions. Is there already a timing available for this?

Thanks again for your kind help,
Alex

On 08.10.18, 08:01, "Ferran Jorba García" <Ferran.Jorba@uab.cat>
wrote:

• External email: use caution ***

Hello Mr. Kujath,

let me introduce myself. My name is Ferran Jorba and I'm the
sysadmin for the UAB institutional repository (https://ddd.uab.cat).
I've been contacted by Carlos Serrano (CCed) to answer a mail you
wrote (attached) to Juan Garcia (CCed) about Invenio integration with
Pure. I'm CCing this mail also to Cristina Azorín the responsible for
day-to-day DDD operations, and Núria Casaldàliga, responsible for
the library technical department. Please feel free to add whoever you
think is needed.

I'll try my best to answer both questions; however, being them as
general as they are, and as I don't have any insight about the
workflows or dataflows that you are thinking about, probably my
answers will be incomplete. The more information I have, the more
precise I'll try to be.

Before that, I understand that you know that Invenio is free
software and the sources are accessible via Github
(https://github.com/inveniosoftware/invenio).

There are two main branches, 1.x and 3.x (we can safely ignore
2.x in this context). Most of the public sites are 1.x based (and
more specifically, 1.1.x, as 1.2.x had some performace flaws), and
only a few, still incomplete and sort of experimental, are running
the still unreleased 3.x (most of them run by the same CERN people
who writes the software). 1.x and 3.x are very different, based in
different assumptions and different technological grounds. At UAB,
we are not planning the 3.x migration until, at least, a year for
now. We still don't know how this will affect the information I'm
writing you in this mail.

The first question is about our Invenio datamodel configuration.
I'm unsure what are you interested in, but I'm guessing your interest
is bibliographic records and collections, right? Again, if I'm wrong,
please provide a more precise question and which is the goal or
workflow you are thinking about.

Invenio datamodel is Marc21. We are using just bibliographic
records. In 1.1.x authority records are not well implemented, so we
are not using them.

The second question is whether we are using the defaults on the
datamodel, and if the configuration is stored or can be exported
in some JSON files.

I don't know how to answer this question. Invenio allows the
sites to define new indexes, and Marc21 allows the use of local tags
and subfields. So yes, we have used this flexibility for both
grounds. Honestly, I don't really know if this counts as 'changes to
the default datamodel configuration'; I leave it to your judgement.

And no, there is no JSON file that holds the configuration.

If you are interested in Invenio APIs, OAI-PMH or not, how to
access specific fields (ORCIDs, DOIs, OAI identifiers, research
groups, grants, licenses, etc), which indexes we have created for the
keys your may be interested in, please ask. If your are interested
about how to export or import from and to DDD, again, please ask.

We have also developed some in-house import and export procedures
for some of the other campus databases, including the old CRIS
system. If you are interested in any of them, yes, we are ready to
describe them.

I'm quite sure I haven't answer your question, but being it as
generic as it is, I didn't want to go to details that you may or may
not be interested in.

Best regards,

Ferran Jorba
Institutional repository sysadmin
Universitat Autònoma de Barcelona
Ferran.Jorba@uab.cat

De: Kujath, Alexander (ELS-FRK) <a.kujath@elsevier.com>
Enviat el: dimecres, 19 de setembre de 2018 10:37
Per a: García, Juan (ELS); Carlos Serrano Delgado
A/c: Ybarra Muguruza, Alvaro (ELS-AMS); Trier, Mads (ELS-AAL)
Tema: Re: Contact for Invenio integration

Hi all,

Juan, thanks a for the introduction.

Carlos, we would like to start to take a look at a potential
mapping from Pure to Invenio.

For that it would be great, if we could get an insight in your
Invenio configuration, especially the datamodel configuration.

Can I ask you, if you are using the defaults, or if you have
made any changes to the default datamodel configuration? If so,
could you provide us that configuration? That should be stored
in some JSONs files

Best regards,
Alex

---

Elsevier Information Systems GmbH
Address (Firmensitz): Theodor-Heuss-Allee 108, 60486 Frankfurt,
Germany Registration (Registergericht): Amtsgericht Frankfurt am
Main, HRB 57356, UST-ID-Nr.(VAT ID): DE813757333 Managing Directors
(Geschaeftsfuehrer): Alexander van Boetzelaer, Dr. Günther Kurapkat

Els dies 15 i 16 de novembre van venir els de Pure a la UAB a fer un taller-presentació. En concret, jo hi vaig anar el dia 15, adreçat específicament als informàtics que hi tindríem alguna cosa a veure. En vaig fer un resum en forma de correu que, per no repetir-me, també adjunto.

From: Ferran Jorba García <Ferran.Jorba@uab.cat>
To: Núria Casaldàliga Rojas <Nuria.Casaldaliga@uab.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
CC: Carlos Serrano Delgado <Carlos.Serrano@uab.cat>, Maria Rosa Fàbregas Estrada <Rosa.Fabregas@uab.cat>
Subject: Sobre el connector de Pure amb Invenio i què hem de fer a la UAB
Date: Fri, 16 Nov 2018 09:19:27 +0100

Bon dia, Núria i Cristina,

faig còpia d'aquest missatge al Carlos i a la Rosa, tant perquè en
tinguin coneixement com perquè si volen o poden complementar o corregir
la informació que us passo, perquè potser tenen informacions que jo no,
o alguna cosa no la vaig entendre prou bé.

Us escric per explicar-vos la meva experiència de com va anar la
presentació d'ahir dijous, adreçada sobretot al col·lectiu
d'informàtics que hàgim de tenir una responsabilitat més o menys gran
amb la integració de Pure a la UAB. Intentaré que quedi ben clar el
que va ser l'exposició del que són les meves opinions.

Per mi, l'exposició va ser correcte, en el sentit que vam poder tenir
unes informacions (de vegades més deduïdes que exposades amb claredat)
de Pure i la seva relació amb les altres aplicacions del campus. En
una de les transparències ja ens van mostrar la seva idea de tractar el
repositori diferent que la resta de sistemes. Hi havia fletxes amunt i
avall per totes les aplicacions, amb indicacions d'importacions,
exportacions i sincronització. Menys pel dipòsit, on hi havia una
fletxa de Pure a Invennio (sí, amb dues enes) que deia 'connector' i
una de tornada que no recordo ben bé què deia. Això era al matí i em
vaig abstindre (de moment) de fer cap pregunta ni comentari, perquè
entenia que ens estava fent una exposició general.

També com a exposició general, ens van ensenyar per sobre les apis, vam
tenir una idea de com s'autoritzaven i com es configuraven. La meva
impressió (i recordant també la presentació que ens va fer la Rosa
Fàbregas, on les urls sovint tenien una part que posava 'api') és que
tot Pure està basada en apis (més de 200, deien), i que des de fora (i
amb els permisos corresponents, i si la sabem utilitzar bé) es pot
accedir als mateixos serveis que la pròpia aplicació Pure. Aquesta
política també l'utilitzen altres serveis com Twitter
(https://developer.twitter.com/en/docs/api-reference-index.html) o en
part el propi Invenio
(https://ddd.uab.cat/help/hacking/search-engine-api).

A la tarda ja vam entrar en concrecions pel que fa al connector.
D'entrada, ens van fer una mena d'advertiment que si migràvem
d'Invenio, i donat com era de diferent l'Invenio actual amb el 3.0,
això del connector era problemàtic. Va ser aleshores quan vaig
intervenir preguntant, en primer lloc, què entenien per connector, ja
que, així com importacions, exportacions i sincronitzacions eren
conceptes que tothom de la sala podia entendre, jo, personalment, no
sabia què entenen per connector i, dit de pas, no entenia per què
tractaven diferent el dipòsit que la resta d'aplicacions (no, no vaig
dir res de la doble ena d'Invennio). Després de fer-se una mica els
ronsos dient que ells no eren els product managers, els hi vaig demanar
que m'exemplifiquessin què feia el connector en els casos de DSpace i
ePrints. Aleshores, finalment, ho vaig entendre.

Aquest connector el que fa és que, cada cop que un registre és aprovat
a Pure, l'envien (push) al dipòsit, juntament amb el fulltext, perquè
es publiqui. I que són els de Pure els que, via XSLT (quina mania que,
quan es tracta de XLST, volen fer explítit que ho fan servir, i no
esmenten com s'ho fan en altres casos!) transformen els registres del
format de Pure al format del dipòsit. Per tant, en aquells casos, Pure
'pren posessió' del dipòsit.

Després d'agrair-li's aquesta explicació, vaig tornar a intervenir.
Vaig comentar que la decisió l'hauríem de prendre a la UAB, sobretot el
Servei de Biblioteques. Que jo no podia decidir-ho, però que entenia
que aquesta solució no seria la que triaríeu, i per uns quants motius:

1. Perquè nosaltres mateixos ens hem de protegir dels canvis d'Invenio;
que si utilitzem identificadors estàndards i formats estàndards,
n'estaríem més protegits que si adoptem solucions específiques per una
versió concreta.

2. Perquè que les regles de transformació (és a dir, la conversió dels
registres bibliogràfics) estaven a les seves mans i no en el nostre
control, cada cop que necessitéssim un canvi (afegir una etiqueta,
canviar un subcamp) els hauríem de demanar a Dinamarca, amb un cost i
un temps i, sobretot, perdent un control que si ho fem nosaltres el
tindrem sempre.

3. Perquè potser aquest política de Pure pot ser útil en els casos on
el dipòsit és purament de recerca, però que nosaltres hi tenim tot
tipus de material, i per tant, no necessàriament el que serveixi per
altres casos ens pot servir a nosaltres.

4. Perquè la importació i exportació de diferents llocs és el que fem
nosaltres contínuament, i no veiem que hagi de ser diferent en el cas
de Pure, sobretot, tal com sembla, donat que la seva api sembla ser
prou flexible. Vaig dir que personalment no veia que el cas de Pure
s'hagi de tractar d'una altra manera que la resta.

Incidentalment, el fet que parlessin que la transformació (conversió)
dels registres bibliogràfics la fessin amb XSLT em va convèncer que és
una via morta; nosaltres ho hem estat utilitzant durant força temps
perquè Invenio també l'utilitza, fins que finalment hi hem renunciat
perquè és tan limitat que s'han de fer tants afegits amb Python que al
final és millor fer-ho tot en Python.

També va sortir molt breument la fletxa de tornada, és a dir, exportar
del DDD per importar a Pure. Vaig comentar que des d'Invenio hi ha
diferents maneres de fer-ho, que el format natiu és el Marc21 però que
també exportem, entre altres, via Dublin Core, però que evidentment no
hi és tot. Els vaig veure amb unes cares molt de perplexitat, com si
fos el primer cop que haguessin sentit les paraules Marc21 o Dublin
Core, cosa que va fer que aleshores el perplex fos jo, i els hi vaig
demanar quin és el format intern de Pure, o bé en quin format es poden
passar els registres perquè conservin tanta informació com tinguem, i
van comentar que està documentat, i que ja ens dirien on. Va haver-hi
un breu torn de propostes de si els registres els agafàvem de Fènix,
del DDD, o si aprofitàvem els identificadors Scopus perquè ells els
agafessin directament de Scopus, etc. Em va semblar que aquesta part
està molt verda i que ningú no té cap pla gaire concret. Això sí, els
representants de Pure van recomanar (i la Rosa va reconèixer) que
caldria fer una bona neteja als registres de Fènix abans de fer el
traspàs.

En tot cas, vaig insistir que jo entenia que la decisió de les
importacions, exportacions, sincronitzacions i circuits, l'havíem de
prendre a la UAB, i que potser en aquests moments encara era una mica
prematur saber com es faran.

La meva opinió (parcial) doncs, és que ara no és urgent prendre cap
decisió, que abans cal parlar dels circuits que es volen implementar,
amb quin personal es vol fer (ex: validarà biblioteques els registres a
Pure?), que mentrestant val la pena tenir accés i familiaritzar-se amb
l'api de Pure i que tots plegats hi anem rumiant per fer-nos una idea i
parlar-ne en un parell o tres de setmanes.

Carlos, Rosa, si ho veieu diferent, amb la vostra experiència, dieu la
vostra. Núria, Cristina, espero haver-me explicat amb prou claredat, i
no haver-me ficat massa en els vostres àmbits de decisió; si fos així,
us demano disculpes, però vaig explicitar que la decisió és vostra.

Ben cordialment,

Ferran

Donat ja que vam aprendre que el nostre contacte és el tal Malthe Jensen (M.Jensen@elsevier.com), m'hi vaig adreçar a fer peticions més concretes sobre importació i exportació (i, per tant, de sincronització) de registres i/o persones. En concret, li vaig escriure en aquests termes:

From: Ferran Jorba García <Ferran.Jorba@uab.cat>
To: Malthe Jensen <M.Jensen@elsevier.com>
CC: Carlos Serrano Delgado <Carlos.Serrano@uab.cat>
Subject: Strategies for exporting bibliographic records from Pure via Api?
Date: Wed, 5 Dec 2018 16:57:12 +0100

Dear Mr. Jensen,

My name is Ferran Jorba, and I'm the computer guy behind the UAB
Institutional Repository (https://ddd.uab.cat), and we met at UAB
during the local Pure workshop. I know you also speak Spanish, but I
think that in that case we'd better use English, specially if this mail
has to be send or read by somebody else.

My question is about exporting bibligraphic entries from Pure. I've
accessed the API of the test instance we have at UAB, and as I haven't
found the answer myself, I think that I'd better ask.

https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/api/513/api-docs/index.html

Specifically, I'd like to know which of those exporting strategies I
can use, and how:

1. Identifying records (exporting recids) added/modified from date
(timestamp) ranges.
2. Identifying records (exporting recids) from a person (identified by
Orcid or some other identifier).
3. Exporting bibliographic records in different formats, including the
most complete one.

Thank you,

Ferran Jorba
Institutional Repository Manager
Universitat Autònoma de Barcelona
Ferran.Jorba@uab.cat

A la meva petició van respondre amb la creació d'un compte personal meu al seu gestor d'incidències i obrint-hi una tasca, que probablement no hi podreu accedir perquè és d'accés restringit, però que jo apunto aquí perquè em serà més fàcil de trobar:

https://support.pure.elsevier.com/browse/IMPLEMENTATION-645

Després d'uns quants missatges amunt i avall fins que ens vam entendre, la gran (gran!) sorpresa ha estat que, a part de l'API restringida, amb claus i certificats mil, Pure disposa d'un servidor OAI, pel que sembla, molt funcional. I sense restriccions. Hi apunto uns quants exemples de la instal·lació que la UAB té de proves a les instal·lacions de can Pure, a Dinamarca:

• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=Identify
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListSets
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListMetadataFormats
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListIdentifiers&metadataPrefix=oai_dc&set=publications:all
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListIdentifiers&metadataPrefix=oai_dc&set=publications:all&from=2018-12-01&to=2018-12-07
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListIdentifiers&metadataPrefix=oai_dc&set=persons:all
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=ListIdentifiers&metadataPrefix=oai_dc&set=persons:all&from=2018-12-01&to=2018-12-07
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:pure.atira.dk:publications/e0bf713a-c957-4d28-9ffc-59cbee7c29c8
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=GetRecord&metadataPrefix=mods&identifier=oai:pure.atira.dk:publications/e0bf713a-c957-4d28-9ffc-59cbee7c29c8
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:pure.atira.dk:persons/ccdc6134-89d9-47a3-a7de-c38cf87ae45a
• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/oai?verb=GetRecord&metadataPrefix=mods&identifier=oai:pure.atira.dk:persons/ccdc6134-89d9-47a3-a7de-c38cf87ae45a

Una altra de les bones notícies és que conserven l'identifiador antic de Fènix (en el cas dels articles, l'ARE-XXX, tot i que passen el guió a guió baix).

Pel que fa a l'accés a les publicacions d'una persona, s'ha de fer a partir de l'API, concretament amb aquesta entrada:

• https://devel.atira.dk/cust_uk_cc_uabarcelona/ws/api/513/api-docs/index.html#!/persons/listPersonResearchOutputs_1

Ho he provat amb els identificadors tipus uuid de la persona, i em retorna un xml en el que hi ha les identifiacions de les obres, a les que s'hi pot accedir via el GetRecord d'OAI.

El 2 d'octubre hem fet una nova reunió de seguiment PURE-DDD. Ens han presentat un nou tècnic, en Marc Creus.
La UAB ha entrat a ser membre d'ORCID. Hem mirat les exportacions actuals de Pure (crist.uab.cat) i hem demanat que s'incloguin els ORCIDs en les exportacions OAI.
Cal millorar la configuració dels formularis, veure exactament el que demanen per a la introducció de les publicacions; la Rosa ho ensenya per sobre i diu que es pot parametritzar però en algun moment ens hauríem de seure a fer una repassada a fons.
han de repassar també la configuració de l'OAI de Pure perquè hi ha inconsistències en les adreces (.cat i .es).

El nou CRIS de la UAB sortirà en producció al gener de 2020. La connexió al DDD queda postergada a una segona fase de desenvolupament a partir d'aquesta data.

A hores d'ara els seus registres encara no exporten Orcids via OAI, tot i que comptem que aviat ho faran.

El que sí exporten són uns quants identificadors, entre ells el DOI i el Scopus ID. Això m'ha fet pensar en què probablement el que estan fent de moment és importar tot allò que de la UAB ja hi sigui a Scopus. Comprovem-ho:

Ara mateix, a crist.uab.cat (la instància de proves), exporten 49.975 registres via OAI. D'aquests, 49.958 tenen el camp SCOPUS_ID, i 44.764 tenen l'etiqueta <mods:identifier type="doi"> en el format Mods. És a dir, que sí, tot indica que ara mateix estan carregant directament de Scopus.

Per tant, la pregunta és si val la pena importar des de Pure o, ho fem directament des de Scopus (tasca #4614), que ja ho tenim rodat?

Per exemple, jo he vist pocs exemples (1 o 2 per cada 100) de camp d'afiliació en els diferents formats que exporta l'OAI de Pure, mentre que sabem que majoritàriament sí que els hi trobem a Scopus.

Ferran, l'Àrea de Recerca vol sortir amb el nou CRIS (Pure) tornant de vacances i han optat per la solució més ràpida, com que Pure i Scopus són d'Elsevier s'hi entenen molt bé i els estan carregant tot el que poden.

De moment nosaltres anem fent que jo crec que ja acabaran venint, com que igualment tenim els identificadors i ho podrem lligar, de moment no tenim cap interès a carregar res de Pure. En algun moment, dic jo, ens haurem de seure per estudiar les compatibilitats i els inconvenients o avantatges de les càrregues en un sentit o en un altre.

Sobre altres identificadors a més d'ORCID és un altre tema a parlar. Veiem primer com ho fem amb les guidelines d'OPenAIRE i després ja mirem d'encabir altres identificadors, o si aquests han d'estar en altres llocs: registres d'autoritat del catàleg (ens podrien donar suport al DDD), a través del CRIS o a Badus, per exemple.

He provat de fer una recol·lecció de cris.uab.cat: 58.117 registres, i al menys he pogut confirmar que els autors ja mostren l'Orcid. No he investigat gaire més.

Reunió 20/02/2020

• establim la nomenclatura dels botons que indiquen com informar de l'enllaç al DDD i com pujar el fitxer.
  Upload files to ddd.uab.cat i al botó Upload files
• ara sabem si un registre està al DDD perquè enllacen a una llista (csv) on hi ha el correlatiu de dels ARE amb la 001 del DDD. Demanen que enlloc de l'ARE utilitzem sempre els identificadors de PURE. En Marc ha de mirar per l'API de Pure quin és l'identificador més adient. Demanem que els ARE segueixin en els registre del Pure i es solapin amb els nous identificadors.
  És més fàcil de gestionar la UID.
• amb la càrrega els unifica els registres, si l'ARE està duplicat el registre té els dos (o tres, o quatre...).
• nom: EGRETA Entorn per a la gestió de la recerca i la transferència (altres noms // GIR, gestió de la informació de la recerca, ART aplicació de recerca i transferència).
• caldrà canviar les adreces d'OAI quan cris o crist canviï per egreta.
• en els seus registres ells posaran l'adreça del DDD com a identificador, que ara no hi és, però no podem tenir l'adreça de egreta de manera definitiva fins que tot estigui revisat perquè hi ha molts registres duplicats.
• portal provisional: https://uab.elsevierpure.com/
• en el futur tenen previst poder carregar des de Dialnet. Volen posar-ho dins de les cerques prefixades, igual que ara surt scopus...
• quan estiguin informats els projectes o ajuts en els articles (ara no) haurem de veure si ens arriben via OAI, i sinó els podem demanar que ho facin.
• quan ho tinguin més ple miraran la col·laboració que necessiten.
• les tesis no son 'research outputs' (articles, cap. llibres, llibres i reports, wp, no textual form, patents i altres contribucions) i no surten per OAI, si les volem ens les han de passar en un llistat a part.
• en principi el vicerector no vol permetre els perfils amagats. Si que es podran deixar algunes publicacions com a 'confidencials'.

IMPORTANT: a l'hora d'entrar els identificadors surt un desplegable, els podem dir si volem que afegeixin algun o els podem donar algun fitxer de càrrega si podem relacionar orcid o niu amb un altre identificador. Per exemple, des del catàleg, orcid amb viaf??? Volem Dialnet??

Els serveis Pure de la UAB ja tenen noms oficials egreta (producció) i egretat (test). egreta té, a hores d'ara, 84.476 registres publicats via OAI. Ahir en vaig agafar uns quants milers de proves, i avui els estic acabant de sincronitzar del tot, sempre a una base local del DDD de proves.

Tinc molt avançat el conversor de Mods a Marc21. Quan el tingui a punt, ho repassarem via https://ddd-test.uab.cat/idregistres.py

El sistema per recol·lectar els registres de Pure via OAI ja està pràcticament acabat, i ja podem extreure'n conclusions i prendre'n decisions.

Podeu xafardejar i mirar la informació recopilada amb una consulta qualsevol, com per exemple aquesta:

https://ddd-test.uab.cat/idregistres.py/search?q=publications:year2000

Algunes coses que ja sabem ara són:

1. Via OAI és força eficient per tenir una rèplica local dels registres de Pure. Ho podem actualitzar cada dia sense problemes.
2. Tal com estem fent amb altres servidors OAI, crec que és més pràctic recollir els registres en tots els formats que exporta; així és més fàcil buscar on trobar una informació o altra, i si hi és o no.
3. La conversió a Marc21 l'estic fent a partir del Mods, que és el que ens exporta més camps; en concret, algun dels que ens interessen més, com l'Orcid només és via Mods. També exporta DOIs, ISBN, ISSN, etc.
4. Cal fer un repàs d'aquesta conversió; la visibilitat de tots els formats serveix, entre altres coses, per saber si la conversió està ben feta o calen canvis.
5. Contràriament al que ens havíen dit, via OAI Pure no només exporta articles, sinó també llibres i capítols. Les xifres finals encara no les tinc.
6. Falta confirmar-ho, però crec que la informació que ofereix Scopus és més completa que la que rebem via Pure. Per exemple, els codis de subvenció o la url del text complet es perden pel camí.
7. Jo crec que aquests registres no són tant per importar al DDD, sinó per lligar-los amb el Pure. Entre altres coses, perquè no tots els podem publicar. Perquè si són a Scopus, crec que és millor importar-los directament de Scopus. Igualment de PubMed, del TDX o de les revistes UAB o Racó. En tot cas, que ho recol·lectem no implica que els importem, sinó que els tenim disponibles.

Coses que en algun moment haurem de decidir:

1. Quan passem tota aquesta informació al DDD públic i que sigui visible a https://ddd.uab.cat/idregistres.py?
2. Podem posar ja l'identificador OAI de Pure (oai:egreta.uab.cat:xxx) als registres dels que ja disposem de l'identificador ARE?
3. Podem aprofitar (llistar, indexar?) els registres amb llicència oberta per fer-ne algun tractament específic? Saber quants n'hi ha? Potser importar-los a la col·lecció revisar? Aquest valor el recuperem a la 599, tal qual surt del registre Mods de Pure.

Segur que hi ha més conclusions i més preguntes, però de moment ho deixo així. La conversió acabarà aproximadament avui cap al migdia.

Errors de conversió:

1. https://ddd-test.uab.cat/idregistres.py/search?q=oai:egreta.uab.cat:publications/5368ad76-53e3-4d56-9aee-fbd4026bc517 no recull ni converteix l'any de publicació

Donat que d'identificadors ARE ja no se'n crearan més, i seran substituits pels identificadors oai:egreta.uab.cat, jo crec que el primer que cal és resoldre tots els casos pendents de https://ddd.uab.cat/idregistres.py que facin referència a identificadors ARE. Tant els possiblement identificats (apartat 2) com els possiblement duplicats (apartat 4).

Quan estigui resolt això, podrem decidir si, a tots els registres amb identificador ARE, els hi afegim l'equivalent oai:egreta.uab.cat. Però serà molt més fàcil si no en queden de pendents.

D'acord Ferran demà hi donarem prioritat a aquests lligams, però com que es relacionen amb la base de dades de Fénix que tens tu guardada i no amb el CRIS real, segur que no n'apareixeran més?

Correcte, tens raó. Si no hi faig res, a mesura que vagin entrant nous registres al DDD es poden trobar els equivalents ARE de Fènix i us els anireu trobant a https://ddd.uab.cat/idregistres.py. M'he de pensar una mica com ho aturo sense afectar la resta. Ja us avisaré aquí quan tingui les idees clares.

A veure, de moment no en trec cap conclusió, però he volgut saber si tot el que a Fènix constava com a ARE (és a dir, articles) ja és a Pure. I no, el resultat és que no. Dels 77.436 registres ARE que hem recollit, 28.070 són a Pure, i per tant, en manquen 49.357; és a dir, dues terceres parts.

Alguns exemples dels que hi són (amb oai:egreta.uab.cat) i que no hi són (sense l'egreta):

• ARE-1439 oai:egreta.uab.cat:publications/d423ac1e-fd96-4b25-bd57-55810c0c1043
• ARE-1439 recercauab:ARE-1439
• ARE-14394 recercauab:ARE-14394
• ARE-14397 recercauab:ARE-14397
• ARE-144 recercauab:ARE-144
• ARE-1440 oai:egreta.uab.cat:publications/3378a0c4-0e9e-40ba-a45f-431f6de49bb8
• ARE-1440 recercauab:ARE-1440
• ARE-14400 recercauab:ARE-14400
• ARE-14401 recercauab:ARE-14401
• ARE-14403 recercauab:ARE-14403
• ARE-14404 recercauab:ARE-14404
• ARE-14407 recercauab:ARE-14407
• ARE-14408 recercauab:ARE-14408
• ARE-14409 recercauab:ARE-14409
• ARE-1441 oai:egreta.uab.cat:publications/799b99f4-e6a1-4afd-843a-7f278ab571c6
• ARE-1441 recercauab:ARE-1441
• ARE-14410 recercauab:ARE-14410
• ARE-14411 recercauab:ARE-14411
• ARE-14412 oai:egreta.uab.cat:publications/d7ab7eab-6939-489a-89cf-9cde07f8061f
• ARE-14412 recercauab:ARE-14412
• ARE-14414 oai:egreta.uab.cat:publications/56704a09-5ca5-4bb0-8b5d-a7ba3fd0e54c
• ARE-14414 recercauab:ARE-14414
• ARE-14415 oai:egreta.uab.cat:publications/3c6ec0a1-1abf-4498-86c8-852dba77b703
• ARE-14415 recercauab:ARE-14415
• ARE-14416 recercauab:ARE-14416
• ARE-14417 recercauab:ARE-14417
• ARE-14418 recercauab:ARE-14418
• ARE-14420 recercauab:ARE-14420
• ARE-14421 recercauab:ARE-14421
• ARE-14422 oai:egreta.uab.cat:publications/f8aa4e8d-f683-49ab-bef8-08840e1539b3
• ARE-14422 recercauab:ARE-14422
• ARE-14423 oai:egreta.uab.cat:publications/60047e82-c52e-42aa-9201-81a502705786
• ARE-14423 recercauab:ARE-14423
• ARE-14424 oai:egreta.uab.cat:publications/d4f4fac6-1d16-4645-9b1d-a059642f8176
• ARE-14424 recercauab:ARE-14424
• ARE-14425 oai:egreta.uab.cat:publications/efa6a31a-1a42-4ad2-ae34-1f026b296165
• ARE-14425 recercauab:ARE-14425
• ARE-14426 recercauab:ARE-14426
• ARE-1443 recercauab:ARE-1443
• ARE-14430 oai:egreta.uab.cat:publications/d914cb86-1f9f-4855-ba9d-712523e4e3ef
• ARE-14430 recercauab:ARE-14430
• ARE-14431 recercauab:ARE-14431
• ARE-14432 oai:egreta.uab.cat:publications/c7557086-94f3-4721-ba83-637805fdfc7a
• ARE-14432 recercauab:ARE-14432
• ARE-14433 recercauab:ARE-14433
• ARE-14434 recercauab:ARE-14434
• ARE-14439 recercauab:ARE-14439
• ARE-1444 recercauab:ARE-1444
• ARE-14441 recercauab:ARE-14441
• ARE-14442 recercauab:ARE-14442
• ARE-14443 recercauab:ARE-14443
• ARE-14445 recercauab:ARE-14445
• ARE-14446 recercauab:ARE-14446
• ARE-14447 recercauab:ARE-14447
• ARE-14448 recercauab:ARE-14448
• ARE-14449 recercauab:ARE-14449
• ARE-1445 oai:egreta.uab.cat:publications/cb7b14a9-3085-4c99-beac-2f0ad4de421d

D'altra banda, dels 86.872 que tenen a Pure:

Actualització de dades, amb l'extracció a dia d'avui.

De egreta.uab.cat exporten, via OAI, 99.276 registres bibliogràfics. Per tipus de document Fènix, em surten aquestes sigles, que no totes sé què volen dir:

D'altra banda, d'identificadors oficials me'n surten aquests, tenint en compte que un registre en pot tenir més d'un:

Aquest cap de setmana he afegit l'equivalent egreta com a 035 pels identificadors Pure:

• https://ddd.uab.cat/search?sc=1&p=egreta
• https://ddd.uab.cat/search?sc=1&p=egreta&of=hm

Es tracta de 4.930 identificadors afegits. Crec que ja hi són tots els que tenim. És a dir, a partir de les extraccions OAI que faig d'Egreta, tinc 31.977 parelles eina-egreta. Però, dels 12.757 registres amb identificador Eina (https://ddd.uab.cat/search?sc=1&p=recercauab), no tots tenen la parella egreta.

A partir de l'extracció de demà ho confirmaré.

A partir de l'extracció de demà, també miraré quants identificadors egreta podem afegir a partir dels dois.

Avui podríem afegir:

• 49 nous identificadors egreta a partir dels que ja tenim com a 035 recercauab (ARE).
• 4.238 nous identificadors egreta a partir dels dois. Potser algun també forma part del primer grup, però no dels que vaig afegir el cap de setmana. És a dir, es tracta d'identificadors egreta nous al DDD.

Ho deixaré pel cap de setmana, doncs. I, de tota manera, donat que aquesta càrrega massiva segur que tindrà errors, crec que valdrà la pena fer algun tipus de comprovació a partir d'altres dades (títol, revista, issn, etc.), i que els que no quadrin del tot es validin manualment.

Cristina, tinc pendents aquest camps de la sortida Mods de Pure, que ara mateix estic ignorant però que potser en podem aprofitar algun. Ordenats de més a menys ocurrències.

Camp de nota, metadata visibility. L'ignorem.

• 99981 [u'mods:note', u'type="metadata visibility"', u'FREE']

Camps de nota, publicationStatus. De moment, anirà a la 926 (= per la 260)

• 178342 Unknown note type: [u'mods:note', u'type="publicationStatus"', u'published']
• 92 Unknown note type: [u'mods:note', u'type="publicationStatus"', u'inpress']
• 10 Unknown note type: [u'mods:note', u'type="publicationStatus"', u'unpublished']
• 10 Unknown note type: [u'mods:note', u'type="publicationStatus"', u'epub_ahead_of_print']
• 2 Unknown note type: [u'mods:note', u'type="publicationStatus"', u'submitted']

Camps de nota, peerreview status

• 49424 [u'mods:note', u'type="peerreview status"', u'Peer reviewed']
• 49205 [u'mods:note', u'type="peerreview status"', u'Non peer reviewed']

Camps de nota, publication workflow state. L'ignorem.

• 42254 [u'mods:note', u'type="publication workflow state"', u'approved']
• 29209 [u'mods:note', u'type="publication workflow state"', u'entryInProgress']
• 28518 [u'mods:note', u'type="publication workflow state"', u'forApproval']

Camps de nota, publication category. L'ignorem.

• 304 [u'mods:note', u'type="publication category"', u'Enciclopedy']
• 133 [u'mods:note', u'type="publication category"', u'Proceedings']

Camps de gènere, publicationType. De moment anirà a la 965 (= per la 655)
Caldria una correspondència amb https://guiasopenaire4.readthedocs.io/es/latest/field_publicationtype.html

• 3203 [u'mods:genre', u'authority="dct" type="publicationType"', u'Review article']
• 464 [u'mods:genre', u'authority="dct" type="publicationType"', u'Rese\xf1a cient\xedfica']
• 407 [u'mods:genre', u'authority="dct" type="publicationType"', u'Literature review']
• 285 [u'mods:genre', u'authority="dct" type="publicationType"', u'Entrada para enciclopedia/diccionario$
• 70 [u'mods:genre', u'authority="dct" type="publicationType"', u'Traducci\xf3n']
• 38 [u'mods:genre', u'authority="dct" type="publicationType"', u'Software']
• 23 [u'mods:genre', u'authority="dct" type="publicationType"', u'Translation']
• 20 [u'mods:genre', u'authority="dct" type="publicationType"', u'Entry for encyclopedia/dictionary']
• 5 [u'mods:genre', u'authority="dct" type="publicationType"', u'Productos visuales o digitales']

Serà important tractar amb ells la identificació institucional a través de https://ror.org/¶

La situació dels intercanvis és el següent:

• Egreta, el Pure de la UAB, ja està instal·lat i en producció, i tenen activat el servidor OAI
• Setmanalment, recol·lecto els seus registres bibliogràfics via OAI i els emmagatzemo al DDD de proves. Ara mateix en puc veure més de 107.000.
• El format que més ens interessa és el Mods, que a més de la informació bibliogràfics esperable, inclou molts identificadors: Dois, Orcids, Scopus, codis de departament i grups de recerca, etc.
• Hem estat esperant des de fa mesos que corregeixin un defecte: el nom desenvolupat dels departaments, facultats i grups de recerca surt en castellà. Semblava que seria una cosa que arreglarien fàcilment, però passen els mesos i no. Potser hem estat perdent el temps i ens hagués estat més fàcil quedar-nos amb el codi i agafar el nom del directori, però no ho sabíem.
• Els seus registres els hem aprofitat, al menys, per afegir els seus identificadors al DDD. Ara ja en tenim més de 10.000 (https://ddd.uab.cat/search?p=egreta&sc=1)
• Quedaria aprofitar-los per omplir http://recercauab.ddd.uab.cat/, que fa mesos que no s'actualtiza perquè es basava en Fènix. En farem una tasca específica.
• El que no tenim és cap petició específica per part de la gent de Recerca.

Ferran, sembla que hi pot haver un ball d'uns 2000 registres, fent la cerca per ARE surten 12.832 (https://ddd.uab.cat/search?p=recercauab), mentre que per egreta hi ha, com tu deies, 10.018 (https://ddd.uab.cat/search?p=egreta.uab.cat)

Correcte, en el seu moment ja vaig veure que no tot el que tenien a Fènix ja està a Egrega. I això que al DDD, de Fènix, només hi tenim articles (ARE) i que la llicència ho permeti.

Ara mateix no recordo com vaig fer els números, i tampoc no sé si ens solucionarien gaire res; ho dic perquè si no ho tenen ara, tard o d'hora ho acabaran tenint. Però sí que entenc que hauríem de poder aprofitar els seus registres per substituir el que ara tenim a http://recercauab.ddd.uab.cat/. Però potser la seva incorporació la podríem fer una mica més integrada, per exemple com https://ddd.uab.cat/dois.py. Ara mateix és una mica com fer treballs manuals. Ja en farem la tasca específica.

9 setembre 2020 Hem rebut un correu sobre la sortida oficial d'Egreta

Benvolgudes i benvolguts,
Com ja sabeu estem implantant la nova aplicació de gestió de la recerca EGRETA i finalment ha arribat el moment d'obrir-la al personal investigador per a la gestió del seu currículum vitae i tot allò relacionat amb les convocatòries i la gestió dels seus ajuts de recerca.
El procés que seguirem, tenint en compte la situació actual, serà d'una obertura gradual per centres. La idea és que al llarg d'aquest trimestre puguem tenir l'aplicació desplegada a tota la UAB.
En el moment en què s'obri EGRETA a la vostra facultat s'enviarà un correu als directors dels departaments implicats, on estareu en còpia, i un altre correu al PDI. Recordeu que totes les consultes que us puguin arribar les podeu redirigir a la Unitat de Gestió de Dades de l'Àrea de Gestió de la Recerca a través de l'adreça egreta@uab.cat
Us agraïm la vostra col·laboració i no dubteu en contactar amb nosaltres sempre que ho considereu oportú.
Anabel Poveda
Cap de l'Àrea de Gestió de la Recerca

De: pas-pdi-l-bounces@llistes.uab.cat <pas-pdi-l-bounces@llistes.uab.cat> En nom de Vicerectorat de Recerca i de Transferència
Enviat: miércoles, 16 de septiembre de 2020 15:28
Per a: pas-pdi-l@llistes.uab.cat
Tema: Obertura de l'Aplicació de Gestió de la Recerca EGRETA al Campus

Benvolgudes i benvolguts,

Com ja sabeu, estem treballant en el procés d’implantació d’un nou CRIS per a la Gestió de la Recerca, EGRETA, que substitueix Eina com a aplicació de la gestió curricular.

En el darrer correu que us vam fer arribar el dia 4 de juny passat, us informàvem que estàvem pendents de la certificació, per part de la FECYT, dels formats curriculars CVN i CVA per poder iniciar la implantació a la UAB. Doncs bé, aquest estiu hem obtingut la certificació dels dos formats curriculars i ja estem en disposició d’iniciar el desplegament de la nova aplicació.

Tal com us dèiem el mes de juny i atesa la situació sanitària actual, la implantació s’anirà fent per centres, amb l’objectiu de donar-vos un millor servei d’assessorament i d’acompanyament.

En el moment en què el vostre centre iniciï el procés, tot el personal investigador rebrà un correu per notificar-li l’obertura de l’aplicació EGRETA, amb tota la informació sobre els enllaços al material de suport i les adreces de contacte on trobaran tot l’assessorament que necessiten per començar a treballar-hi. Els directors i les directores de departament rebran també una comunicació electrònica que, a banda d’ajudar-los a gestionar el seu propi currículum, els servirà per tenir una visió global de la recerca que fa el seu departament.

Per altra banda, s’obrirà el Portal de Recerca de la UAB que s’alimenta directament de la informació que hi ha a EGRETA. Aquest nou Portal permet, a més, que tots els departaments, els centres i instituts i els investigadors i les investigadores que ho desitgin puguin tenir una plana pròpia amb la informació sobre la seva recerca que decideixin fer pública.

Esperem que aquesta nova aplicació doni un bon servei a tota la comunitat universitària i que permeti alhora visualitzar molt millor la recerca que fem a la UAB.

Ben cordialment,

Armand Sánchez
Vicerector de Recerca i de Transferència

Vicerectorat de Recerca i de Transferència
Vicerectorat d'Innovació i de Projectes Estratègics

Plaça Acadèmica - Edifici A - Despatx A/1089
Campus de la UAB · 08193 Bellaterra
(Cerdanyola del Vallès) · Barcelona · Spain

34935811832
www.uab.cat

Des d'avui mateix ja exportem les equivalències diàries entre els identificacions OAI d'Egreta i els recid del DDD . Ho afegim a les altres equivalències de https://ddd.uab.cat/data/recercauab/egreta2ddd.tab

Reunió de coordinació 08/10/2020

• L'investigador pot sincronitzar-se la seva informació a ORCID, de manera bidireccional. Es paga a ORCID per utilitzar les apis des d'un servidor, el servidor d'Egreta. En un futur es podria fer un consorci per tenir les funcionalitats 'premium', calen 5 universitats interessades (de moment ho estaria Málaga), l'Àrea voldria una coordinació des de Fecyt.
• Hem de fer proves de càrrega de documents i fitxers de Egreta al DDD. Ara mateix un dels problemes fonamentals és que els noms dels departament apareixen en anglès. Els comentem que potser seria millor no traduir-los, però no sabem si ho faran. Primer hem de decidir com carreguem els registres i després veure com capturem els fitxers. Una solució seria anar a través del codi del departament i no fer cas del nom que surt a Egreta, els codis d'Egreta venen de Badus, notifica les noves entrades a través de correu; en una nova fase d'Egreta està prevista la integració amb Badus.
• En Marc ha de fer una exportació de tots els codis de departament i també caldria algun fitxer de prova per veure com l'agafem, en Marc donarà la url del fitxer. Cal veure com es relaciona aquest fitxer amb la informació de la referència a Egreta.
  En Marc donarà els codis ORCID dels autors i si no hi ha el niu i també la data en que s'ha pujat el fitxer.
• A l'hora d'afegir un arxiu es pot configurar una opció que ara és Mensaje de texto y recursos > Recursos de textos > Acceso público al archivo; biblioteques podem escollir si volem que ens marquin si és d'un grup de recerca o quina versió és. Li hem d'enviar a la Rosa la resposta .
• Establim la nomenclatura dels botons que indiquen com informar de l'enllaç al DDD i com pujar el fitxer.
  Upload files to ddd.uab.cat i al botó Upload files; Subir ficheros a ddd.uab.cat.
• En Ferran i la Cristina han de repensar el sistema 'recercauab'.
• Després de mirar les càrregues d'Egreta hauríem de veure com els podem passar els articles o documents que ara tenim al DDD sense identificador d'Egreta. Com a identificador l'ORCID UUID aniria bé.
• La UAB ha aconseguit d'Elsevier el CVN i el CVA, així que hauria de ser alguna altra universitat espanyola que demanés la sincronització amb Dialnet.
• El material de congressos permet pujar fitxers però de manera interna, no té el mateix desplegable i no té l'opció del desplegable de pujar al DDD. Miraran de demanar-ho a Elsevier.

1. Fase 1, càrrega de fitxers des d'Egreta (articles, llibres, capítols de llibre, traduccions, actes de congrès, working papers, patents, documents no textuals i altres)
2. Fase 2, notificar a Egreta articles de personal UAB que no estiguin
3. Fase 3, notificar a Egreta altra tipologia de documents de personal UAB que no estiguin

Cal saber que el fitxer que pugin els investigadors es quedarà en el repositori de Pure.

Hem quedat amb la Cristina que ens cal l'equivalent entre els antics registres de Fènix (normalment ARE) i els nous d'Egreta. Els posaré a https://ddd.uab.cat/data/recercauab/

Ja hi és, en format separat per tabuladors o punt i coma. En aquest llistat és relativament fàcil de trobar aquells antics identificadors fènix (en general ARE-); amb el seu número de registre del DDD, i que no tenen l'equivalent Egreta:

https://ddd.uab.cat/data/recercauab/recercauab2egreta.tab

Ferran Jorba va escriure:

Ja hi és, en format separat per tabuladors o punt i coma. En aquest llistat és relativament fàcil de trobar aquells antics identificadors fènix (en general ARE-); amb el seu número de registre del DDD, i que no tenen l'equivalent Egreta:

https://ddd.uab.cat/data/recercauab/recercauab2egreta.tab

I amb aquests casos què creus què podem fer? Si faig una llista la podria mirar el Marc o la Rosa? Suposo que no s'han eliminat els registres, deu ser que han fet fusions amb registres nous i no han posat l'ARE antic...