Tasca #3737
tancatValoració per a l'entrada directa del DDD com a proveïdor de dades d'Europeana
Afegit per Cristina Azorin fa més de 10 anys. Actualitzat fa més de 5 anys.
Descripció
Fins ara les col·leccions patrimonials del DDD estaven representades a Europeana a través de la Biblioteca Nacional pel recol·lector espanyol, Hispana, i de la Biblioteca Nacional de Catalunya per les col·leccions que tenim duplicades a la MDC.
Ja fa temps que vam fer una queixa formal a Hispana perquè no estava recol·lectant nous registres i sembla que tenen greus problemes de funcionament. Hem decidit explorar la via de demanar entrada directa a Europeana des del DDD, per donar més visibilitat a les nostres col·leccions patrimonials.
Web d'Europeana: http://www.europeana.eu
Portal per a professionals: http://pro.europeana.eu/
Col·lecció UAB a EUROPEANA: https://metis-publish-portal.eanadev.org/portal/en/search?q=edm_datasetName%3A164_*&view=grid
Fitxers
| EstrategiaDeContenidosDeEuropeana_a2018m3.pdf (8.01 MB) EstrategiaDeContenidosDeEuropeana_a2018m3.pdf | Cristina Azorin, 12-03-2018 09:27 | ||
| prova_un_uab.xml (4.2 KB) prova_un_uab.xml | Ferran Jorba, 04-11-2019 10:54 | ||
| cucut_edm.xml (9.14 KB) cucut_edm.xml | Ferran Jorba, 04-11-2019 10:54 | ||
| Error report.docx (252 KB) Error report.docx | Documents amb els registres que donen error | Cristina Azorin, 09-01-2020 12:01 |
Tasques relacionades 4 (1 oberta — 3 tancades)
ES Actualitzat per Eulàlia Serre fa més de 10 anys Accions #1
Encara no he fet el primer pas que és omplir el formulari al final d'aquesta pàgina (molt simple). Si vols mira la informació que he recollit i si et sembla bé enviem el formulari.
Informació que donen a aquesta pàgina: http://pro.europeana.eu/share-your-data/how-to-contribute-data¶
Treballen amb tres tipus de aggregator: de nivell nacional o regional; de nivell "domain"; de nivell temàtic.
Es miraran la col·lecció (el DDD) i decidiran quina ruta de aggregation els sembla més adient. Ens connectaran amb el aggregator escollit per
ells i ens guiaran per aquestes passes:
Una vegada confirmin que la col·lecció pot ser afegida a Europeana ens demanaran que signem l'acord Europeana d'intercanvi de dades
(Europeana Data Exchange Agreement (DEA), http://pro.europeana.eu/page/the-data-exchange-agreement) on es fixen els termes legals de
compartició de dades. Amb el DEA signem acord de reutilització sense restriccions de les metadades per tercers, cada objecte digital haurà de
portar una etiqueta de drets on es descriura el seu estatus de copyright. Veure les directrius d'expressió de drets (Rights Statements
Guidelines, http://pro.europeana.eu/share-your-data/rights-statement-guidelines).
Llavors ens demanaran que donem tants detalls com sigui possible sobre la col·lecció a un formulari (Data Contribution Form). Quan tinguem notícies de Europeana haurem de preparar els dataset.
Tots els datasets a Europeana han de seguir aquestes directrius:
Europeana Data Model (EDM) specifications
Mapping and Normalisation Guidelines
Aquets documents es troben a la secció de directrius per les dades (Data Guidelines section, http://pro.europeana.eu/share-your-data/data-guidelines)
S'haurà de lliurar el dataset o una mostra del dataset. Tendeixen a fer servir OAI-PMH protocol o FTP. Europeana es mirarà el dataset i ens donarà consells sobre estructura de metadades, elements obligatoris i declaracions de drets (com s'expressa el copyright, penso).
Quan haguem fet que el dataset compleixi plenament amb les seves directrius, Europeana ho recol·lectarà des del aggregator o la nostra institució (depenent de la ruta de aggregation que hagin acordat amb nosaltres), i faran unes darreres comprovacions.
En el termini d'un mes hauria d'apareixer al repositori Europeana i ser accessible a través del portal Europeana i el API
Al final de la pàgina s'adjunta aquest document:
Data Exchange Agreement.pdf pdf 300.6KB (http://pro.europeana.eu/files/Europeana_Professional/DEA/Data%20Exchange
%20Agreement.pdf)
ES Actualitzat per Eulàlia Serre fa més de 10 anys Accions #2
- Assignat a ha canviat de Eulàlia Serre a Cristina Azorin
CA Actualitzat per Cristina Azorin fa més de 10 anys Accions #3
Gràcies Eulàlia, era just el que volia, ho parlaré amb la Núria a veure què fem.
En el tema drets veig que ells tenen en compte uns drets especials per a les obres orfes, potser estaria bé considerar-ho.
CA Actualitzat per Cristina Azorin fa aproximadament 10 anys Accions #4
- Estat ha canviat de Creada a En curs
- Assignat a ha canviat de Cristina Azorin a Núria Casaldaliga
Núria, fa dies que et volia comentar aquesta opció, perquè Hispana no dóna senyals de vida i no responen els meus correus.
Hem de valorar si decidim entrar directament a Europeana tenint en compte que hauríem de concertar una sessió amb en Miquel Centelles per a repassar els formats d'exportació en edm i ese.
Avui matex m'ha arribat una queixa del Core de Patrimoni perquè la col·lecció del Liceu no estava a Europeana, així que ens haurem de començar a moure. AM???
NC Actualitzat per Núria Casaldaliga fa quasi 10 anys Accions #5
Objectiu 2017?
CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions #6
- Data de venciment s'ha establert a 01-06-2017
- Paraula clau s'ha establert a JR
NG Actualitzat per Nuria Gallart fa quasi 9 anys Accions #7
Podríem reprendre aquest tema i intentar ser interlocutors directes amb Europeana?
Hi ha fons molt potents, com el de l'arxiu de la Societat del Gran Teatre del Liceu, que no tenen una visibilitat a Europeana que prestigiaria força a la nostra universitat.
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #8
- S'ha afegit relacionat amb Tasca #4702: Comprovar que la recol·lecció del fons patrimonial s'està fent correctament per part d'Hispana
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #9
Cal valorar d'entrar també a través d'Hispana. En qualsevol cas, ara ja està clar que hem de preparar una sortida d'OAI en edm.
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #10
- S'ha afegit relacionat amb Tasca #1631: Implementació EDM
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #11
Traduïdes al castellà la darrera versió de les EDM. Modelo de Datos de Europeana (EDM). Directrices de Asignación v 2.4 http://hispanapro.mecd.es/modelo-de-datos-de-europeana-edm-directrices-de-asignacion-v-2-4/
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #12
- Paraula clau s'ha suprimit (
JR)
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #13
- Paraula clau s'ha establert a JR
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #14
- Data de venciment ha canviat de 01-06-2017 a 29-06-2018
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #15
- S'ha afegit relacionat amb Tasca #4676: Incloure al DDD i a la MDC les noves llicències d'Europeana
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #16
- S'ha afegit Fitxer EstrategiaDeContenidosDeEuropeana_a2018m3.pdf EstrategiaDeContenidosDeEuropeana_a2018m3.pdf
El equipo de HISPANA, de la Subdirección General de Coordinación Bibliotecaria, presenta la traducción al español de Europeana Content Strategy
Con el objetivo de conseguir contenidos adecuados para el usuario en el momento justo, esta “Estrategia de Contenidos de Europeana” impulsa el desarrollo y la gestión de contenidos accesibles a través de Europeana Collections y las APIs de Europeana, basándose en dos principios rectores: calidad en lugar de cantidad; y orientación a la demanda en la captación y publicación de contenidos.
Siguiendo estos principios, se especifica la forma en la que se tratarán diferentes aspectos de los contenidos que recolecta Europeana de las instituciones culturales europeas.
El documento que ahora presentamos se suma al esfuerzo que viene realizando la Subdirección General de Coordinación Bibliotecaria para facilitar el acceso a la normativa de Europeana a los profesionales de las instituciones culturales españolas implicados en la gestión de datos.
============
HISPANA - portal de acceso al patrimonio digital y agregador nacional de Europeana
MECD – Secretaría de Estado de Cultura
Subdirección General de Coordinación Bibliotecaria
info.roai@mecd.es
http://hispana.mcu.es
https://twitter.com/hispana_roai
https://www.facebook.com/hispana.roai
NC Actualitzat per Núria Casaldaliga fa aproximadament 8 anys Accions #17
- Assignat a ha canviat de Núria Casaldaliga a Teresa Santos
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #18
- Data de venciment ha canviat de 29-06-2018 a 31-12-2018
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #19
- Paraula clau s'ha suprimit (
JR)
CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #20
Correu per enviar a Europeana
harry.verwayen@europeana.eu (Director) julia.fallon@europeana.eu (Polítiques i pràctiques)
amb còpia a la BNC Eugenia Serra Aranda <eserra@bnc.cat>
Benvolgut Verwayen,
Us escrivim per tal de demanar l’entrada com a proveïdor directe a Europeana, tenint en compte que el nostre nòdul nacional és la Biblioteca Nacional de Catalunya (http://www.bnc.cat/). Us enviem adjunt amb aquest correu el Data Exchange Agreement Template signat pel Director del Servei de Biblioteques.
El Dipòsit Digital de Documents (http://ddd.uab.cat) és el repositori institucional de la Universitat Autònoma de Barcelona. Dona accés tan a les col·leccions de recerca com al fons patrimonial. La Universitat està treballant en programes de digitalització de fons documental des del 2007 i actualment tenim més de 25.000 registres. El tipus de fons és molt variat inclou tant fons documental (llibres i revistes) com fons manuscrit, cartogràfic, partitures, imatges... També hi ha una important representació de fons personals donats per personatges de prestigi de la universitat o escriptors catalans.
Alguns dels registres més representatius podrien ser: cartografia https://ddd.uab.cat/record/176339, llibre manuscrit https://ddd.uab.cat/record/91196, fotografies https://ddd.uab.cat/record/113874, carta manuscrita https://ddd.uab.cat/record/7888 ...
Des del repositori hem habilitat un set de recol·lecció OAI específic https://ddd.uab.cat/oai2d?verb=ListRecords&metadataPrefix=oai_dc&set=uabeuropeana des d’on podeu consultar el nostre fons. A la vegada els nostres registres disposen de l’exportació en el format EDM i pensem que compleixen tots els requisits per entrar a formar part de les vostres col·leccions. Les nostres metadades tenen llicència de reutilització amb ‘Public domain’.
Restem a l’espera de l’estudi de la nostra sol·licitud.
Salutacions cordials,
Qui envia el correu?
NC Actualitzat per Núria Casaldaliga fa aproximadament 7 anys Accions #21
D'acord amb la proposta de mail, gràcies!
TS Actualitzat per Teresa Santos fa aproximadament 7 anys Accions #22
Jo també estic d'acord amb la proposta de mail. Moltes gràcies
ES Actualitzat per Eulàlia Serre fa aproximadament 7 anys Accions #23
Dear Verwayen,
We write to ask to become a direct provider to Europeana. Our national node is Biblioteca Nacional de Catalunya (http://www.bnc.cat/). Please find enclosed the Data Exchange Agreement Template signed by the Head of the Library Service.
DDD- Dipòsit Digital de Documents (http://ddd.uab.cat) is the Universitat Autònoma de Barcelona institutional repository. DDD provides Access to research collections as well as institutional archives. The University works in digitisation projects since 2007 and at present it has over 25.000 records. Holdings are very diverse and include books and periodicals as well as manuscripts, maps, musical scores… There is also an important section of Personal Archives donated by reputated University members or Catalan writers.
Some of the more representative documents are: cartography https://ddd.uab.cat/record/176339, book manuscript https://ddd.uab.cat/record/91196, photographs https://ddd.uab.cat/record/113874, handwritten letter https://ddd.uab.cat/record/7888 ...
We’ve designed an specific OAI recollection set https://ddd.uab.cat/oai2d?verb=ListRecords&metadataPrefix=oai_dc&set=uabeuropeana from which you can access our holdings. Also, our records can be exported in EDM format. We think the records comply with all the requirements to be included in your collections. Our metadata have a reuse “Public domain” license.
We look forward to hearing from you once you’ve considered our request.
Yours faithfully,
CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #24
- Data de venciment ha canviat de 31-12-2018 a 20-11-2019
- Assignat a ha canviat de Teresa Santos a Cristina Azorin
Avui s'ha enviat el correu amb el document signat adjunt des de la bústia del DDD i signat pel Joan Ramón.
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #25
Resposta d'Europeana
De: Henning Scholz [mailto:henning.scholz@europeana.eu]
Enviado el: divendres, 12 d’abril de 2019 18:36
Para: ddd.bib@uab.cat
CC: Harry Verwayen; Eugenia Serra Aranda
Asunto: Re: Universitat Autònoma de Barcelona direct provider to Europeana
Dear Mr. Gomez Escofet,
I'm the head of the Data Partner Services team at Europena and Harry forwarded me your email to follow it up with you. Thank you for the DEA and for your interest publishing in Europeana. From what I see your collections are of high quality and are very much of relevance for us. So we are happy to see the collections published in Europeana. If you can please send us the DEA by mail, we will then process it on our side and get it signed by Harry. Please send it to our office (Europeana Foundation, Prins Willem-Alexanderhof 5, 2595 BE Den Haag, Netherlands).
You are saying that your node is the Biblioteca Nacional de Catalunya. But you are also saying we should harvest directly from your OAI endpoint. Is this OAI endpoint only for your data or this endpoint the one used for other submissions from partners the Biblioteca Nacional de Catalunya is working with? I see Eugenia Serra was cced in the conversation. How do you see the process to work? Once this is clarified and we have the DEA signed we can proceed harvesting the data.
Best regards,
Henning
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #26
Parla en nom nostre la Biblioteca de Catalunya
Dear Mr. Heninng Scholz,
Mr. Gomez Escofet and I have talked about how to proceed and we have agreed to work as we usually do with other Catalan institutions. Consequently, the Biblioteca de Catalunya will manage the request of harvesting for the DDD- Dipòsit Digital de Documents (http://ddd.uab.cat), the institutional repository of the Universitat Autònoma de Barcelona.
Best regards,
Eugènia Serra
Director
La persona que habitualment s’encarrega de les captures em diu que està de vacances i no torna fins a mig maig, que si és urgent ho podem demanar per una altra via (no habitual).
Tenint en compte que és ella la que té experiència en aquests temes, si us sembla bé, esperem a que torni.
Eugènia
Hem respost des de la UAB que ens esperem que torni la persona.
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #27
- Assignat a ha canviat de Cristina Azorin a Ferran Jorba
Després d'una conversa telefònica amb l'Eugènia cal que fem algunes modificacions al format EDM:
Registre d'exemple: https://ddd.uab.cat/record/17649/export/xdm?ln=ca
1. No pot haver un 'isShownAt' i un (pitjor en aquest cas que són molts) 'isShownBy'.
<edm:isShownAt>https://ddd.uab.cat/record/17649</edm:isShownAt>
<edm:isShownBy>
https://ddd.uab.cat/pub/bolencnobart/bolencnobart_a1847m3n23-24.pdf
</edm:isShownBy>
Ens proposa que eliminem l'etiqueta 'isShownBy' (totes les línies que correponen a cada pdf).
2. Al <dc:dataProvider>Universitat Autònoma de Barcelona</dc:dataProvider> surt la UAB i hauríem de fer el mateix en els camps corresponent del EDM:
<edm:dataProvider>Dipòsit Digital de Documents de la UAB</edm:dataProvider>
<edm:provider>Dipòsit Digital de Documents de la UAB</edm:provider>
Diu que aquí generalment apareix la institució i no el repositori.
També sembla que tenen problemes a l'hora d'accedir a descarregar els nostres registres. He pensat que potser per això aquests dies estem rebent tants missatges d'atac contra el DDD, podria ser Ferran??
Ella esperarà que li donem una resposta d'aquestes temes abans de respondre a Europeana.
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #28
- Prioritat ha canviat de Normal a Urgent
FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #29
Hola Cristina,
sí, jo entenc que si no hi van poder accedir va ser perquè va coincidir amb els dies de sobrecàrrega del DDD. Pel que fa a les correccions de les etiquetes isShownAt i isShownBy i dataProvider, crec que al DDD de proves ja està corregit. Si m'ho pots confirmar (quatre ulls veuen millor que dos), ho passo al DDD públic:
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #30
Ferran, veig que no em vai explicar gaire bé al punt 2, tant a <dc:dataProvider> com a <edm:dataProvider> i <edm:provider> ha de dir Universitat Autònoma de Barcelona
FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #31
Ho he canviat; ara està bé? https://ddd-test.uab.cat/record/17649/export/xdm
CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #32
Ara sí, tot correcte. Quan ho passis a producció contesto a la BC.
FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #33
CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #34
- Paraula clau s'ha establert a JR
FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #35
De: Eugenia Serra Aranda <eserra@bnc.cat>
Enviat: miércoles, 2 de octubre de 2019 14:45
Per a: Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: EDM UAB
Bona tarda, Cristina,
En primer lloc, dir-te que en adjunt trobaràs un dels registres del vostre set modificat tal com ha de ser per a què no doni errors. Es diu “prova_un_uab.xml”. També us annexo el fitxer de la revista Cucut extret d’ARCA en EDM, que tampoc no dona problemes de captura, es diu “cucut_edm.xml”.
Per tal de testejar els canvis que feu, hi ha un programari, l’Oxigen Editor, que permet validar l’esquema EDM. Us el podeu descarregar la versió d’avaluació per un mes gratuïtament a https://www.oxygenxml.com/ .
Us adjunto el document d’Europeana “EDM Schematron ....pdf” on expliquen com utilitzar aquest programari per validar els fitxers; tot és correcte excepte una cosa: a la pàgina dos, on diu com configurar la validació, utilitzeu la URL https://www.europeana.eu/schemas/edm/EDM.xsd y no el fitxer local, amb el fitxer local no detecta tots els errors.
Dit tot això, les modificacions que cal fer als vostres registres són:
1. Tota la part inicial de declaracions que tenen a veure amb OAI, Primo etc, no s’ha d’incloure, és a dir, heu d’eliminar :
<OAI-PMH xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/ http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd">
<responseDate>2019-10-02T09:18:23Z</responseDate>
<request verb="ListRecords" set="uabeuropeana" metadataPrefix="edm">http://ddd.uab.cat/oai2d</request>
<ListRecords>
<record>
<header>
<identifier>oai:ddd.uab.cat:17649</identifier>
<datestamp>2018-12-01T05:05:16Z</datestamp>
<setSpec>uabeuropeana</setSpec>
<setSpec>raac</setSpec>
<setSpec>primocentral</setSpec>
</header>
<metadata>
<edm:record xmlns:edm=http://www.europeana.eu/schemas/edm/
I els corresponents tancaments de camps a final del registres. A EDM no existeixen
<metadata>
<record>
<header>
2. Els namespaces que utilitza Europeana són:
• dc: http://purl.org/dc/elements/1.1/
• dcterms: http://purl.org/dc/terms/
• edm: http://www.europeana.eu/schemas/edm/
• ore: http://www.openarchives.org/ore/terms/
• owl: http://www.w3.org/2002/07/owl#
• rdf: http://www.w3.org/1999/02/22-rdf-syntax-ns#
• foaf: http://xmlns.com/foaf/0.1/
• skos: http://www.w3.org/2004/02/skos/core#
• rdau: http://www.rdaregistry.info/Elements/u/
• wgs84_pos: http://www.w3.org/2003/01/geo/wgs84_pos#
• crm: http://www.cidoc-crm.org/rdfs/cidoc-crm#
• cc: https://creativecommons.org/ns#
Que els inclou habitualment dins de <rdf:RDF
3. Els camps <edm:isShownAt> i <edm:rights> han de portar l’atribut rdf:resouce dins del camp, hauria de quedar així
<edm:isShownAt rdf:resource="https://ddd.uab.cat/record/17649"></edm:isShownAt>
4. El camp <odrl:inheritfrom rdf:resource="https://creativecommons.org/publicdomain/mark/1.0/" /> no pertany a la Class <ore:Aggregation>, per tant, tenint en compte que els drets ja els poseu a <edm:rights, jo l’eliminaria.
Espero no haver-me deixat res.
Ja em direu què tal.
Records,
Eugènia
FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #36
- S'ha afegit Fitxer prova_un_uab.xml prova_un_uab.xml
- S'ha afegit Fitxer cucut_edm.xml cucut_edm.xml
Adjutem els dos exemples del correu de l'Eugènia Serra.
CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #37
Alternativa com a validador de EDM: https://github.com/CSUC/ECHOES-Tools/wiki
FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #38
Ferran: a edm.py cal agafar la versió completa DC (basada en format_templates/DC.xsl), no la simplificada (bfe_xml_record.format_element) com a base del edm.
FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #39
Ferran Jorba va escriure:
Ferran: a edm.py cal agafar la versió completa DC (basada en format_templates/DC.xsl), no la simplificada (bfe_xml_record.format_element) com a base del edm.
Ja està fet. Ara falta tornar a repassar tot el resultat, perquè els camps són uns altres.
CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #40
Bon dia Eugènia,
Ens hem repassat la sortida edm amb molt de carinyo, podríeu fer de nou una prova de càrrega a veure si ara ja va tot fi??
Exemple de registre: https://ddd.uab.cat/record/70915/export/xdm (tots els registres del DDD tenen aquesta opció d’exportació en EDM).
Gràcies per tot i disculpa les molèsties. Salutacions,
CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #41
- Prioritat ha canviat de Urgent a Normal
Després de la revisió de les metadades avui la Biblioteca de Catalunya a tornat a demanar a Europeana la nostra recol·lecció (creuem els dits).
CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #42
Doncs sembla que segueixen havent problemes. Hem demanat a l'Eugènia que ens posi en contacte directe amb el tècnic d'Europeana Maša Škrinjar <masa.skrinjar@europeana.eu>. En Ferran va fent el seguiment dels canvis que cal fer.
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #43
From: Ferran Jorba <ferran.jorba@uab.cat>
To: Maša Škrinjar <masa.skrinjar@europeana.eu>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Thu, 5 Dec 2019 13:46:47 +0100
Organization: Universitat Autònoma de Barcelona
Dear Maša,
Cristina and me have thoroughly reviewed our EDM output and we think that we are in better shape now. We have validated them via http://metis-validation-rest-acceptance.eanadev.org/swagger-ui.html and apparently it works.
Could you please try it again?
https://ddd.uab.cat/oai2d?verb=ListRecords&metadataPrefix=edm&set=uabeuropeana
Thanks so much,
Ferran
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #44
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <ferran.jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Mon, 9 Dec 2019 11:02:17 +0100
Hi Ferran,
Thanks for fixing this! I've now harvested records, here is the link to the
preview:
https://metis-preview-portal.eanadev.org/portal/en/search?q=edm_datasetName%3A164_*&view=grid
261 records were deleted from OAI so we harvested 25147 records.
During validation 3817 records were discarded because they are not valid
EDM. List of discarded identifiers is attached in this email. Errors are:
1. Mandatory elements missing in edm:ProvidedCHO (3812 records affected)
Mandatory elements are:
dc:title OR dc:description
dc:language for text objects
dc:subject OR dc:type OR dcterms:spatial OR dcterms:temporal
edm:type
In your case the missing element is edm:type.
2. Mandatory elements missing in ore:Aggregation (5 records affected)
Mandatory elements are:
edm:dataProvider
edm:isShownAt OR edm:isShownBy
edm:provider
edm:rights
edm:aggregatedCHO
In your case the missing element is edm:rights.
Quality: the majority of records are now in content tier 2, which is great
- thanks for adding isShownBy. Metadata quality is low (all records are in
tier 0 because of missing language attributes). Because the content quality
is relatively good we would publish these records despite being in metadata
tier 0. Would you like to fix discarded records first so that we can
publish the complete set, or would you prefer if I publish the set as it is?
Here are a few general recommendations regarding mapping:
1. dc:format property is used to indicate the format of the cultural
heritage object (and not the digital copy). In this case
<https://metis-preview-portal.eanadev.org/portal/en/record/164/68108.html>,
for example, the more appropriate value for dc:format would be "Magazine".
2. Even though there are no mandatory properties in edm:WebResource we
still advise providers to include the WeResource class to provide more
information about the digital representation of the provided cultural
heritage object.
With best wishes,
Maša
CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #45
- S'ha afegit Fitxer Error report.docx Error report.docx
- Data de venciment ha canviat de 20-11-2019 a 16-03-2020
Després d'analitzar els errors veiem que molts venen donats per les càrregues dels excel del Liceu, el type apareix com a 'text', tot en minúscules, i hauria de ser 'Text'.
A partir d'ara, en el programa de conversió i importació ja es farà la comprovació i el canvi. Pel que fa als antics, uns quants ja (image -> Image) ja els hem fet, i els de text -> Text, com que són 3497, els arreglem automàticament al DDD (cada nit se'n faran 100, i el cap de setmana 1000 cada hora; en aquest cap de setmana ja hi seran tots)
CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #46
- Paraula clau ha canviat de JR a JR NCR
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #47
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <ferran.jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Thu, 16 Jan 2020 11:42:58 +0100
Dear all,
Happy New Year! I hope this email finds you well, and that you had some
nice time off over the festive season.
Sorry for nagging you, I just want to check whether you've had the time to
look at the dataset provided by Universitat Autonoma de Barcelona that is
sitting in preview. It would be good if we could move ahead with
publication (unless you wish to fix the records that were discarded first):
https://metis-preview-portal.eanadev.org/portal/en/search?q=edm_datasetName%3A164_*&view=grid
I also have news regarding our workflow - in 2019 DPS team started working
with Jira (an issue tracking software that we use to plan data ingestion
work). One of the advantages is that every dataset has its own ticket in
Jira and allows data partners to track the ingestion progress, as well as
making comments directly on the ticket.
We have prepared a guide that explains all this in more detail (and
includes screenshots):
https://docs.google.com/document/d/16uXVf1LVF_V7lsP5vEhg8FbGxxMG7CBKjTomh8gcGnI/edit?usp=sharing
We also have a sign-up sheet to collect relevant information we need to add
you to Jira:
https://docs.google.com/spreadsheets/d/1C0nTweU7DW1kj2orOYD852927T8qHFkwRIG6QMJGCkI/edit?usp=sharing
Please let me know if you have any questions or comments about the above.
With best wishes,
Maša
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #48
From: Ferran Jorba <Ferran.Jorba@uab.cat>
To: Maša Škrinjar <masa.skrinjar@europeana.eu>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Wed, 22 Jan 2020 18:02:45 +0100
Organization: Universitat Autonoma de Barcelona
Dear Maša,
thanks for the updates. We have been correcting most of the errors of the previous mail (many of them where due to a miscapitalization of the word Text), and the next, that require more supervision, will come next.
We have one question about the presentation, though: currently, records provided by UAB are all mixed together, mixing political posters, old books, artwork and the like.
Our question is: does it depend on the oai set or sets we provide? In other words: if we create different oaisets for different type of documents, would Europeana use this sets to create different collections for our records?
A related question is: how does Europeana create and define its collections?
Best regards,
Ferran Jorba
In behalf of the UAB team
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #49
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <Ferran.Jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Thu, 23 Jan 2020 10:52:13 +0100
Hi Ferran,
Each OAI set presents one dataset on Europeana Collections. Each dataset
has its own unique name that starts with dataset ID.
Europeana Collections allows different ways of browsing, depending on the
filters you are using:
-If user is looking for records under providing institution, the results
will show all records by that institution
https://www.europeana.eu/portal/en/search?q=&f%5BDATA_PROVIDER%5D%5B%5D=Universitat%20Aut%C3%B2noma%20de%20Barcelona&view=grid
As you can see, the results are not be ordered by datasets.
-User can also browse for a specific dataset:
https://www.europeana.eu/portal/en/search?view=grid&q=europeana_collectionName%3A91943*
In order to browse for a specific dataset user needs to know the dataset
ID. This information can be found on every item page in "References and
Relations" section. Dataset ID can also be found using Europeana Search API
<https://pro.europeana.eu/resources/apis/search>:
https://www.europeana.eu/api/v2/search.json?query=PROVIDER:%22Universitat+Aut%C3%B2noma+de+Barcelona%22&rows=0&facet=europeana_collectionName&profile=facets&wskey=api2demo
You can request your API key here:
https://pro.europeana.eu/get-api
I hope this answers your question.
Best,
Maša
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #50
From: Ferran Jorba <Ferran.Jorba@uab.cat>
To: Maša Škrinjar <masa.skrinjar@europeana.eu>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Fri, 24 Jan 2020 13:49:42 +0100
Organization: Universitat Autonoma de Barcelona
Dear Maša,
yes, now we understand your answer, thanks.
So, for our part, we think that you can go ahead harvesting UAB. Is there anything else we should be aware of?
Eugènia, is it also ok with you?
Thanks,
Ferran
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #51
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <Ferran.Jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Fri, 24 Jan 2020 14:18:25 +0100
Thanks, Ferran. I'll reharvest the set and keep you posted about the
outcome.
Have a nice weekend!
Best,
Maša
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #52
Segons els logs d'aquest cap de setmana, ja ens han recol·lectat:
https://ddd.uab.cat/accessos/2020/access_a2020_robots_oai.max
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #53
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <Ferran.Jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Fri, 24 Jan 2020 14:18:25 +0100
Thanks, Ferran. I'll reharvest the set and keep you posted about the
outcome.
Have a nice weekend!
Best,
Maša
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #54
From: Maša Škrinjar <masa.skrinjar@europeana.eu>
To: Ferran Jorba <Ferran.Jorba@uab.cat>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Tue, 28 Jan 2020 13:57:53 +0100
Dear all,
I re-ingested the set, here is the link to the preview:
https://metis-preview-portal.eanadev.org/portal/en/search?q=edm_datasetName%3A164_*&view=grid
Out of 3817 records that were discarded during previous ingestion, 17
records have been fixed, while 3800 were discarded again because of missing
edm:type.
The content quality is good, but I would recommend to raise the
metadata quality by providing language tags for each property that has a
literal value. This should lift your records from metadata tier 0 to A.
I also have a few suggestions regarding mapping:
1. Dc:format property is used for indicating the format of the physical
cultural heritage object and not a digital copy of this object. All
information in edm:ProvidedCHO is about actual object itself, and not its
digital surrogate. Mapping "application/pdf" to edm:ProvidedCHO is
confusing because it implies that this is a digital born object, when in
fact it is a non-digital object that has been digitised.
If you wish to indicate the format of digital surrogate, please map this
information to edm:WebResource class.
2. Rights statement: I suggest you only map Europeana rights statement URI
(e.g. https://rightsstatements.org/vocab/InC/1.0/) to edm:rights property.
There is no need for duplication in dc:rights as well.
Please do let me know if you are planning to fix the discarded records and
implement mapping suggestions.
Best,
Maša
FJ Actualitzat per Ferran Jorba fa aproximadament 6 anys Accions #55
From: Ferran Jorba <ferran.jorba@uab.cat>
To: Maša Škrinjar <masa.skrinjar@europeana.eu>
Cc: Eugenia Serra Aranda <eserra@bnc.cat>, Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Subject: Re: UAB OAI for harvesting
Date: Wed, 29 Jan 2020 13:03:33 +0100
Organization: Universitat Autònoma de Barcelona
Hello Maša,
thanks for your report. We'll review all your advices. However, there is something that we can start working on, but we don't know hot to correct them. How can we see the records that don't have edm:type? Or, if there is no web interface, could you please give us a bunch of record ids that fail?
Thanks,
Ferran
CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #56
- S'ha actualitzat Descripció (diferències)
De: Ferran Jorba García <Ferran.Jorba@uab.cat>
Enviat: lunes, 3 de febrero de 2020 17:42
Per a: Maša Škrinjar <masa.skrinjar@europeana.eu>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Hello Maša,
ok, thanks for being clear and explaing the reasons; I won't insist.
Best regads,
Ferran Jorba
De: Maša Škrinjar <masa.skrinjar@europeana.eu>
Enviat: lunes, 3 de febrero de 2020 17:29
Per a: Ferran Jorba García <Ferran.Jorba@uab.cat>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
With the current workflow, periodic harvesting is not an option for us. Every dataset needs to go through several steps in our aggregation tool Metis. There are also levels of manual intervention, determining the order of the steps and so on. With manual harvesting it is much easier for us to keep track of mapping and other changes. So at least for now, we are not planning to implement periodic harvesting.
Best,
Maša
De: Ferran Jorba García <Ferran.Jorba@uab.cat>
Enviat: lunes, 3 de febrero de 2020 16:42
Per a: Maša Škrinjar <masa.skrinjar@europeana.eu>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Hello Maša,
could you please consider periodic harvesting? This is the core of OAI: give me the new or updated records, and also: give me the deleted records. If done periodically (daily, weekly or monthly, it doesn't matter), Europeana will be up-to-date, and the update procedure is fast and everybody would avoid manual tasks.
Again, this is the core idea of OAI. Could you please plan to do it this way?
Thanks,
Ferran Jorba
De: Maša Škrinjar <masa.skrinjar@europeana.eu>
Enviat: lunes, 3 de febrero de 2020 13:49
Per a: Ferran Jorba García <Ferran.Jorba@uab.cat>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Oh, I see what you mean - we don't have an automatic periodical harvesting. We only harvest repositories when we receive a request from providers. To request an update you can make a comment in Jira or drop me an email when your repository is updated and ready to be harvested again.
Best,
Maša
De: Ferran Jorba García <Ferran.Jorba@uab.cat>
Enviat: lunes, 3 de febrero de 2020 13:37
Per a: Maša Škrinjar <masa.skrinjar@europeana.eu>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Hello Maša,
sorry I don't understand how you explain your harvesting workflow, and how does it affect individual repostiories like ours: do you harvest us (like any other) daily? Is that true? Or you daily harvest repositories and individual ones (like us) get harvested every 2 week?
I'm asking that because our record upgrading will happen irregulary. For example, this weekend we have fixed a number of dc:type miscapitalization (text instead of Text) that affected edm output. We will continue to fix our records, but some of them are just mechanic changes while others will require manual work.
So, the question is: are we going to be harvested periodically (following the OAI philosophy), unattended, so we should not bother to inform you about our new and improved records? If you ask us, we think that it should be this way, automatically.
Thanks again,
Ferran Jorba
El Mon, 3 Feb 2020 11:41:54 +0100
Maša Škrinjar <masa.skrinjar@europeana.eu> va escriure el següent:
Hi Ferran,
I published the set as it is - here's the link:
https://metis-publish-portal.eanadev.org/portal/en/search?q=edm_datasetName%3A164_*&view=grid
Let me know when you fix the discarded records and I'll schedule the set for the update. We harvest repositories on a daily basis - we work in
2-weeks sprints and we process data on first-come first-serve basis.
Best,
Maša
De: Ferran Jorba García <Ferran.Jorba@uab.cat>
Enviat: jueves, 30 de enero de 2020 18:52
Per a: Maša Škrinjar <masa.skrinjar@europeana.eu>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Hi Maša,
thanks for the report. It will take some time to upgrade those records, because, besides Europeana, we have other issues at work. However, it will help, of course.
How often do you harvest the repositories? Because we think that our records could be published as they are now, as you'll get the improved records as we upgrade them.
Thanks again,
Ferran
De: Maša Škrinjar <masa.skrinjar@europeana.eu>
Enviat: miércoles, 29 de enero de 2020 13:24
Per a: Ferran Jorba García <Ferran.Jorba@uab.cat>
A/c: Eugenia Serra Aranda <eserra@bnc.cat>; Cristina Azorín Millaruelo <Cristina.Azorin@uab.cat>
Tema: Re: UAB OAI for harvesting
Hi Ferran,
Sorry in advance for having a disappointing answer for you:
Metis generates a report with affected OAI identifiers, but it only covers a sample. In your case we only have a list of identifiers for around 200 records that were discarded. I don't have the list of other discarded records as I can only see the final number of records that were not ingested.
Here's the copy of the report:
https://docs.google.com/document/d/1eWeIC9Xlii2gB_4K8Ut16slDWRqMIAJ-DEXWnDGsdPI/edit?usp=sharing
You can find OAI identifier in "AdditionalInfo" section
Best,
Maša
CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #57
- Estat ha canviat de En curs a Tancada
Tanquem aquesta tasca tot i que encara queden registres amb errors i manca d'etiquetes obligatòries. Obro una nova tasca per veure si alguns d'aquests problemes es poden solucionar de manera automàtica.
CA Actualitzat per Cristina Azorin fa aproximadament 6 anys Accions #58
- S'ha afegit relacionat amb Tasca #5580: Europeana - Mirar de completar els registres de fons patrimonial per millorar la recol·lecció.
CA Actualitzat per Cristina Azorin fa més de 5 anys Accions #59
- Paraula clau s'ha suprimit (
JR NCR)