DDD

Tot sobre Europeana i les seves metadades:

http://pro.europeana.eu/web/guest/topics;jsessionid=77FB98C27FC71330F95AC02C15607C13?p_p_id=topicnavigationportlet_WAR_europeanaportlet_INSTANCE_fC66&p_p_lifecycle=1&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_pos=1&p_p_col_count=2&_topicnavigationportlet_WAR_europeanaportlet_INSTANCE_fC66_topicId=697854&_topicnavigationportlet_WAR_europeanaportlet_INSTANCE_fC66_javax.portlet.action=setTopic

En el DDD de proves ja apareix l'ese a la llista dels ListMetadataFormats:

http://ddd-test.uab.cat:2000/oai2d?verb=ListMetadataFormats

Els valors de metadataPrefix i metadataNamespace els he copiat de les referències que he trobat en el document del CBUC i a cop de Google.

He seguit sobretot aquests exemples:

http://net7sviluppo.com/trac/talia/wiki/Europeana

Ara ja exporta registres suposadament en aquest format ese:

• http://ddd-test.uab.cat:2000/oai2d?verb=ListRecords&metadataPrefix=ese&set=raac
• http://ddd-test.uab.cat:2000/oai2d?verb=ListRecords&metadataPrefix=oai_dc&set=raac

El format no és correcte (encara), però exporta alguna cosa. Estic una mica intrigat pel tema dels prefixes. Segons la taula d'equivalències que va fer la BC amb el CBUC, allà on en DC deia <dc:publisher>, p, ex., ha de dir <europeana:provider>. Però en els registres de l'enllaç que poso a sobre d'aquest paràgraf no hi ha els prefixes dc.

M'ho continuo mirant, a veure si ho entenc.

Ja ho tinc pràcticament tot:

1. ho exporta com a llista de formats per OAI.
2. ja sé com fer les transformacions dels camps DC a europeana, i posar-los en l'ordre que demanen.
3. ja els exporta via OAI (v. link anterior).

Em queda algun dubte, que solucionaré avui, sobre el europeana:object, i un tema de validació de la sintaxi XML.

He aplicat els canvis del DDD de proves al públic, per poder fer validacions. Ara a més és ja és XML vàlid. Exemple de sortida:

http://ddd.uab.cat/oai2d?verb=ListRecords&metadataPrefix=ese&set=raac

Ens queden alguns dubtes:

1. Hem de crear un (o més d'un) oaiset per als documents digilitzats amb fons del Ministerio? La Cristina m'ha dit que ja ho consultareu amb ells.
2. Quin valor ha de tenir el camp europeana:object? El Ferran ho consultarà a l'Eugènia Serra, perquè l'exemple que posa es tan específc de la MDC que no sé com aplicar-lo.
3. Hi ha alguna eina de validació del format ESE? El Ferran també ho consultarà a l'Eugènia, perquè sembla que sí que n'hi ha alguna.

Sobre el europeana:object, el document del CBUC diu que és recomanat, i a la columna comentaris conversió diu:

Agafem valor http://mdc.cbuc.cat/cgi-bin/thumbnail.exe?CISOROOT=$collectionName&CISOPTR=$itemNumber on $collectionName i $itemNumber es treuen a partir del dc:identifier (eliminem la part de http://mdc.cbuc.cat/u?/).

He consultat els dubtes amb l'Eugènia Serra.

1. europeana:object és la miniatura del document. De fet, una miniatura. Les podríem posar totes? Potser sí, però si estem fent aquest apanyo del ESE només per Europeana i Europeana només n'agafa un, segurament no cal posar-ne més. Per part nostra en el DDD, he agafat la primera que surt.
2. dc:type i europeana:type ja ho fem bé; el primer té el que tingui el registre, i el segon un dels quatre acceptats, en majúscula (TEXT, IMAGE, SOUND i VIDEO, i ara resulta que també n'acceptaran un que es dirà 3D, però que com que no en tenim al DDD, no ens afecta).
3. les equivalències dc:publisher a europeana:publisher i també a europeana:dataProvider pateixen de què entenem per editor: el de l'original en paper de quan es va publicar, o del responsable de la digitalització. La BNC i per tant la MDC només parlen del document digitalitzat, i per tant hi surten ells, no l'editor original. Com que per al DC nosaltres hi posem la 260 $a i $b, és a dir, l'editor original, m'he permès decidir això, que podem canviar: deixo com a europeana:provider l'editor original i com a europeana:dataProvider nosaltres, amb el nom que hem de tenir segons l'Eugènia Serra: Universitat Autònoma de Barcelona.

Uns registres de mostra quedarien així:

http://ddd-test.uab.cat:2000/oai2d?verb=ListRecords&metadataPrefix=ese&set=raac

Ah, pel que fa al validador, és d'accés restringit per als ciutadans nobles, com ells. La resta dels europeus estem retallats. L'Eugènia s'ha ofert molt amablement a validar-nos una mostra, perquè aquest validador demana que no se'l carregui de gaire feina, uns poquets registres.

En fi. Quan nosaltres creguem que ho tenim correcte, ja li passarem una URL a l'Eugènia perquè ens faci d'intermediària.

Finalment he fet les correccions i he actualtizat el DDD públic. Queda així:

Surt a la llista dels MetadataFormats, amb el codi ese:

http://ddd.uab.cat/oai2d?verb=ListMetadataFormats

Al DDD hem creat una col·lecció i un oaiset amb el nom uabeuropeana per a aquests registres. Amb la Cristina hem acordat aquest nom tan lleig perquè no es pugui confondre amb cap altra paraula, i perquè expressa bé que són registres de la UAB per a Europeana. Si les separessim amb guions, normals o baixos, les cerques serien més complicades. La col·lecció no penja de cap altra col·lecció, de manera que cal accedir-hi directament:

http://ddd.uab.cat/collection/uabeuropeana

El oaiset uabeuropeana ja surt a la llista d'oaisets:

http://ddd.uab.cat/oai2d?verb=ListSets

Una mostra de la sortida (per validar) d'aquests registres en format ese seria:

http://ddd.uab.cat/oai2d?verb=ListRecords&metadataPrefix=ese&set=uabeuropeana

Gràcies per tot Ferran! Ara mateix hem enviat al Ministeri el correu amb el compliment de l'ESE demanant que ens recol·lectin a través d'Hispana i de pas que ens facin també la validació. La Maria Luisa m'ha dit que aquesta validació tampoc no era cap meravella i sobretot que moltes vegades calia interpretar molt bé els resultats així que penso que quantes més opinions tinguem millor.

Un cop ens diguin que tot està bé (em passaré el pont amb els dits creuats) la setmana vinent haurem de veure com fem les modificacions als registres. Vaig fent jo de poquets en poquets o vols automatitzar-ho d'alguna manera?

No tan ràpid! L'Eugènia Serra m'ha contestat això:

Ferran,

Em sembla que no podreu fer aquest tractament amb els camps
dataProvider i provider

El camp <europeana:dataProvider> s'ha d'informar amb el nom de la
institució en la que es troben els documents, tant si aquesta els
lliura directa o indirectament a Europeana.

El camp <europeana:provider> està pensat per a posar-hi l'agregador
(és a dir, l'organització que envia les dades a Europeana)

Quant no hi ha agregador, el contingut de <europeana:dataProvider> i
<europeana:provider>; aquest és, per exemple, el cas de tots els
registres de la MDC.

Quant al validador, m'ha donat els següents errors:

14:26:29 : *** Metadata file : oai2d.xml (0Mb) ***
14:26:31 : Validation has started
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid field : :header in Record #1. Please refer to the ESE 3.4 specification. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid field : :header in Record #2. Please refer to the ESE 3.4 specification. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid field : :header in Record #3. Please refer to the ESE 3.4 specification. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid XML provided. 
14:26:31 : Invalid field : :header in Record #4. Please refer to the ESE 3.4 specification.

Eugènia

La María Luisa Martinez-Conde del Ministerio coincideix en l'Eugènia pel que fa al dataProvider:

Hola Núria,

En este momento no puedo acceder al content checker, pero parece que
los registros son correctos excepto el contenido del data:Provider
que, de acuerdo con las especificaciones, es la institución que
canaliza los contenidos a Europeana, es decir el agregador.

El comportamiento de Hispana con este elemento es el siguiente:
- si no existe, lo añade <europena:provider>Hispana<europeana:provider>
- si existe, pero el contenido es distinto de "Hispana", lo sustituye 
por Hispana de manera que en este caso por nuestra parte no 
habría ningún problema, pero prefiero que lo reviséis porque no 
sé si el contenido correspondería a <dc:publisher> o a otra etiqueta.

Podéis, y quizá sea lo más práctico, poner el mismo contenido que en
el dataProvider, i.e UAB. Nosotros lo podemos cambiar automáticamente
y puede que os facilite los cambios si queréis participar en otro
proyecto.

Muchas gracias por vuestra colaboración.

Un saludo,

He corregit els <europeana:provider> i <europeana:dataProvider> perquè hi apareixi sempre la UAB. Porto bona part del dia buscant exemples de registres ESE per veure com resolen la capçapera, que és on, en OAI PMH, s'identifica el registre. No he estat capaç de trobar-los, al menys en la documentació oficial d'Europeana.

A partir de totes aquestes hores he intentat fer-me una composició de lloc, veient que la resta dels interlocutors, tant dintre com fora de la UAB, estem en una incertesa comparable.

Invenio té dos formats per Dublin Core: el que en diu DC i el que en diu OAI_DC. El primer el fa servir per consultar el registre en format DC a la pantalla, i el segon per OAI. Comparem el mateix registre en els diferents formats (també hi afegeixo el marcxml):

• http://ddd.uab.cat/record/20704
• http://ddd.uab.cat/record/20704/export/xd
• http://ddd.uab.cat/oai2d?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:ddd.uab.cat:20704
• http://ddd.uab.cat/oai2d?verb=GetRecord&metadataPrefix=ese&identifier=oai:ddd.uab.cat:20704
• http://ddd.uab.cat/oai2d?verb=GetRecord&metadataPrefix=marcxml&identifier=oai:ddd.uab.cat:20704

La diferència entre l'un i l'altra és que, per OAI, hi ha aquesta capçapera que identifica el registre, i sobretot hi afegeix la data de darrera modificació, imprescindible per l'actualització en una recol·lecta:

   <header> 
    <identifier>oai:ddd.uab.cat:20704</identifier> 
    <datestamp>2010-12-31T21:21:25Z</datestamp> 
    <setSpec>raac</setSpec> 
   </header> 

Jo entenc que si publiquem ESE per OAI hem de donar aquesta capçalera, que també dóna si el format és Marcxml (vegeu el darrer enllaç).

Entenc també que les validacions que ens ha fet l'Eugènia Serra són a partir d'un fitxer (i per tant no ha de tenir la capçalera), mentre que el Ministerio ens demana que ho oferim via OAI.

Clar que puc estar completament equivocat. Però, un cop més, els d'Europeana es llueixen en no posar exemples ni explicacions.

Ja s'estan creant les etiquetes 024 automàticament per a tots els registres d'aquesta col·lecció perquè apareguin també an oaiset uabeuropeana.

S'estan fent a un ritme d'uns 100 per hora. He posat aquest oaiset al mig dels de la tasca #1528, que només en quedaven uns poquets de la col·lecció working papers de la UAB, i que els acabarà després d'aquests d'europeana.

Ja ha acabat d'actualtizar totes les 024 perque els registres de la col·lecció uabeuropeana també formin part del oaiset uabeuropeana.

A partir d'ara els aquestes actualtizacions es faran cada dissabte.