Accions

Historial

Recercat: conversió a Marc21¶

Recercat està en DSpace i per tant, via OAI, només pot exportar Dublin Core sense qualificar. Ja sabem doncs que la conversió no serà gaire precisa, però val la pena apuntar en un lloc els problemes i les decissions que prenguem.

Val la pena utilitzar la sortida de Dublin Core qualificat? http://www.loc.gov/marc/dccross.html

Sí, per a algunes metadades cal anar a consultar en html el Dublin Core qualificat (data, identifier...).

Plantilla de conversió¶

Invenio ja incorpora una plantilla xsl de transformació de Dublin Core a Marc21 (v. tasca #43). El que hem vist és que cada servidor OAI és diferent, i que no en podem agafar una de genèrica, sinó que cal adaptar-la per cada cas.

Caràcters de control i espuris¶

Recercat exporta registres OAI amb caràcters invàlids dins del registre, ex., caràcters de control (ex: http://www.recercat.net/handle/2072/12809). Com que l'eina de transformació els considera errors, peta. He afegit un filtre per eliminar-los.

Camps buits¶

Els registres de la col·lecció Projectes i treballs de final de carrera. Ciències ambientals (http://www.recercat.net/handle/2072/2208) ten quasi sempre el camp dc.contributor.other sempre buit, ex:

A l'Invenio (v. 0.92) això no li agrada i peta. Miraré de fer un apanyo per sortir del pas.

Dates¶

Dublin Core no qualificat només té un camp de data.

http://www.recercat.net/handle/2072/1378?mode=full (tres dates)
http://www.recercat.net/handle/2072/1378 (cap)
http://ddd.uab.cat/record/44782 (cap, perquè ho ha agafat del OAI, Dublin core no qualificat); aquest registre també té un 856 a la col·lecció (handle) de Recercat.

Segurament aquest és el camp més crític.

Penso que cal fer la conversió com està ara que és queda la primera data que rep, i després anar a consultar el dc qualificat. Cal passar la metadada "dc.date.issued" al $c de l'etiqueta 260. Aquesta data també ens servirà per a crear els directoris amb els nostres pdf. cal agafar només les quatre primeres xifres que corresponen a l'any, sovint hi ha també el mes i de vegades el dia. (ex. dc.date.issued 2006-09-14)

Camps amb contingut «-»¶

http://www.recercat.net/handle/2072/4945

Es poden esborrar després.

dc:subject¶

Amb els dc.subject hi ha un petit problema, perquè en els qualificats hi ha el dc.subject.udc que hauria de ser uan 080 per al número i si volem una 653 per al text, es pot fer?

Els dc.subjet.other haurien de ser tots una 650 perquè han d'estar validats al CCUC.

els autors han d'anar a la 720¶

En l'extracció que s'ha fet de proves veig que hi ha 700 i 710 i no se quin és el criteri, ho sento però no se trobar la relació entre el dc i les etiquetes per a que surtin aquests dos.

Jo penso que tots els creator i tots els contributor haurien d'anar en 720 en vistes a una futura revisió de qui sigui (Ferran, ja se que no t'agarda gaire la idea però si ho diu la LC)

dc:identifier no sempre és la URL del document¶

http://ddd.uab.cat/record/45560

el identifier.uri amb http s'hauria d'entrar a la 856 però el identifier.citation hauria de ser una nota 500, anem al qualificat?

dc:type¶

Els type passen a l'etiqueta 655 _4 ($a).

Els dc.type de Recercat són:

Article
Capítol de llibre
Llibre
Comunicació/ponència
Diploma d'estudis avançats
Informe tècnic/de recerca
Memòria tècnica
Postprint
Preprint
Projecte/treball de final de carrera
Tesina
Working paper

però caldria passar-los ja als type de Driver que volem implementar a tot el DDD més endavant, així que les equivalències que cal fer són:

	'Recercat'		'Driver'
	Article		article
	Capítol de llibre		bookPart
	Llibre		book
	Comunicació/ponència		conference lecture
	Diploma d'estudis avançats		bachelorThesis
	Informe tècnic/de recerca		report
	Memòria tècnica		report
	Postprint		other
	Preprint		prepint
	Projecte/treball de final de carrera		bachelorThesis
	Tesina		masterThesis
	Working paper		workingPaper

Com que el dc.type és obligatori caldria poder saber quins el tenen buit, que també hi ha.

En el cas de la càrrega de TDX (JA SE QUE AQUÍ NO TOCA) caldria posar automàticament una dc.type de 'doctoralThesis'.

Ubicació dels PDFs¶

Els PDFs baixats els guardarem com les tesis: subdividts per any i després l'identificador (handle), ex:

Tots els camps de Dublin Core qualificats al Recercat¶

De tots els primers 1734 registres del Recercat que m'he baixat, he mirat quins camps de Dublin Core qualificat es fan servir, i són aquests 27:

	1682		'dc.contributor'
	1724		'dc.contributor.author'
	14		'dc.contributor.other'
	1732		'dc.date.accessioned'
	1732		'dc.date.available'
	1218		'dc.date.created'
	1732		'dc.date.issued'
	4		'dc.description'
	1444		'dc.description.abstract'
	1731		'dc.format.extent'
	1731		'dc.format.mimetype'
	4		'dc.identifier'
	92		'dc.identifier.citation'
	4		'dc.identifier.isbn'
	270		'dc.identifier.issn'
	1732		'dc.identifier.uri'
	1732		'dc.language.iso'
	749		'dc.publisher'
	39		'dc.relation.isformatof'
	1207		'dc.relation.ispartofseries'
	1717		'dc.rights.uri'
	794		'dc.subject'
	923		'dc.subject.other'
	794		'dc.subject.udc'
	1732		'dc.title'
	14		'dc.title.alternative'
	1292		'dc.type'

Cada cop em sembla més fàcil anar directament a una conversió «ben feta» de Dublin Core qualificat a Marc21 (FerranJorba). Ho dic perquè m'és més fàcil fer conversions directes que agafar la que ofereix OAI no qualificat i anar arreglant el que ha quedat malament i fent apanyos. Diria que a la llarga costarà més de mantenir, i si cal canviar o corregir alguna, millor que estigui tot en un sol lloc que no dir «això, a partir de la plantilla xsl, i allò altra no, agafarem el registre qualificat i el modificarem en aquells casos on digui pàgines en comptes de bytes».

És a dir, la proposta seria:

Per OAI el harvester del DDD «se n'entera» i recull els registres nous, modificats o esborrats i en fa una primera conversió del OAI no qualificat a Marc21 a partir de la plantilla .xsl, i els carrega a la col·lecció recercat.
Un segon script agafa un per un els registres, i:
- Va a buscar el registre qualificat
- Descarta tots els camps actuals (tots?, encara no n'estic segur)
- Fa la conversió que em digueu.
- Es baixa els PDFs del Recercat i els col·loca al directori acordat del DDD i manipula la 856 (aquí els PDFs, allà l'adreça alternativa).
- Canvia la 980.

Mostra dels diferents camps:

     10 {'dc.contributor': ['Centre de Recerca Matemxc3xa0tica'],
      9 {'dc.contributor': ["Centre d'Estudis d'Histxc3xb2ria de les Cixc3xa8ncies",
      9 {'dc.contributor': ["Centre d'Estudis d'Histxc3xb2ria de les Cixc3xa8ncies"],
      7 {'dc.contributor': ["Centre d'Estudis Olxc3xadmpics"],
      7 {'dc.contributor': ['Institut de Cixc3xa8ncia i Tecnologia Ambientals',
     11 {'dc.contributor': ['Institut de Cixc3xa8ncies Polxc3xadtiques i Socials. Barcelona, Catalunya']
     19 {'dc.contributor': ["Institut Universitari d'Estudis Europeus",
     15 {'dc.contributor': ["Institut Universitari d'Estudis Europeus. ACCEPLAN",
      5 {'dc.contributor': ["Institut Universitari d'Estudis Europeus. Les Euroregions",
      7 {'dc.contributor': ["Institut Universitari d'Estudis Europeus. Observatori de Polxc3xadtica Exteri
      9 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Departament d'Arquitectura de Computa
      3 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Departament de Cixc3xa8ncia Polxc3
      1 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Departament de Cixc3xa8ncies de la 
     10 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Departament d'Economia Aplicada"],
     10 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Departament d'Economia de l'Empresa"]
      1 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Departament de Didxc3xa0ctica de l'
     10 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Departament de Geografia',
      1 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Departament de Microelectrxc3xb2nic
     57 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Escola Txc3xa8cnica Superior d'Engi
      4 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies',
     11 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies'],
      1 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies de la Com
      1 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies de l'Educ
      6 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies Econxc3
     11 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies Econxc3
      7 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Cixc3xa8ncies Polxc3x
     45 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
      1 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Psicologia',
      3 {'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Traduccixc3xb3 i Interp
     11 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Unitat de Fo[[[[name]]]]nts de l'Anxc3xa0li
     10 {'dc.contributor': ["Universitat Autxc3xb2noma de Barcelona. Unitat d'Histxc3xb2ria Econxc3xb2
      9 {'dc.contributor': ['Xarxa de Referxc3xa8ncia en Economia Aplicada (XREAP)'],

Ferran, no em quadra la xifra del total (1682)amb aquests així que penso que no hi són tots, per exemple, hi ha un nom personal a Ribas i Xirgo, Lluís (http://www.recercat.net/handle/2072/13261. Si tots fossin corporatius hauria de ser una 710_ _ ($a i el . com a $b), però com que tinc els meus dubtes penso que seria millor deixar-ho tot en 720 _ _ $a

Cristina, ja entenc perquè no quadren les xifres! Aquest camp és repetible, i a la llista que t'he passat abans, els que acaben en coma (,) vol dir que continuen ex.:

hdl_2072_9047.txt-TRERECPRO
hdl_2072_9047.txt-------------------------------------------------------
hdl_2072_9047.txt:{'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
hdl_2072_9047.txt-                    'Martxc3xadnez-Gil, Vxc3xadctor'],
hdl_2072_9047.txt- 'dc.contributor.author': ['Revelles Esquirol, Jesxc3xbas'],
--
hdl_2072_9047.txt-
hdl_2072_9047.txt-------------------------------------------------------
hdl_2072_9047.txt:{'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
hdl_2072_9047.txt-                    'Cxc3xa0noves Valiente, Gemma'],
hdl_2072_9047.txt- 'dc.contributor.author': ['Molina Hoyo, Mxc3xb2nica'],
--
hdl_2072_9047.txt-
hdl_2072_9047.txt-------------------------------------------------------
hdl_2072_9047.txt:{'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
hdl_2072_9047.txt-                    'Lxc3xb3pez Sintas, Jordi'],
hdl_2072_9047.txt- 'dc.contributor.author': ['Cappuyns, Kristin'],
--
hdl_2072_9093.out-TRERECPRO
hdl_2072_9093.out-------------------------------------------------------
hdl_2072_9093.out:{'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
hdl_2072_9093.out-                    'Camps i Mundxc3xb3, Anna'],
hdl_2072_9093.out- 'dc.contributor.author': ['Macixc3xa0, Jaume'],
--
hdl_2072_9093.txt-TRERECPRO
hdl_2072_9093.txt-------------------------------------------------------
hdl_2072_9093.txt:{'dc.contributor': ['Universitat Autxc3xb2noma de Barcelona. Facultat de Filosofia i Lletres',
hdl_2072_9093.txt-                    'Camps i Mundxc3xb3, Anna'],
hdl_2072_9093.txt- 'dc.contributor.author': ['Macixc3xa0, Jaume'],

Aparentment el primer 'dc.contributor' és la facultat i l'altre o altres són els directors del treball o tesina. Això canvia l'etiqueta que m'has proposat? (FerranJorba).

Doncs ara m'has matat, suposo que en la majoria de casos el primer és un autor corporatiu (710) i els altres personals (700), però no sempre és així, per exemple: http://hdl.handle.net/2072/20347

Podem posar els primers com a 710_ _ ($a i el . com a $b) i els altres com a 720 _ _ $a

Cristina, he fet que si té coma, vagi com a 700 (amb les dates com a $d), i si té punt, com a 710 (i a partir del primer . com a $b) (FerranJorba)

      1  'dc.contributor.author': ['Abad Navarro, Marxc3xada Cristina'],
      1  'dc.contributor.author': ['Abd El Fattah Abd El Azim, Islam'],
      1  'dc.contributor.author': ['Abrines i Llabrxc3xa9s, Bartomeu'],
      1  'dc.contributor.author': ['Aguilera de Prat, C. R.'],
      1  'dc.contributor.author': ['Albalate, Daniel', 'Bel i Queralt, Germxc3xa0'],
      1  'dc.contributor.author': ['Albareda Vivxc3xb3, Laura'],
      2  'dc.contributor.author': ['Alonso Lxc3xb3pez, Fernando',
      2  'dc.contributor.author': ['Alonso Lxc3xb3pez, Fernando'],
      1  'dc.contributor.author': ['Amato, Giuliano'],
      1  'dc.contributor.author': ['Amills Rexach, xc3x80lex'],
      1  'dc.contributor.author': ['Andreu i Duran, Maria'],
      1  'dc.contributor.author': ['Andrxc3xa9s Delgado, Lidia',
      1  'dc.contributor.author': ['Anero Cxc3xa1rcamo, Mario'],
      1  'dc.contributor.author': ['Anitron (Grup de recerca)',
      1  'dc.contributor.author': ['Aparicio Romero, Juan Luis'],
      1  'dc.contributor.author': ['APROBOSC',
      1  'dc.contributor.author': ['Arguimbau Vivxc3xb3, Llorenxc3xa7'],
      1  'dc.contributor.author': ['Arregui Moreno, Javier'],
      1  'dc.contributor.author': ['Arrizabalaga, Jon'],
      1  'dc.contributor.author': ['Artige, Lionel', 'Nicolini, Rosella'],
      2  'dc.contributor.author': ['Asensio, Javier',
      1  'dc.contributor.author': ['Astala, K.',
      1  'dc.contributor.author': ['Bacaria i Colom, Jordi'],
      1  'dc.contributor.author': ['Baella Martxc3xadnez, Lxc3xaddia'],
      1  'dc.contributor.author': ['Balaguer Nadal, Paz'],
      1  'dc.contributor.author': ['Balbuena Valenzuela, Juan Pablo'],
      1  'dc.contributor.author': ['Ballester, Miguel xc3x81ngel',
      2  'dc.contributor.author': ['Barbxc3xa9, Esther'],
      2  'dc.contributor.author': ['Basher, Syed A.',
      1  'dc.contributor.author': ['Batlle i Panadxc3xa8s, Anna'],
      1  'dc.contributor.author': ['Bayona, Antoni'],
      1  'dc.contributor.author': ['Bea Alonso, Miguel'],
      1  'dc.contributor.author': ['Bel i Pereira, Albert'],
      1  'dc.contributor.author': ['Beltrxc3xa1n Muxc3xb1oz, Marxc3xada Jesxc3xbas'],
      1  'dc.contributor.author': ['Benet, Carlota'],
      1  'dc.contributor.author': ['Benito Martxc3xadn, Jorge'],
      1  'dc.contributor.author': ['Bermxc3xbadez, Lluxc3xads'],

El primer hauria de ser 100 1_ $a i els següents 700 1_ $a Hem vist alguns com Anitron o Aprobosc que haurien de ser 110, però em sembla que han de ser molt poques excepcions i poden fer el sacrifici de saltar una mica la normativa.

També he distingit si és X00 o X10 per la presència de la coma. (FerranJorba)

      1  'dc.contributor.other': ['Bartrolxc3xad i Molins, Jordi'],
      1  'dc.contributor.other': ['Binimelis, Rosa', 'Txc3xa0bara, J. David'],
      1  'dc.contributor.other': ['Mas Pla, Josep', 'Ordeix, Marc'],
      1  'dc.contributor.other': ['Moragas i Spxc3xa0, Miquel de, 1943-'],
      1  'dc.contributor.other': ['Nelxc2xb7lo Andreu, Marta',
      1  'dc.contributor.other': ['Plaixats i Boixadera, Josefina'],
      1  'dc.contributor.other': ['Puig i Boix, Josep'],
      1  'dc.contributor.other': ['Rieradevall i Pons, Joan',
      1  'dc.contributor.other': ['Sarrxc3xa0 Adroguer, Montserrat'],
      1  'dc.contributor.other': ['Verdaguer i Espaulella, Josep',

700 1_ $a, si pogués ser les dates haurien d'anar en un $d, però sinó deixarem la 'coma'.

També he distingit si és X00 o X10 per la presència de la coma. (FerranJorba)

      1  'dc.date.accessioned': ['2005-06-23T08:35:33Z'],
      1  'dc.date.accessioned': ['2005-06-23T09:48:48Z'],
      1  'dc.date.accessioned': ['2005-07-07T11:40:12Z'],
      1  'dc.date.accessioned': ['2005-07-12T07:51:52Z'],
      1  'dc.date.accessioned': ['2005-07-12T07:52:10Z'],
      1  'dc.date.accessioned': ['2005-07-13T13:14:06Z'],
      1  'dc.date.accessioned': ['2005-07-13T13:18:16Z'],
      1  'dc.date.accessioned': ['2005-07-15T06:29:53Z'],
      1  'dc.date.accessioned': ['2005-07-15T06:31:02Z'],
      1  'dc.date.accessioned': ['2005-07-18T13:04:33Z'],
      1  'dc.date.accessioned': ['2005-11-21T09:13:28Z'],
      1  'dc.date.accessioned': ['2005-11-21T09:14:08Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:28:42Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:29:14Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:29:40Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:30:50Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:31:09Z'],
      1  'dc.date.accessioned': ['2005-11-25T11:36:00Z'],
      1  'dc.date.accessioned': ['2005-11-28T12:08:40Z'],
      1  'dc.date.accessioned': ['2005-11-28T12:09:00Z'],

Jo l'esborraria.

Esborrat. (FerranJorba)

      1  'dc.date.available': ['2005-06-23T08:35:33Z'],
      1  'dc.date.available': ['2005-06-23T09:48:48Z'],
      1  'dc.date.available': ['2005-07-07T11:40:12Z'],
      1  'dc.date.available': ['2005-07-12T07:51:52Z'],
      1  'dc.date.available': ['2005-07-12T07:52:10Z'],
      1  'dc.date.available': ['2005-07-13T13:14:06Z'],
      1  'dc.date.available': ['2005-07-13T13:18:16Z'],
      1  'dc.date.available': ['2005-07-15T06:29:53Z'],
      1  'dc.date.available': ['2005-07-15T06:31:02Z'],
      1  'dc.date.available': ['2005-07-18T13:04:33Z'],
      1  'dc.date.available': ['2005-11-21T09:13:28Z'],
      1  'dc.date.available': ['2005-11-21T09:14:08Z'],
      1  'dc.date.available': ['2005-11-25T11:28:42Z'],
      1  'dc.date.available': ['2005-11-25T11:29:14Z'],
      1  'dc.date.available': ['2005-11-25T11:29:40Z'],
      1  'dc.date.available': ['2005-11-25T11:30:50Z'],
      1  'dc.date.available': ['2005-11-25T11:31:09Z'],
      1  'dc.date.available': ['2005-11-25T11:36:00Z'],
      1  'dc.date.available': ['2005-11-28T12:08:40Z'],
      1  'dc.date.available': ['2005-11-28T12:09:00Z'],

Jo l'esborraria.

Esborrat. (FerranJorba)

      4  'dc.date.created': ['1991'],
      2  'dc.date.created': ['1992'],
      1  'dc.date.created': ['1993'],
      1  'dc.date.created': ['1994'],
      1  'dc.date.created': ['1997-12'],
      1  'dc.date.created': ['1999'],
      1  'dc.date.created': ['1999-04-01T00:00:00Z'],
      1  'dc.date.created': ['2001-01'],
      1  'dc.date.created': ['2001-01-01T00:00:00Z'],
      1  'dc.date.created': ['2001-02'],
      1  'dc.date.created': ['2001-02-01T00:00:00Z'],
      1  'dc.date.created': ['2001-03-01T00:00:00Z'],
      3  'dc.date.created': ['2001-04'],
      1  'dc.date.created': ['2001-04-01T00:00:00Z'],
      3  'dc.date.created': ['2002'],
      1  'dc.date.created': ['2002-10-29'],
      3  'dc.date.created': ['2003'],
      7  'dc.date.created': ['2004'],
     19  'dc.date.created': ['2005'],
      1  'dc.date.created': ['2005-03'],

Jo l'esborraria.

Esborrat. (FerranJorba)

      3  'dc.date.issued': ['1991'],
      1  'dc.date.issued': ['1991-05-24'],
      2  'dc.date.issued': ['1992'],
      1  'dc.date.issued': ['1993-10-01'],
      1  'dc.date.issued': ['1994-09-29'],
      1  'dc.date.issued': ['2002'],
      1  'dc.date.issued': ['2002-06-18'],
      1  'dc.date.issued': ['2002-07-05'],
      7  'dc.date.issued': ['2003'],
      2  'dc.date.issued': ['2003-05'],
      2  'dc.date.issued': ['2003-09'],
      1  'dc.date.issued': ['2003-10'],
      1  'dc.date.issued': ['2003-11-25'],
     12  'dc.date.issued': ['2004'],
      1  'dc.date.issued': ['2004-03'],
      1  'dc.date.issued': ['2004-03-03'],
      1  'dc.date.issued': ['2004-03-23'],
      1  'dc.date.issued': ['2004-06-17'],
      1  'dc.date.issued': ['2004-09-10'],
      1  'dc.date.issued': ['2004-10-06'],

260 _ _ $c Només les quatre primeres xifres

Projecte

General

Perfil

DDD

Wiki

Recercat: conversió a Marc21¶

Plantilla de conversió¶

Caràcters de control i espuris¶

Camps buits¶

Dates¶

Camps amb contingut «-»¶

dc:subject¶

els autors han d'anar a la 720¶

dc:identifier no sempre és la URL del document¶

dc:type¶

Ubicació dels PDFs¶

Tots els camps de Dublin Core qualificats al Recercat¶