Millora #471
tancatIncorporar els documents del Recercat de la UAB al DDD. JULIOL09
Afegit per Ferran Jorba fa quasi 17 anys. Actualitzat fa quasi 16 anys.
Descripció
http://recercat.net és un DSpace que exporta OAI. Per tant la incorporació hauria de començar per aquí.
Segons el protocol OAI, només es pot exportar Dublin Core no qualificat, i la seva conversió a Marc21 és poc precisa. He vist que segurament es pot agafar la pàgina HTML amb registre Dublin Core qualificat (ex: http://www.recercat.net/handle/2072/15533?mode=full).
D'altra banda, cal fer una RecercatEquivalenciaDelsOAIsetsAlDDD.
Fitxers
| Mapeig_Recercat_DDD.doc (92.5 KB) Mapeig_Recercat_DDD.doc | Mapeig de les col·leccions del RECERCAT i del DDD per a la càrrega de documents | Cristina Azorin, 07-07-2009 15:57 |
CA Actualitzat per Cristina Azorin fa quasi 17 anys Accions #1
- Prioritat ha canviat de high a medium
CA Actualitzat per Cristina Azorin fa quasi 17 anys Accions #2
- Assignat a ha canviat de Ferran Jorba a Cristina Azorin
NC Actualitzat per Núria Casaldaliga fa més de 16 anys Accions #3
- Prioritat ha canviat de medium a high
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #4
- Assignat a ha canviat de Cristina Azorin a Ferran Jorba
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #5
Hola Ferran,
et pujo el fitxer on he fet el mapeig entre les col·leccions del Recercat i el DDD, espero que sigui prou útil. Ara he vist que hi havia una pàgina del wiki per a fer-ho, si és imprescindible ho passaré en aquella pàgina.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #6
- Assignat a ha canviat de Ferran Jorba a Cristina Azorin
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #7
Cristina, sí que em convé. La idea és que el meu script pugui agafar automàticament d'un lloc els codis per agafar els OAIsets del Recercat i fer les equivalències a les col·leccions del DDD, i Word no ajuda gens. Les taules d'aquest wiki (o de qualsevol altre wiki) sí que són prou pautades com perquè un programa pugui fer-les.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #8
Cristina, he fet una conversió ràpida de la taula del document Word a wiki, però caldria que la repassesis.
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #9
- Assignat a ha canviat de Cristina Azorin a Ferran Jorba
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #10
Ferran, ja està repassada, pots continuar, sort!
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #11
M'ho estic mirant, i veig que cal fer les modificacions al conversor DublinCore-Marc21 de la tasca # He de mirar també a veure si puc fer una sol conversor .xsl i que depenent del OAI set del Recercat vagi a parar a la col·lecció DDD corresponent. Si no ho faig així, hauria de mantenir tantes plantilles .xsl com col·leccions diferents del DDD vaigin a parar els OAI sets del Recercat.
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #12
- Tema ha canviat de Incorporar els documents del Recercat de la UAB al DDD a Incorporar els documents del Recercat de la UAB al DDD. Juliol
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #13
- Tema ha canviat de Incorporar els documents del Recercat de la UAB al DDD. Juliol a Incorporar els documents del Recercat de la UAB al DDD. JULIOL
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #14
- Tema ha canviat de Incorporar els documents del Recercat de la UAB al DDD. JULIOL a Incorporar els documents del Recercat de la UAB al DDD. JULIOL09
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #15
N'estic fent la càrrega a http://ddd.uab.cat/collection/recercat, una co·lecció oculta que, com que no penja de cap altra, fa que no sigui cercable.
Tal com vam quedar amb la Cristina, estem fent servir el client OAI que porta incorporat el propi Invenio (http://ddd.uab.cat/admin/bibharvest/guide.html), que ens permet definir quins OAI sets agafem, amb quina freqüència i com els volem convertir, tot via Web.
El fet de deixar-los en aquesta col·lecció oculta ens permet tenir-los recollits en un lloc accesible, ja convertits de Dublin Core a Marc21, però i acabar de pulir les transformacions, definir les col·leccions del DDD on van a parar i/o recollir els PDFs.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #16
Hi ha alguns registres del Recercat, tal com els export DSpace, plens de caràcters de control i altres irregularitats (ex: http://www.recercat.net/handle/2072/12809). Com que les eines de tranformació XSL (en el nostre cas per passar-los de Dublin Core a Marc21) consideren aquests caràcters erronis i peten, he hagut d'escriure un filtre perquè els elimini abans no es converteixin a Marc21 i es puguin pujar al DDD.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #17
Obro una pàgina sobre RecercatConversioAMarc21.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #18
Mentrestant, ja m'he baixat la majoria dels PDFs de Recercat a local.
En falta algun perquè el registre en el Recercat em dóna error i s'encalla el procés. Encara no tinc aïllat quin és.
Tindrem problemes amb els noms de fitxers que tenen accents, ex: http://ddd.uab.cat/pub/trerecpro/2006/hdl_2072_3577/
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #19
Ja estan fetes totes les equivalències segons RecercatConversioAMarc21 i RecercatEquivalenciaDelsOAIsetsAlDDD i carregats els 1731 registres. A mesura que es publiquin les col·leccions corresponents s'aniran veient els registres:
Els pendents, com sempre, estan a:
Per saber quants n'hi ha de publicats al DDD i on són, aquesta cerca els hauria de trobar:
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #20
Els documents de Recercat haurien d'incorporar tots un 980 $b UAB per indicar que són de la UAB, oi? Ara mateix no l'hi tenen, i per tant no van a parar a les col·leccions de la UAB...
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #21
Com que falta el UAB a la 980 hem despenjat les col·leccions prepubuab, trerecprouab i worpapuab ja creades, a més falta per crear la recdocuab.
Els que han quedat a la col·lecció recercat en realitat són repetits perquè la XREAP pertany a la UB i a la UAB, els document són els mateixos però hi ha dues col·leccions al DSpace diferenciades, nosaltres hem d'agafar la 13171 que ja sortia al document de mapeig entre Recercat i el DDD, i no hem d'agafar la 12898 que pertany a la UB.
Les cometes no es visualitzen bé en els registres complets (sí en els registres breus), de manera que apareix el text """, per exemple: http://ddd.uab.cat/record/44639
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #22
Aquesta matinada s'afegiran els 980 $b UAB a les col·leccions que toquen, de manera que demà ja podràs tornar a penjar les col·leccions.
Pel que fa al """ és un tema que m'he de mirar millor, perquè passa a més registres. He obert la tasca #
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #23
Degut la descoordinació entre el programa que afegia el $b de la 980 i el script que actualitzava la base de dades, bona part dels registres s'han actualitzat buits.
Els he tornat a carregar sencers i ara s'estan reformatejant i reindexant. Després tornaré a repassar quants 980 $b UAB hi falten.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #24
Ja estan afegits tots els $b UAB de la 980.
Cristina, pel que fa als XREAP que estan a la col·lecció http://ddd.uab.cat/collection/recercat (pendents), què haig de fer?
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #25
Hola Ferran,
no se exactament perquè tens pendent el XREAP, al mapeig ha d'anar a la col·lecció ESTUDIS. També ha de portar el $b UAB perquè és interuniversitari però entenc que es pot considerar fons UAB.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #26
Hmmm. Hi ha un embolic de noms... No m'extranya que ens confonguem. Del que no tinc equivalència a la pàgina RecercatEquivalenciaDelsOAIsetsAlDDD és del handle hdl_2072_12898, i sí del handle hdl_2072_13171, però el nom sembla ser el mateix, segons Recercat:
- http://www.recercat.net/handle/2072/12898 Documents de treball de la Xarxa de Referència en Economia Aplicada (XREAP)
- http://www.recercat.net/handle/2072/13171 Documents de treball de la Xarxa de Referència en Economia Aplicada (XREAP)
I alguns d'aquests documents apareixen a més d'una col·lecció, ex:
- http://ddd.uab.cat/record/45511 = http://www.recercat.net/handle/2072/13119 (apareix a tres col·leccions)
- http://ddd.uab.cat/record/45510 = http://www.recercat.net/handle/2072/13076 (apareix a tres col·leccions)
- etc.
Em sembla que n'haurem de parlar més, perquè no ho entenc.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #27
De moment he tornat a fer una recollida de tot el que tenim definit al Recercat com a nostra, i n'ha recollit 52 de nous: http://ddd.uab.cat/collection/recercat
Cristina, m'espero al teu vist-i-plau fer la conversió via Dublin Core qualificat, baixar els PDFs i repartir-lo per les nostres col·leccions DDD.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #28
Ja s'han processat, completat, baixats els PDFs i repartits per les diferents col·leccions.
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #29
Cristina,
tenim pendent el tema de les dues col·leccions pendents (v. nota «embolic de noms», una mica més amunt).
- http://www.recercat.net/handle/2072/12898 els tenim baixats i a la col·lecció de pendents, però sense equivalència a RecercatEquivalenciaDelsOAIsetsAlDDD. Que potser vaig marcar l'oaiset equivocadament?
- http://www.recercat.net/handle/2072/13171 m'hi has posat l'equivalència a RecercatEquivalenciaDelsOAIsetsAlDDD, però no esta marcat a la llista dels oaisets a baixar, i de fet, no n'hi ha cap al DDD (http://ddd.uab.cat/search?p=hdl_2072_13171).
Potser vaig creuar-los tots dos?
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #30
- Tipus de tasca ha canviat de Tasca a Millora
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #31
Hola Ferran,
has de llegir més amunt encara de la teva nota «embolic de noms», quan et parlava del XREAP. Ja et vaig dir que els documents pertanyen tant a la UAB com a la UB, pero no estan en un amateixa col·lecció (o handle) sinó en dos, ja has agafat el que tocava i del 12898 no n'has de fer res. Hauria d'estar marcat a la llista dels oaisets a baixar, aquesta llista la vaig fer jo?
FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #32
L'explicació de perquè ens feiem tant un embolic en els oaisets 12898 i 13171 és perquè el client OAI rebia primer el 12898 (de la UB) i després el 13174 (de la UAB). Quan el DDD els tornava a recollir via OAI del Recercat, els registres tornaven a passar del oaiset 13174 (de la UAB) al 12898 (de la UB).
El que he fet és que afegir la pàgina RecercatEquivalenciaDelsOAIsetsAlDDD una segona taula perquè, quan ens trobem una col·lecció que a Recercat pertany a més d'un organisme o comunitat, puguem fer l'equivalència de qualsevol d'elles (no UAB) a la de la UAB.
Un cop tornats a convertir els 47 registres pendents de http://ddd.uab.cat/collection/recercat, ara ja només en queden 3. Cadascun d'ells te una problemàtica lleugerament diferent i les haurem de solucionar manualment.
Tanquem la tasca, Cristina?
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #33
- Estat ha canviat de Creada a Tancada
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #34
He investigat els tres errors:
Estudio de viabilidad del uso de los calefactores de los espejos retrovisores como elemento radiante / http://hdl.handle.net/2072/13067
- Document esborrat al Recercat -
http://www.recercat.net/handle/2072/2211
- Falta el fitxer del document, ho estan investigant a Socials i el pujarem a Recercat i al DDD -
Beijing Olympic Games: Mass media and the role of the Internet / http://hdl.handle.net/2072/20334
- Document esborrat al Recercat -
Tancada!!
CA Actualitzat per Cristina Azorin fa més de 16 anys Accions #35
Amb una petita millora. Ja agafo el camp Descripció de les URLs del
Recercat per fer-ne el 856$3 quan s'escau:
http://ddd.uab.cat/record/47972
http://ddd.uab.cat/record/47973FJ Actualitzat per Ferran Jorba fa quasi 16 anys Accions #36
Avui n'he fet una altra càrrega, que incloïa actualitzacions, de 86 documents, la primera amb la versió 0.99.1.
Falta incorporar dues noves col·leccions de Sabadell a RecercatEquivalenciaDelsOAIsetsAlDDD.