DDD

El TDX ja està en DSpace:

http://www.tdx.cat/

Potser també estaria bé canviar les «adreces alternatives» que tenim al DDD per a les noves.

Fet: tasca #2736

Gràcies a Opendoar he trobat la OAI base address del nou TDX:

• http://tdx.cat/oai/request?verb=Identify
• http://tdx.cat/oai/request?verb=ListMetadataFormats
• http://tdx.cat/oai/request?verb=ListSets

Un registre amb Dublin core normal i Qualificat:

• http://tdx.cat/handle/10803/3977
• http://tdx.cat/oai/request?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:www.tdx.cat:10803/3977
• http://tdx.cat/handle/10803/3977?show=full
• http://tdx.cat/oai/request?verb=GetRecord&metadataPrefix=qdc&identifier=oai:www.tdx.cat:10803/3977

El nou TDX amb DSpace del CBUC ofereix diferents formats, i d'entrada sembla que el ccuc_marc ens podria anar molt bé.

http://tdx.cat/oai/request?verb=ListMetadataFormats

Exemple d'un dels registres que ens manquen en els diferents formats:

• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=oai_dc
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=qdc
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=mets
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=ore
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=didl
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=rdf
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=marc
• http://tdx.cat/oai/request?verb=GetRecord&identifier=oai:www.tdx.cat:10803/3305&metadataPrefix=marc_ccuc

Suposo que és un format nou que han fet per a poder passar les tesis al catàleg col·lectiu, no deu estar a Recercat perquè no passen registres al CCUC, i no està a RACO perquè no és Dspace :-(

Cristina Azorin va escriure:

Suposo que és un format nou que han fet per a poder passar les tesis al catàleg col·lectiu,

Suposo.

no deu estar a Recercat perquè no passen registres al CCUC, i no està a RACO perquè no és Dspace :-(

Efectivament, el Recercat no els té:

http://oai.recercat.cat/request?verb=ListMetadataFormats

Recordo que en alguna reunió de repositoris nosaltres vam mencionar a la Sandra si es podrien implementar aquests formats de sortida del tdx al Recercat, però no recordo qui havia de fer el primer pas, si ells o nosaltres. El més probable, però, és que ells no se n'enrecordin, ja que els (unics?) interessats seriem la UAB ;-)

Et sembla que li ho comentis tu, Cristina?

Acabo de carregar 10 tesis al ddd-test recollides via peticions OAI (en format marc_ccuc). Estrictament això és part de la tasca #3010, però prefereixo concentrar en aquesta els aspectes de tractament bibliogràfic. Són les 10 més recents de la col·lecció tesis:

http://ddd-test.uab.cat:2000/collection/tesis

En una primera fase només hi he afegit tres camps imprescindibles per al DDD: les 980, 035 i 762.

Ara es tractarà de veure com completem els camps que falten (p. ex., el resum en altres llengues, o el PDF), si és tot a partir del TDX o el catàleg ens hi pot aportar algun camp útil, o en corregeix o ens millor els que ja tenim via TDX.

Ens ho hem estat mirant amb la Cristina i el nostre diagnòstic inicial és:

1. En principi, i de moment, només agafarem registres nous, no les modificacions. Sobretot perquè de totes les tesis que ja tenim al DDD hi ha molta feina de normalització i de completar dades que no volem perdre.
2. Quasi totes les dades que ens interessen pel DDD ja estan al TDX. Sembla que només ens hi faltarien les matèries de catàleg i l'identificador del catàleg.
3. La codificació ccuc_marc que ofereix el TDX via OAI sembla correcte, i en principi l'agafem com a base. De tota manera, hem vist que només ofereix el resum en una sola llengua. Com que el Dublin Core hi és en totes, completariem el registre amb la 520 del Dublin Core.
4. Cal resoldre els embargaments, sobretot per recollir els PDFs del TDX i desar-los en local al DDD. Això es pot fer a partir de les dates que ja hi tenim a les 856 del DDD.

L'extracció de les tesis del catàleg que ens prepararà el Javier Planella continua endavant, però ara per ara sembla menys urgent del que semblava pel que fa a tenir les tesis al DDD.

N'he carregat 100 més al DDD de proves, més que res perquè sigui més fàcil trobar exemples per avaluar la qualitat de la catalogació al TDX:

http://ddd-test.uab.cat:2000/collection/tesis

He tornat a carregar les 100 tesis a test però ja amb els resums en totes les llengües i les etiquetes de drets (totes dues a partir del DC). A manca d'una repassada final i de valorar el que pugui donar de sí els registres de Millennium, diria que els registres bibliogràfics ja estan tan complets com dóna de sí el TDX.

Ara estic treballant en la baixada automàtica dels PDFs.

Estic repassant i me n'adono que les darreres dues setmanes s'han creat registres però sense 980, i per tant no eren visibles. Acabo d'afegir-hi manualment l'etiqueta 980 (crec que en sortirà al menys un duplicat) i miraré de corregir aquest error.

La manca de 980 sembla relacionada amb un problema de conversió de diacrítics que crec que acabo de corregir. No he volgut fer la càrrega ara, durant el dia, perquè carregaria massa el sistema durant la indexació dels documents. L'he deixat per la matinada de demà i en repassaré el resultat.

De moment, avui se n'ha carregat 100 correctament; deixaré per demà la resta:

http://ddd.uab.cat/collection/tesis

Ara mateix hi ha 5.011 tesis a TDX i en canvi 4.969 al DDD, hi ha un registre sense camp 'identifier' i això ha frenat la càrrega de noves entrades.
Cal fer un sistema d'avís a l'administrador si la càrrega s'atura.

Avui se n'han carregat 59 més. N'hi ha un que dóna un error al TDX quan el demano en format marc_ccuc per programa, però no via web, i que encara no entenc per què, i m'he de mirar amb més atenció:

• http://tdx.cat/handle/10803/285411
• http://www.tdx.cat/oai/request?verb=GetRecord&metadataPrefix=marc_ccuc&identifier=oai:www.tdx.cat:10803/285411

Ferran, seguint aquesta tasca acabo d'adonar-me que m'agradaria més que l'etiqueta 300 l'agafés de TDX, només el nombre de pàgines, i no del catàleg amb això que diu 1 recurs electrònic, que trobo que queda 'raro' al DDD on tot són recursos electrònics...

Cristina Azorin va escriure:

Ferran, seguint aquesta tasca acabo d'adonar-me que m'agradaria més que l'etiqueta 300 l'agafés de TDX, només el nombre de pàgines, i no del catàleg amb això que diu 1 recurs electrònic, que trobo que queda 'raro' al DDD on tot són recursos electrònics...

Ja veig. De tota manera, ara mateix, del catàleg encara no estic agafant res, aquesta 300 és el que em dóna el TDX quan li demano el registre en format marc_ccuc, ex:

http://www.tdx.cat/oai/request?verb=GetRecord&metadataPrefix=marc_ccuc&identifier=oai:www.tdx.cat:10803/285576

Donat que el número de pàgines el tenim a la 856, i de vegades hi ha tesis amb més d'un document PDF, creus que val la pena aprofitar aquesta 300, o senzillament no la carrego? Els valors actuals d'aquesta 300 són:

http://ddd.uab.cat/search?cc=tesis&of=tm&ot=300&rg=999

Si no els vols, el que també tocaria fer (que ja me n'encarregaré jo) és esborrar els que ara mateix ja el tenen, com ho veus?

És cert que al DDD ja hi són a la 856 i per a cada fitxer, que és més precís. També veig que no surten en el format DC... Però... això d'eliminar una etiqueta MARC així de cop, que sí tenim a tots els altres registres, que sí està al catàleg... i que potser serà útil en el cas de les exportacions en format cita per Mendeley... No se, no m'atreveixo.

Ja se que diràs, que tal com la treguis ara la podries tornar a posar si la necessitem, oi? :-)))

Com que les tesis tenen PDFs amb molt de text, modificar els registres cada cop és lent, i per tant entenc que val la pena minimizar-ho. O sigui, que si creus que val la pena conservar la informació de les pàgines a la 300, millor fer-ho d'un sol cop, modificant-la i no pas esborrar-la per hipotèticament tornar-la a afegir.

Estic pendent de tenir disponibles les tesis exportades de Millenium per saber si hi ha alguna dada que ens falti al DDD. Ho he demanat al Javier.

El Javier me n'ha posat una extracció a http://websb.uab.cat/novetats_tdx/. Falta automatitzar-ne l'extracció periòdicament.

Malhauradament, el fet que al Millennium no hi hagi els handles (com sí que tenim al DDD) fa una mica més complicat lligar uns registres amb els altres. Utilitzaré la taula que ja va crear el Javier a la tasca #2736.

Un cop pugui accedir a tots els registres amb una única identificació em serà més fàcil saber qué agafem de Millennium que no tinguem ara amb el que ens arriba del TDX.

Ja tinc feta l'equivalència dels identificadors de Millennium als handles. Amb això ja tinc una base de dades de tesis TDX externa en les tres sintaxis: DC i marc_ccuc (tdx.cat) i marc21 (cataleg.uab.cat), i un identificador únic.

Ara ja puc comprovar d'una manera sistemàtica què tenim a Millennium que no tinguem a tdx.cat i/o al DDD.

Nuria Casaldaliga va escriure:

Ferran, fa falta que el Javier actualitzi aquesta taula mensualment http://websb.uab.cat/novetats_tdx/??

Sí, mensualment seria suficient, gràcies.

Javier, quan ho tinguis fet ho podràs apuntar a la tasca i tornar-li a passar al Ferran per a enllestir-la del tot? Gràcies!

Ferran Jorba va escriure:

Nuria Casaldaliga va escriure:

Ferran, fa falta que el Javier actualitzi aquesta taula mensualment http://websb.uab.cat/novetats_tdx/??

Sí, mensualment seria suficient, gràcies.

Aquesta tasca no es pot automatzar, es te que generar mensualment

Exportació de totes les tesis TDX a Millennium: http://websb.uab.cat/novetats_tdx

Em sembla que ja ho tinc coll avall. Se m'havia complicat massa i he (re)començat de zero. N'he carregat 10 al DDD de proves: https://ddd-test.uab.cat:2000/collection/tesis

Crec que ara ja funcionen correctament. A diferència d'abans, aquest cop, i basant-me amb la idea de la Cristina, començo amb els registres de Millennium exportats pel Javier, i per a cadascun d'ells miro si ja el tenim al DDD. Els que no hi són, els completo de vàries maneres:

• Els camps fixos (035, 540, 655, i 980) amb les que hem acordat.
• L'enllaç a l'adreça alternativa (tdx.cat) el normalitzo com a handle, i els antics que no són handles, els hi faig la traducció segons la taula que em va passar el Javier.
• De la sortida DublinCore del TDX agafo els resums en la segona i tercera llengua, perquè la primera ja hi és a Millennium, la 762 i la data d'embargament.
• Els PDFs (o altres fitxers adjunts) de la sortida DIDL, que és la que em dóna l'adreça directa d'una manera mes fàcil de tractar (l'ORE és horrorós, i el METS sembla els encants!).

Ara ja n'he afegit una vintena al DDD públic: http://ddd.uab.cat/collection/tesis.

Deixaré que els acabi de carregar entre avui i demà, i ho deixo programat per cada dilluns, com abans. Quan acabi repassarem les inconsistències, com els registres que estan a un lloc però no a l'altre.

La càrrega de 100 tesis d'aquesta matinada s'ha fet sense adjuntar-hi els PDFs, perquè al darrer moment vaig fer un canvi que no tocava. Ho corregiré avui mateix.

Ja estan afegits els enllaços als PDFs locals que mancaven.