DDD

Aquesta primera versió té algunes limitacions, que aniré resolent i apuntant en aquesta tasca:

1. De moment només comprova raco.cat i revistes.uab.cat, és a dir, articles. Recercat està mig preparat, TDX no hauria de costar més però ni m'hi he posat perquè no l'estem recollint via OAI, i Fènix està previst però encara no començat.
2. Se salta alguns registres que em dónen error per algun tipus de codificació Unicode que no acabo d'entendre. No et ser dir quants són, però no crec que passin de dues dotzenes.
3. La resposta «No» a si el programa ha identificat bé un registre no queda desada i, per tant, l'endemà tornarà a sortir.

Pel que fa al TDX, com que no el recol·lectem via OAI sinó pel catàleg, no apareix a la llista https://ddd.uab.cat/admin/oaiharvest/oaiharvestadmin.py i, per tant, ara mateix tampoc no es comprova. El mateix passa amb aquelles revistes del Servei de Publicacions que estan duplicades a Racó i que, com que no les recol·lectem, ara mateix no n'estem fent cap comprovació de la seva coherència a Racó. Com que crec que valdria la pena fer-ho, la meva proposta és tenir una pàgina en aquest wiki on hi hagués la llista dels OAI sets (equivalent a https://ddd.uab.cat/admin/oaiharvest/oaiharvestadmin.py) que, sense ser pròpiament font d'informació per nosaltres, sí que ens interessa tenir-ne els registres ben identificats i sincronitzats.

Una altra limitació:

A la versió actual surt el text que es poden carregar registres no localitzats (registres que hauríem de tenir i efectivament heu confirmat que no tenim) amb un botó. Aquest botó està previst, però ara mateix encara no existeix.

A partir d'avui, el programa ja desa les equivalències que heu detectat que no són correctes, i ja no les tornarà a ensenyar més.

Les millores pendents, ara, són, per tant:

1. De moment només comprova raco.cat i revistes.uab.cat, és a dir, articles. Recercat està mig preparat, TDX no hauria de costar més però ni m'hi he posat perquè no l'estem recollint via OAI, i Fènix està previst però encara no començat.
2. Se salta alguns registres que em dónen error per algun tipus de codificació Unicode que no acabo d'entendre. No et ser dir quants són, però no crec que passin de dues dotzenes.
3. A la versió actual surt el text que es poden carregar registres no localitzats (registres que hauríem de tenir i efectivament heu confirmat que no tenim) amb un botó. Aquest botó està previst, però ara mateix encara no existeix.

Recercat ja forma part dels registres a identificar.

Aquesta nit ha acabat de baixar-se tots els identificadors del TDX via oai. A partir de demà ja se'n podran fer les comprovacions via https://ddd.uab.cat/idregistres.py.

Espero que amb aquest procediment podrem, finalment identificar els registres que ens falten. Ara mateix, segons l'oai del TDX, tenim 7.062 tesis, i al DDD 6.538 (http://ddd.uab.cat/collection/tesisuab).

Ja hi ha un procediment per importar automàticament els registres no trobats al DDD (el botó del punt 3 de les millores pendents).

Funciona de la següent manera: en el segon epígraf, el que diu Registres no trobats, fins ara donava només l'opció d'identificar manualment el registre del DDD que es correspon al registre remot i que el programa, automàticament, no troba. Des d'avui, si en comptes del número de registre hi poseu el signe de +, el registre queda a una llista de registres per incorporar, l'endemà es rel·lectarà com un registre OAI qualsevol, i seguirà el circuit habitual de revisió, com qualsevol altre recol·lecció OAI.

De moment, no l'utilitzeu per les tesis (amb identificador oai:www.tdx.cat), perquè el circuit no és ben bé el mateix i hem de parlar com ho resolem.

De tant en tant hi ha registres remots que, per la raó que sigui (sovint perquè ho tenen malament al servidor remot), nosaltres no els volem al DDD, i els hem de marcar d'alguna manera perquè desapareixin de les llistes d'idregistres.py.

Hem quedat amb la Cristina que el marcarem amb el signe -. Encara no està implementat, ja ho deixaré apuntat aquí quan estigui.

He començat a posar alguns valors inicials a la pàgina ServidorsOAIcomplementaris que ha de completar la informació de registres externs secundaris. A la pàgina hi trobareu més explicacions.

A partir de demà, a l'hora d'identificar els registres, també fa la cerca per 035 a les col·leccions no públiques (ex: revisar).

Això de recol·lectar identificadors dels ServidorsOAIcomplementaris ha tingut (m'ho temia...) una conseqüència negativa (de moment). M'olorava que en algun lloc tindriem algun incident, però no sabia on. Avui ja sí.

Fins ara, per a cada registre local del DDD, el programa només tenia previst una sola identificació OAI. És a dir, que encara que tingués més d'una 035 amb valors que comencen amb «oai:», ara per ara només n'està agafant un. Això afecta, avui, principalment a les dues revistes de proves que hi ha a la llista: Anàlisi i Enseñanza de las Ciencias.

M'ho acabo de mirar i crec que serà fàcil canviar el comportament, i que doni per bons tots els identificadors oai, però el dia d'avui hi ha un ball de registres d'aquestes dues que abans el programa deia que estaven ben identificats i lligats i avui ja no. Espero tenir-ho corregit per demà.

Per demà haurien de funcionar les següents millores:

1. Ja es poden marcar amb - els registres remots que no volem incorporar al DDD.
2. Els registres del DDD ja poden tenir més d'una etiqueta 035 que comenci amb oai:, i així podem marcar registres nostres que estan tant a ReDI com a Racó.

A resultes de les incidències que hem pogut detectar de registres no carregats, sobretot de registres recents, hem vist que el sistema de carregar només registres nous és insuficient. Recapitulant: el (gran) problema que tenim a l'hora de recol·lectar via OAI registres (sobretot) d'OJS és que al DDD només hi volem registres nous, no modificats, perquè entenem que, un cop al DDD, els millorem i no volem que modificacions remotes matxaquin les nostres millores.

En el seu moment vaig demanar quina manera hi havia amb Invenio de recollir registres nous, i vaig obtenir una resposta no gaire satisfactòria:

https://www.mail-archive.com/project-invenio-general@cern.ch/msg00968.html

Vaig inspirar-me amb l'exemple que citaven els del CERN, però no acaba de rutllar. N'acabo de fer un de nou, mirant, sobretot, de tenir en compte els registres en col·leccions ocultes (singularment la de revisar). Espero que amb això l'ideal de recollir només registres nous funcioni i no en manquin.

També, a resultes de carregar registres que no teníem via el signe +, me n'he adonat que els que venien d'OJS (Racó i ReDI) no es carregaven. Repassant-ho, he vist que la causa era que eren articles anteriors al 2014, que era una condició, una mica arbitrària, que vaig posar per no carregar registres antics que es carregaven a ReDI, per exemple, però que nosaltres ja teníem. Com que ara estem carregant registres antics, aquesta condició és un obstacle. A partir d'ara ho mirarà a partir del nom del fitxer, comptant que es generen automàticament (ex: analisi_a2015m12n53p95) i no en poden haver-hi de duplicats.

(No podria ser tot una mica més fàcil?)

Ja he implementat el signe - per als registres no trobats, si es tracta d'un registre que està al servidor remot però, per la raó que sigui, no ens interessa tenir-lo al DDD. Posant-hi el signe -, desapareix de la llista dels no trobats i ja no apareix més.

En els darrers dies me n'havia adonat d'algunes inconsistències en els resultats, que hem comentat i confirmat amb la Cristina. Després de donar-li unes quantes voltes, he vist que es donen en els registres que tenen més d'on identificador OAI a la 035, p. ex., articles de revistes UAB que també tenim a Racó.

El programa no estava preparat per aquests casos. He hagut de reescriure tota la lògica interna per identificar i casar registres, cosa que m'ha ocupat un parell de matins de feina. Crec que ara ja funciona, i ho he provat al DDD de proves. Ara estic executant el programa de casar registres, que normalment s'executa de nit, per comprovar que el resultat sigui el que toca.

Amb el canvi de funcionament intern del programa s'ha produit una incidència a l'hora de carregar identificadors externs (oai i url). Hi ha estat afegint, respectivament, el prefix oai: i url:, p. ex:

• https://ddd.uab.cat/record/157768
• https://ddd.uab.cat/record/148517

El fet que surti duplicat forma part del mateix problema. Ara miro de solucionar-ho automàticament.

Aquest cap de setmana s'han afegit un munt d'identificadors oai nous de Racó per repassar, en concret:

• Anuario IET de Trabajo y Relaciones Laborales, http://www.raco.cat/index.php/anuarioiet
• Athenea Digital, http://www.raco.cat/index.php/Athenea
• Catalan Journal of Linguistics. http://www.raco.cat/index.php/CatalanJournal
• Documents d'Anàlisi Geogràfica, http://www.raco.cat/index.php/DocumentsAnalisi
• Educar, http://www.raco.cat/index.php/Educar

La llista actualtizada està a ServidorsOAIcomplementaris.

Ferran Jorba va escriure:

Amb el canvi de funcionament intern del programa s'ha produit una incidència a l'hora de carregar identificadors externs (oai i url). Hi ha estat afegint, respectivament, el prefix oai: i url:, p. ex:

Eren 95 registres i ja estan corregits, ex:

• https://ddd.uab.cat/record/157768
• https://ddd.uab.cat/record/148517

S'estan produint falsos negatius, és a dir, que el programa diu que els identificadors no estan lligats però sí que ho estan, ex:

https://ddd.uab.cat/idregistres.py/review_possible_matches?year=1998 (ex. el primer de tots, oai:educar.revistes.uab.cat:article/350, que sí que hi és com a 035 a https://ddd.uab.cat/record/1053/export/hm)

Ja he vist per què està passant, i miraré de corregir-ho avui mateix.

Bé, crec que ja està corregit. Per exemple, l'identificador oai oai:educar.revistes.uab.cat:article/350 ja hi surt a l'any 2008, ni a cap altre: https://ddd.uab.cat/idregistres.py/review_possible_matches?year=1998

Ferran, pel que dius sembla que ja podem treballar amb normalitat amb el programa. la xifra dels no trobats s'ha reduït bastant però, en canvi, la dels possiblement identificats continua sent molta alta, creus que és correcta??

Registres possiblement identificats 5423
Registres no trobats 1111

Sí, crec que podeu treballar amb normalitat. Si ha crescut (molt) el número de registres possiblement identificats és perquè aquest cap de setmana hi he afegit unes quantes revistes grans nostres a Racó, tal com he explicat a la nota 26.

En tot cas, com que he hagut de canviar tota la lògica interna, poden haver sortit problemes nous. Quan els detecteu (si els trobeu), si us plau feu-m'ho saber.

A resultes de la tasca #5133, que encara no està acabada, hi ha dubtes sobre el funcionament de l'eina https://ddd.uab.cat/idregistres.py

Acabo de confirmar que funcionen:

1. La confirmació que dos registres són el mateix. Això afegeix al registre del DDD una 035 amb l'identificador remot. Això es pot fer amb normalitat i a més es pot confirmar que funciona, havent d'esperar una estona, potser, si el servidor té gaire feina d'indexació.
2. La identificació (via afegir el número de registre del DDD) d'un registre no trobat però que sí que tenim al DDD. També genera al moment una 035 al DDD amb l'identificació del registre remot.

El que de moment està aturat és l'afegit de les urls remotes, sobretot pel ball d'adreces http a https (#5052) que la darrera vegada que ho vaig comprovar encara les duplicava, amb http i https. És per això que aquesta part encara està aturada.

Ferran, aquest cas que seria un 'no', el podem fer??

oai:da.revistes.uab.cat:article/353
https://revistes.uab.cat/da/article/view/v9-n4-hall Derechos de los animales
https://ddd.uab.cat/record/98291 Estudio y diseño de filtros pasobanda y en banda dual basados en resonadores microstrip open-loop acoplados
Coincideix: title, year

Cristina Azorin va escriure:

Ferran, aquest cas que seria un 'no', el podem fer??

Sí, aquests també, sento que no ho escrivís.

Cristina Azorin va escriure:

Ferran, aquest cas que seria un 'no', el podem fer??

Sí; perdó per no haver-ho contestat abans.

Nova fase de la renovació d'idregistres:
https://ddd.uab.cat/idregistres.py

Els canvis principals són:

1. La manera de trobar els possibles duplicats.
2. La presentació a la llista; ara sempre indica la revista i l'any, de manera que sovint ja es veu, si la revista és diferent, que no ho són.
3. Quan és un registre d'eina, on abans deia ARE-1234, ara diu recercauab:ARE-1234, de manera que en general surten al final de la llista, i no al principi.

Millores pendents, obrim una tasca:

4. Reactivar la detecció per md5, que ara mateix està desactivada.
5. Reactivar la detecció per cerca aproximada, que ara mateix està desactivada.

Pel que fa a la cerca aproximada per títol, el funcionament és el següent:

Per a cada registre extern, el programa agafa tots els títols en tots els idiomes. Per a cadascun d'ells, n'agafa tant el títol sencer, com el títol propi, i cada subtítol (ja sigui separat per : com per .). Per a cadascuna d'aquestes variants dels títols externs mira si hi ha alguna coincidència en títols locals del DDD. Si no hi ha cap coincidència exacta (=majúscules, minúscules, diacrítics, puntuació, espais), en fa una d'aproximada (ignorant tot l'anterior, o bé com a subconjunt). Això he vist que funciona quasi sempre bé, però crea alguns falsos positius, quan el subtítols (o el títol sense subtítol) és del tipus: 'estudi de cas', o 'aproximació quantitativa', o similar. Igualment, per a no crear soroll, ja no fa comprovacions pels títols d'una sola paraula ('editorial', 'dedicatòria', 'errata', etc.).

A més a més, com a condició extra, el programa només proposa com a possible duplicat si l'any de publicació és el mateix.