Projecte

General

Perfil

Accions

Tasca #2903

tancat
CA CA

Automatització de les exportacions des de RACO a DDD - PRJ152

Tasca #2903: Automatització de les exportacions des de RACO a DDD - PRJ152

Afegit per Cristina Azorin fa quasi 12 anys. Actualitzat fa més de 10 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Tecnologia
Temàtica prevista:
Inici:
23-05-2014
Data de venciment:
19-12-2015
Paraula clau:
cartera

Descripció

Hem estat un temps de proves per carregar els fitxers xml de l'OJS de la UAB a RACO però dóna problemes a quasi tots els títols de revista. Als més antics perquè no hi apareixen les seccions i als més nous perquè hi ha camps buits. També sembla conflictiu el tema del idioma, amb molts més idiomes activats als OJS de la UAB.

Hem pensat explorar l'opció de carregar els números a RACO a partir del DDD, extraient fitxers xml configurats expressament per això.


Fitxers

FormatRACO_a2013m1.pdf (342 KB) FormatRACO_a2013m1.pdf RACO. Format per a la importació de metadades i dades Cristina Azorin, 23-05-2014 13:13
native.dtd (4.59 KB) native.dtd El DTD que defineix el format del xml a generar per carregar-ho al OJS Ferran Jorba, 26-05-2014 10:24
5301step1.xml (20.9 KB) 5301step1.xml Un exemple d'un número de revista generat Ferran Jorba, 26-05-2014 10:24
export-ojs.jsp (17.9 KB) export-ojs.jsp El codi del script JSP/java que ho genera Ferran Jorba, 26-05-2014 10:24
exportacio_UPC_RACO.docx (1 MB) exportacio_UPC_RACO.docx Document del SdB de la UPC sobre l'expotació - pantallazos Cristina Azorin, 05-06-2014 09:37

Tasques relacionades 3 (0 obertes3 tancades)

relacionat amb DDD - Tasca #866: Exportació des de ReDI al DDD - PRJ153TancadaFerran Jorba19-12-2014Accions
relacionat amb DDD - Tasca #3001: Exportació de ReDi a RACO amb fitxers xmlTancadaCristina Azorin14-07-201405-02-2015Accions
relacionat amb DDD - Tasca #3228: Incidències de les càrregues des de ReDI al DDDTancadaFerran Jorba18-12-2014Accions

CA Actualitzat per Cristina Azorin fa quasi 12 anys Accions #1

Avui he parlat amb la Montse Hidalgo de la UPC, telf. 93 4010942

i ells passen els fitxers xml generats al DSpace a RACO. Algunes vegades tenen problemes perquè RACO és molt rígid però en general les entren fàcilment.

Em passarà algun procediment dels que tenen per a que el puguem veure.

La implementació a DSpace l'ha fet el Toni Prieto.

CA Actualitzat per Cristina Azorin fa quasi 12 anys Accions #2

Penjo a la tasca el document elaborat per RACO.

FJ Actualitzat per Ferran Jorba fa quasi 12 anys Accions #3

Adjunto els documents que ens ha passat el Toni Prieto de la UPC, amb aquesta nota:

La Montse Hidalgo em va dir que potser os podia interessar informació
de com fem el traspas de revistes al RACO des del dipòsit així que us
envio informació sobre el tema. El que tenim és una utilitat dins el
dipòsit que permet extreure els número de revistes en el format XML
d'importació del OJS.

Us adjunto:

- El DTD que defineix el format del xml a generar per carregar-ho al OJS
- Un exemple d'un número de revista generat
- El codi del script JSP/java que ho genera. Ja imagino que no el
podreu aprofitar gaire però per si serveix per veure alguna cosa
concreta, a més sent Java segur que a tu Ferran t'encantara ;)

El xml d'exemple és bastant auto-explicatiu, la única part una mica
més singular és que enlloc de l'arxiu de la revista, carreguem un html
codificat en base64 amb el contingut similar a aquest:

<br/><br/>Per accedir al text complet de l'article, si us plau seguiu
el seg&uuml;ent enlla&ccedil;:
<br/>Para acceder al texto completo del art&iacute;culo, por favor siga" 
el siguiente enlace:
<br/>To access the full text article, please click the link below:
<br/><br/><a href="http://hdl.handle.net/2099/12345" 
>http://hdl.handle.net/2099/12345</a>

En tot cas si necessiteu més informació o voleu comentar res em podeu
trobar al 934054249.

CA Actualitzat per Cristina Azorin fa quasi 12 anys Accions #4

FJ Actualitzat per Ferran Jorba fa més de 11 anys Accions #5

  • Tema ha canviat de Exportació a RACO des del DDD a Exportació des del DDD a RACO

FJ Actualitzat per Ferran Jorba fa més de 11 anys Accions #6

  • Tema ha canviat de Exportació des del DDD a RACO a Exportació des del DDD a RACO - PRJ152
  • Paraula clau s'ha establert a JR cartera

CA Actualitzat per Cristina Azorin fa més de 11 anys Accions #7

  • Tema ha canviat de Exportació des del DDD a RACO - PRJ152 a Exportació des de RACO a DDD - PRJ152
  • Assignat a ha canviat de Cristina Azorin a Ferran Jorba

CA Actualitzat per Cristina Azorin fa més de 11 anys Accions #8

  • Data de venciment s'ha establert a 19-12-2014

CA Actualitzat per Cristina Azorin fa més de 11 anys Accions #9

  • Tema ha canviat de Exportació des de RACO a DDD - PRJ152 a Automatització de les exportacions des de RACO a DDD - PRJ152
  • Data de venciment ha canviat de 19-12-2014 a 19-12-2015
  • Temàtica prevista ha canviat de OAI: servidor a OAI: recol·leccions

CA Actualitzat per Cristina Azorin fa més de 11 anys Accions #10

  • Prioritat ha canviat de Normal a Alta

FJ Actualitzat per Ferran Jorba fa aproximadament 11 anys Accions #11

  • Prioritat ha canviat de Alta a Normal

FJ Actualitzat per Ferran Jorba fa aproximadament 11 anys Accions #12

Ens hi posarem quan tinguem més rodada l'importació des de ReDI (#3228)

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #13

N'hem estat parlant amb la Cristina i creiem que, com que les importacions des de ReDI (#3228) estan raonablement controlades, ja podem començar amb Racó.

Com sempre, per recollir dades OAI, cal entrar a l'administració d'OAI Harvest del DDD (https://ddd.uab.cat/admin/oaiharvest/oaiharvestadmin.py) i anar entrant les adreces de cadascun dels OAI sets.

Hi ha diferències importants entre com estan els dos sistemes OJS, al menys pel que fa a la recol·lecta OAI.

  • Per al ReDI, hi hi ha un OJS per revista, i per tant una entrada (OAI Source) per revista, i per cadascuna d'elles no s'ha de marcar cap OAI set en concret, perquè així els agafarà tots els de la revista (i ja elimino jo per programa el que conté el número complet).
  • Per a Racó és com Recercat: hi ha un sol servidor (OAI Source) amb moltíssims OAI sets, de totes les revistes, però més d'un OAI set per revista (ex: Anàlisi editorial, Anàliai ressenyes, Anàlisi articles, Anàlisi necrològiques, etc.). Per tant, es tracta d'afegir l'adreça http://www.raco.cat/index.php/index/oai/ i triar els OAI sets de les revistes que hem de recol·lectar (però no les que ja tenim via ReDI!). La resta dels camps haurien de ser els mateixos que els de ReDI.

La Cristina i jo hem cregut que té més avantatges afegir-los tots de cop i ja anirem veient quins errors dóna que no fer-los mica a mica. De fet, el que sigui un sol servidor facilita que el poguem aturar molt fàcilment, canviant-li la freqüència a «Mai».

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #14

Ferran, tindrem una mica de feina perquè cal tornar a marcar tot Recercat :-( però ja hem fet l'OAI de raco i posarem les revistes que no són REDI.

Només hem dubtat en un punt, per Recercat la darrera casella BibFilter program està buida i en canvi nosaltres li hem afegit el que diu a les revistes de REDI /home/ddd/bin/bibfilter_insert.py

Com que és la Montse la que actualitza les revistes a RACO estarem al cas de quan entri una de nova per a veure com es fa la càrrega.

MR Actualitzat per Montserrat Reche fa quasi 11 anys Accions #15

Ferran i Cristina,

he vist que ha sortit el número 28 d'Orsis (li hem demanat al Pep). Ja tenim exemple real de revista no-redi per comprobar com funciona la càrrega de RACo a DDD.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #16

Cristina Azorin va escriure:

Ferran, tindrem una mica de feina perquè cal tornar a marcar tot Recercat :-( però ja hem fet l'OAI de raco i posarem les revistes que no són REDI.

Una prova més que pel fet d'utilitzar handles no estàs salvat de canvis i migracions de noms. Sempre queden casos i casos! Ai, la realitat, sempre és més complicada del que ens agradaria...

Només hem dubtat en un punt, per Recercat la darrera casella BibFilter program està buida i en canvi nosaltres li hem afegit el que diu a les revistes de REDI /home/ddd/bin/bibfilter_insert.py

Aquest programa és el que ens garanteix que només es carregaran registres nous. És tal com em van dir els del CERN que es fa (https://www.mail-archive.com/project-invenio-general@cern.ch/msg00969.html), tal com vaig documentar a la tasca #3228.

En el cas de RACO, no estic segur que calgui, perquè se suposa que, com que ja és de si un arxiu de tots els articles, no ens trobarem que ens carregaran registres antics que nosaltres ja tenim. De tota manera, pot ser prudent posar-lo per protegir-nos de canvis de dades que puguin fer al seu sistema i que no ens interessa que ens afectin al DDD.

Com que és la Montse la que actualitza les revistes a RACO estarem al cas de quan entri una de nova per a veure com es fa la càrrega.

Creuarem els dits. Gràcies!

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #17

Finalment Orsis també és REDi així que no ens va servir d'exemple. Ara ja sí tenim uns quants números de la revista DIM https://ddd.uab.cat/record/7423 , número 28 a 31.

Ja hem comprovat que el set de la revista que hem marcat contingui tots els articles http://www.raco.cat/index.php/index/oai/?verb=ListRecords&metadataPrefix=oai_dc&set=DIM

Dits creuats :-))

MR Actualitzat per Montserrat Reche fa quasi 11 anys Accions #18

Acabo d'entrar el número 28 de DIM a RACO. Almenys ja tenim un exemple.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #19

Montse Reche va escriure:

Acabo d'entrar el número 28 de DIM a RACO. Almenys ja tenim un exemple.

Perfecte, Montse. Aquest número 28 ja ha estat recollit (via OAI, a partir del format Dublin Core, incomplet i imperfecte) a la col·lecció https://ddd.uab.cat/collection/recercat. A partir d'ara he d'ajustar el script que els completa a partir del format nlm, baixa els PDFs i el trasllada a la col·lecció https://ddd.uab.cat/collection/revisar.

L'esperança és que no canviï gaire del OJS de la UAB. Quan hi tingui ho apuntaré aquí.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #20

Ferran Jorba va escriure:

Montse Reche va escriure:

Acabo d'entrar el número 28 de DIM a RACO. Almenys ja tenim un exemple.

L'esperança és que no canviï gaire del OJS de la UAB. Quan hi tingui ho apuntaré aquí.

Jo diria que funciona! M'he de mirar amb calma cadascun dels camps, però tot aquest número de DIM ja està a http://ddd.uab.cat/collection/revisar, i amb els PDFs baixats.

Si detecteu alguna mancança o error, apunteu-lo aquí mateix, si us plau. Jo també ho faré.

MR Actualitzat per Montserrat Reche fa quasi 11 anys Accions #21

Acabo d'entrar RUTA 6 a RACO. Un altre cas de traspàs de RACO a DDD.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #22

Montse Reche va escriure:

Acabo d'entrar RUTA 6 a RACO. Un altre cas de traspàs de RACO a DDD.

Gràcies, Montse. De moment, l'OAI l'ha recollida, està temporalment, durant 24 hores, a la col·lecció https://ddd.uab.cat/collection/recercat. Demà s'hauria de completar, afegint-hi el PDF i passar a https://ddd.uab.cat/collection/revisar.

De moment, en els casos fins ara el que ha fallat és el PDF, el gran misteri dels OJS. Aquest matí hi he fet una hipotètica millora esperant que la propera vegada ho faci millor.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #23

La revista Ruta no s'ha acabat de processar perquè a Racó no hi apareix el camp d'ISSN electrònic. Vegeu la diferència a la capçalera de DIM i Ruta, on en cas de DIM hi apareix <issn pub-type="epub" >, però en Ruta només <issn pub-type="ppub" >:

Seria possible, que hi constés el camp d'ISSN electrònic, encara que sigui el mateix ISSN? Ja veig que segons EquivalenciesEntreRevistaISSNsiglaUAB sembla que només en tingui un, d'ISSN, però està tot tan liat que em fa por donar per bo un hipotètic d'ISSN en paper... O, de fet, el cert és que l'únic ISSN que té és electrònic?

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #24

Hola Ferran,

ja he completat el tema ISSN a RACO. Sí, només té l'electrònic perquè mai l'han fet en paper.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #25

ja he completat el tema ISSN a RACO. Sí, només té l'electrònic perquè mai l'han fet en paper.

Ja ha passat la segona fase. Però els PDFs encara no funcionen bé, sempre surt el matex. A veure si ho esbrino...

https://ddd.uab.cat/search?cc=revisarutp&p=ruta

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #26

Ja ha passat la segona fase. Però els PDFs encara no funcionen bé, sempre surt el matex. A veure si ho esbrino...

Acabo de fer l'enèssima prova de tenir en compte una altra variable per recollir el PDF que toca, i potser la propera vegada podrem cridar victòria.

Em sap greu, però aquest número de Ruta he intentat corregir-lo automàticament però no em resulta gens fàcil, i per tant us demano que ho feu a mà. Gràcies ;-}

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #27

  • Assignat a ha canviat de Ferran Jorba a Cristina Azorin

Estudios de lingüística del español es va carregar correctament a finals de maig. Si la propera es carrega correctament ja podrem tancar la tasca i obrir alguna de petita si hi ha incidències.

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #28

Acabem d'entrar a RACO el número 22 de 'Quaderns revista de traducció', si és carrega correctament al DDD podrem tancar la tasca.

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #29

Cristina Azorin va escriure:

Acabem d'entrar a RACO el número 22 de 'Quaderns revista de traducció', si és carrega correctament al DDD podrem tancar la tasca.

No ha passat de https://ddd.uab.cat/collection/recercat a https://ddd.uab.cat/collection/revisar per què l'ISSN electrònic de la revista, que aquest cop sí que apareix a RACó (ex: http://www.raco.cat/index.php/index/oai/?verb=GetRecord&metadataPrefix=nlm&identifier=oai:raco.cat:article/25134) no és el que apareix a la pàgina EquivalenciesEntreRevistaISSNsiglaUAB, on encara hi ha el de paper.

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #30

Ho sento molt!!! Ara ho acabo de canviar... Passarà la setmana vinent??

FJ Actualitzat per Ferran Jorba fa quasi 11 anys Accions #31

Cristina Azorin va escriure:

Ho sento molt!!! Ara ho acabo de canviar... Passarà la setmana vinent??

Evidentment, ho prova cada dia de dilluns a divendres fins que se'n surt, cap problema ;-)

CA Actualitzat per Cristina Azorin fa quasi 11 anys Accions #32

  • Estat ha canviat de En curs a Tancada

Els registres de Quaderns han entrat molt bé. Tanquem la tasca!!!

CA Actualitzat per Cristina Azorin fa més de 10 anys Accions #33

  • Categoria s'ha establert a Tecnologia

CA Actualitzat per Cristina Azorin fa més de 10 anys Accions #34

  • Paraula clau ha canviat de JR cartera a cartera
Accions

També disponible a: PDF Atom