Tasca #2636
tancatComprovació d'enllaços al DDD (etiqueta 856 en genèric)
Afegit per Cristina Azorin fa aproximadament 12 anys. Actualitzat fa aproximadament 7 anys.
Descripció
Caldria reflexionar en algun moment com podem localitzar enllaços trencats dins dels registres del DDD.
Ja tenim un sistema que detecta fitxers orfes que no són als registres, però...
... i registres sense fitxers
... i enllaços externs que ja no funcionen (a pàgines web alternatives)
Tasques relacionades 6 (0 obertes — 6 tancades)
CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions #1
- Categoria s'ha establert a Tecnologia
- Paraula clau s'ha establert a JR
També caldria comprovar que funcionés el DOI.
CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions #2
- Data de venciment s'ha establert a 01-06-2017
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #3
- Data de venciment ha canviat de 01-06-2017 a 06-11-2017
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #4
- Data de venciment ha canviat de 06-11-2017 a 21-12-2017
- Assignat a ha canviat de Cristina Azorin a Javier Planella
JP Actualitzat per Javier Planella fa més de 8 anys Accions #5
- Estat ha canviat de Creada a En curs
registres sense fitxers -> els que no tenen cap 856 ni 866
enllaços externs que ja no funcionen (a pàgines web alternatives).
Revisar totes les etiquetes:
856 40 -> enllaços interns
856 41 -> enllaços externs
856 42 -> enllaços entre un registre i un altre
ex:,amb python:
import requests
r=requests.head(url)
r.status_code
JP Actualitzat per Javier Planella fa més de 8 anys Accions #6
Per el registres sense fitxers (no tenen cap 856 ni 866):
Programat: test_856_866.py
hi han 129 registres:
http://ddd.uab.cat/record/180981
http://ddd.uab.cat/record/180209
http://ddd.uab.cat/record/180190
http://ddd.uab.cat/record/180162
http://ddd.uab.cat/record/180161
http://ddd.uab.cat/record/180149
http://ddd.uab.cat/record/180148
http://ddd.uab.cat/record/179896
http://ddd.uab.cat/record/179845
http://ddd.uab.cat/record/179844
http://ddd.uab.cat/record/179843
http://ddd.uab.cat/record/179842
http://ddd.uab.cat/record/179736
http://ddd.uab.cat/record/175952
http://ddd.uab.cat/record/171198
http://ddd.uab.cat/record/171154
http://ddd.uab.cat/record/171135
http://ddd.uab.cat/record/170124
http://ddd.uab.cat/record/169550
http://ddd.uab.cat/record/164391
http://ddd.uab.cat/record/163918
http://ddd.uab.cat/record/154808
http://ddd.uab.cat/record/149310
http://ddd.uab.cat/record/146638
http://ddd.uab.cat/record/106581
http://ddd.uab.cat/record/106557
http://ddd.uab.cat/record/90463
http://ddd.uab.cat/record/90459
http://ddd.uab.cat/record/90420
http://ddd.uab.cat/record/88901
http://ddd.uab.cat/record/88772
http://ddd.uab.cat/record/88597
http://ddd.uab.cat/record/88569
http://ddd.uab.cat/record/88423
http://ddd.uab.cat/record/88360
http://ddd.uab.cat/record/88156
http://ddd.uab.cat/record/86367
http://ddd.uab.cat/record/79907
http://ddd.uab.cat/record/65187
http://ddd.uab.cat/record/65186
http://ddd.uab.cat/record/62779
http://ddd.uab.cat/record/59604
http://ddd.uab.cat/record/57329
http://ddd.uab.cat/record/56321
http://ddd.uab.cat/record/56320
http://ddd.uab.cat/record/56319
http://ddd.uab.cat/record/56318
http://ddd.uab.cat/record/56317
http://ddd.uab.cat/record/53204
http://ddd.uab.cat/record/51976
http://ddd.uab.cat/record/36117
http://ddd.uab.cat/record/28131
http://ddd.uab.cat/record/28091
http://ddd.uab.cat/record/26627
http://ddd.uab.cat/record/26218
http://ddd.uab.cat/record/22077
http://ddd.uab.cat/record/22076
http://ddd.uab.cat/record/22073
http://ddd.uab.cat/record/22072
http://ddd.uab.cat/record/22069
http://ddd.uab.cat/record/22062
http://ddd.uab.cat/record/22061
http://ddd.uab.cat/record/22060
http://ddd.uab.cat/record/21986
http://ddd.uab.cat/record/21985
http://ddd.uab.cat/record/21983
http://ddd.uab.cat/record/21981
http://ddd.uab.cat/record/21946
http://ddd.uab.cat/record/21919
http://ddd.uab.cat/record/21913
http://ddd.uab.cat/record/21891
http://ddd.uab.cat/record/21885
http://ddd.uab.cat/record/21884
http://ddd.uab.cat/record/21881
http://ddd.uab.cat/record/21880
http://ddd.uab.cat/record/21325
http://ddd.uab.cat/record/21303
http://ddd.uab.cat/record/20617
http://ddd.uab.cat/record/20090
http://ddd.uab.cat/record/20027
http://ddd.uab.cat/record/19968
http://ddd.uab.cat/record/19967
http://ddd.uab.cat/record/19631
http://ddd.uab.cat/record/19622
http://ddd.uab.cat/record/19275
http://ddd.uab.cat/record/19270
http://ddd.uab.cat/record/19266
http://ddd.uab.cat/record/19216
http://ddd.uab.cat/record/19128
http://ddd.uab.cat/record/19126
http://ddd.uab.cat/record/19114
http://ddd.uab.cat/record/19113
http://ddd.uab.cat/record/19112
http://ddd.uab.cat/record/19041
http://ddd.uab.cat/record/19040
http://ddd.uab.cat/record/19039
http://ddd.uab.cat/record/19002
http://ddd.uab.cat/record/18892
http://ddd.uab.cat/record/18782
http://ddd.uab.cat/record/18781
http://ddd.uab.cat/record/18780
http://ddd.uab.cat/record/18779
http://ddd.uab.cat/record/18778
http://ddd.uab.cat/record/18777
http://ddd.uab.cat/record/18776
http://ddd.uab.cat/record/17885
http://ddd.uab.cat/record/16985
http://ddd.uab.cat/record/16884
http://ddd.uab.cat/record/14220
http://ddd.uab.cat/record/13411
http://ddd.uab.cat/record/12705
http://ddd.uab.cat/record/12523
http://ddd.uab.cat/record/7709
http://ddd.uab.cat/record/7596
http://ddd.uab.cat/record/7072
http://ddd.uab.cat/record/6530
http://ddd.uab.cat/record/6456
http://ddd.uab.cat/record/6270
http://ddd.uab.cat/record/6202
http://ddd.uab.cat/record/6071
http://ddd.uab.cat/record/5693
http://ddd.uab.cat/record/5692
http://ddd.uab.cat/record/5691
http://ddd.uab.cat/record/5690
http://ddd.uab.cat/record/5689
http://ddd.uab.cat/record/5688
http://ddd.uab.cat/record/5687
http://ddd.uab.cat/record/5626
http://ddd.uab.cat/record/5535
JP Actualitzat per Javier Planella fa més de 8 anys Accions #7
Per verificar enllaços externs que ja no funcionen (a pàgines web alternatives), hi han 162838 registres per comprovar, i cadascun pot tindre un o mes enllaços.
En el DDD de proves ha trigat mes de 2 hores, així que de moment deixo la programació feta al DDD de producció però sense executar.
El programa es: check856.py
JP Actualitzat per Javier Planella fa més de 8 anys Accions #8
A taltabull (test) hi han URL 30474 per comprobar
fitxer amb les dades de les URL:
~/var/lib/urls/test856.tab
programat a hourly.sh:
scripts="check856 eina2ddd fixX73 add856 error2ack checkdaemons"
perque faci 100 cada hora
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #9
- S'ha afegit relacionat amb Tasca #4556: Tornar a penjar els pdfs de les guies docents antigues sense pdf
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #10
- S'ha afegit relacionat amb Tasca #4068: Repàs periòdic del fitxer d'errors de l'etiqueta 856 - tasca anual -
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #11
- Tema ha canviat de Comprovació d'enllaços externs al DDD a Comprovació d'enllaços al DDD (etiqueta 856 en genèric)
- Prioritat ha canviat de Normal a Alta
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #12
Javier, pots deixar el fitxer a /mnt/CLARIION/ddd/qualitat/, i així es veurà com a https://ddd.uab.cat/qualitat/
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #13
- Data de venciment ha canviat de 21-12-2017 a 28-06-2018
JP Actualitzat per Javier Planella fa aproximadament 8 anys Accions #14
Hem posat una mostra de la sortida de les comprovacions a:
https://ddd.uab.cat/qualitat/check856.tab
Es pot modificar la visualització com preferiu
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #15
Moltes gràcies Javier, està superbé.
Es podria afegir una versió html del mateix llistat? També aquí al directori qualitat?
Respecte a l'ordre està bé que primer aparegui el tipus d'error però després preferiria que ordenés per la quarta columna, per agrupar errors semblants.
Alguns que es podrien eliminar del llistat serien:
- si és un 303, a l'adreça de la quarta columna hi ha un handle.net i a l'adreça de la cinquena un tdx o un recercat, no cal que apareguin en el llistat.
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #17
Javier, el llistat continua sortint buit!
JP Actualitzat per Javier Planella fa aproximadament 8 anys Accions #18
Disponible el llistat a:
https://ddd.uab.cat/qualitat/check856.tab
Cada dia comprova 9000 URLs del DDD, de tal manera que al cap d'una setmana els haurà comprovat tots (son uns 57000)
Cada cop que es modifica una URL al DDD al dia següent ja no hi apareix a check856.tab
L'ordenació i eliminar tdx i recercat ja esta fet, falta crear un nou fitxer HTML
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #19
Javier, les adreces del TDX encara apareixen i vam quedar que les eliminaríem:
ex
301 2018-02-05 https://ddd.uab.cat/record/38527 http://www.tdx.cat/TDX-0205102-104056 http://www.tdx.cat/handle/10803/4379;jsessionid=40A02FC0A87F17259EBEFE1F623E37BE
301 2018-02-05 https://ddd.uab.cat/record/38526 http://www.tdx.cat/TDX-1125105-175855 http://www.tdx.cat/handle/10803/4753;jsessionid=69A3DBF5F3AEEC50E2C807CFE4199226
301 2018-02-05 https://ddd.uab.cat/record/38525 http://www.tdx.cat/TDX-0502103-191818 http://www.tdx.cat/handle/10803/4697;jsessionid=FC25DE2DA5BAA54BE35908CB8FBE82C5
301 2018-02-05 https://ddd.uab.cat/record/38524 http://www.tdx.cat/TDX-1018101-164847 http://www.tdx.cat/handle/10803/3941;jsessionid=E23A507E9E2237C75623601C9016EAFF
Estadístiques del que anem fent des de la UTP: 2086 canvis als Cartells Vinyals de la MDC, 16 doi's duplicats i 6 incidències d'adreces que no anaven.
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #20
Quan el Javier elimini les adreces TDX tancarem la tasca i la passarem a tasques permanents de qualitat, amb seguiment des de la UTP. Modificar com a periòdica la tasca #4673.
En principi farem els error 999, 503, 500, 424, 406, 404, 401
No farem els: 303, 302, 301 que són redireccionaments automàtics.
Avui enviem a la Biblioteca de Comunicació 226 errors relacionats amb enllaços a la web del CEO (http://ceo.uab.cat/), i 120 a la Biblioteca de Socials perquè són del ICPS i de diferents empreses.
JP Actualitzat per Javier Planella fa aproximadament 8 anys Accions #21
Cristina,
aqui especificas:
- si és un 303, a l'adreça de la quarta columna hi ha un handle.net i a l'adreça de la cinquena un tdx o un recercat, no cal que apareguin en el llistat
y en la cuarta columna de los ejemplos no hay "handle":
301 2018-02-05 https://ddd.uab.cat/record/38527 http://www.tdx.cat/TDX-0205102-104056 http://www.tdx.cat/handle/10803/4379;jsessionid=40A02FC0A87F17259EBEFE1F623E37BE
301 2018-02-05 https://ddd.uab.cat/record/38526 http://www.tdx.cat/TDX-1125105-175855 http://www.tdx.cat/handle/10803/4753;jsessionid=69A3DBF5F3AEEC50E2C807CFE4199226
301 2018-02-05 https://ddd.uab.cat/record/38525 http://www.tdx.cat/TDX-0502103-191818 http://www.tdx.cat/handle/10803/4697;jsessionid=FC25DE2DA5BAA54BE35908CB8FBE82C5
301 2018-02-05 https://ddd.uab.cat/record/38524 http://www.tdx.cat/TDX-1018101-164847 http://www.tdx.cat/handle/10803/3941;jsessionid=E23A507E9E2237C75623601C9016EAFF
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #22
Javier Planella va escriure:
y en la cuarta columna de los ejemplos no hay "handle":
301 2018-02-05 https://ddd.uab.cat/record/38527 http://www.tdx.cat/TDX-0205102-104056 http://www.tdx.cat/handle/10803/4379;jsessionid=40A02FC0A87F17259EBEFE1F623E37BE
Els meus dos grans de sorra:
- El paràmetre jsessionid= s'ha d'esborrar dels llistats (de fet, de la captura), perquè és un número de sessió, un valor aleatori que mai no hauria de tornar a ser el mateix.
- L'adreça http://www.tdx.cat/handle/10803/4379 és (hauria de ser) la mateixa que http://hdl.handle.net/10803/4379 de manera que sí que podem entendre que és un handle.
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #23
Doncs ara surt un llistat molt curtet i assequible, no se si creure-m'ho, però si ja és així per mi podeu tancar la tasca. Des de la UTP l'anirem repassant i corregint.
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #24
- Estat ha canviat de En curs a Tancada
- Prioritat ha canviat de Alta a Normal
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #25
- Estat ha canviat de Tancada a En curs
La torno a obrir perquè vull repassar amb el Javier la meva nota 22, que si no se'ns oblidarà.
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #26
M'estic trobant tants DOIs que no funcionen (ex: https://ddd.uab.cat/record/184888), que potser podríem aprofitar aquest programa perquè els comprovi. No deixa de ser un redireccionament, com els handles, no?
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #27
Sí, era el primer comentari a aquesta tasca ;- )
Jo sabia que hi havia molts malament del Servei de publicacions i de fet els estem arreglant amb l'Eulàlia, però estaria bé fer-ho a través del llistat.
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #28
També m'estic trobant amb registres amb dois duplicats, com aquest: https://ddd.uab.cat/record/57596. Tot plegat m'ho trobo a resultes de la tasca (#4950) de comprovacions de citacions a Scopus i Wos.
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #29
- S'ha afegit relacionat amb Tasca #5052: Canvi en el DDD l'etiqueta 856 $u d'http a https
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #30
- Data de venciment ha canviat de 28-06-2018 a 28-11-2018
JP Actualitzat per Javier Planella fa més de 7 anys Accions #31
- S'ha afegit relacionat amb Tasca #5106: Eliminar les antigues adreçes del TDX i conservar les noves tipus Handle del Dspace
JP Actualitzat per Javier Planella fa més de 7 anys Accions #32
- S'ha afegit relacionat amb Tasca #5107: Canviar automaticament les 856 que son redireccionaments de http a https:
JP Actualitzat per Javier Planella fa més de 7 anys Accions #33
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #34
- S'ha afegit relacionat amb Tasca #5155: Canvis automàtics en adreces externes al DDD que han modificat la seva estructura
CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #35
- Paraula clau s'ha suprimit (
JR)