Projecte

General

Perfil

Accions
Copiar enllaç

Tasca #2636

tancat
CA JP

Comprovació d'enllaços al DDD (etiqueta 856 en genèric)

Tasca #2636: Comprovació d'enllaços al DDD (etiqueta 856 en genèric)

Afegit per Cristina Azorin fa aproximadament 12 anys. Actualitzat fa aproximadament 7 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Javier Planella
Categoria:
Tecnologia
Temàtica prevista:
Millora de la interfície del DDD
Inici:
29-01-2014
Data de venciment:
28-11-2018
Paraula clau:

Descripció

Caldria reflexionar en algun moment com podem localitzar enllaços trencats dins dels registres del DDD.

Ja tenim un sistema que detecta fitxers orfes que no són als registres, però...

... i registres sense fitxers
... i enllaços externs que ja no funcionen (a pàgines web alternatives)

Tasques relacionades 6 (0 obertes — 6 tancades)

relacionat amb Gestió de la col·lecció - Tasca #4556: Tornar a penjar els pdfs de les guies docents antigues sense pdfTancadaTeresa Santos18-05-201718-12-2017Accions
relacionat amb DDD - Tasca #4068: Repàs periòdic del fitxer d'errors de l'etiqueta 856 - tasca anual -TancadaFerran Jorba09-06-201601-06-2017Accions
relacionat amb DDD - Tasca #5052: Canvi en el DDD l'etiqueta 856 $u d'http a httpsTancadaJavier Planella06-06-201807-11-2018Accions
relacionat amb DDD - Tasca #5106: Eliminar les antigues adreçes del TDX i conservar les noves tipus Handle del DspaceTancadaJavier Planella05-09-2018Accions
relacionat amb DDD - Tasca #5107: Canviar automaticament les 856 que son redireccionaments de http a https:TancadaJavier Planella05-09-2018Accions
relacionat amb DDD - Tasca #5155: Canvis automàtics en adreces externes al DDD que han modificat la seva estructuraTancadaJavier Planella24-10-201821-12-2018Accions

CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions
Copiar enllaç
 #1

  • Categoria s'ha establert a Tecnologia
  • Paraula clau s'ha establert a JR

També caldria comprovar que funcionés el DOI.

CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions
Copiar enllaç
 #2

  • Data de venciment s'ha establert a 01-06-2017

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #3

  • Data de venciment ha canviat de 01-06-2017 a 06-11-2017

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #4

  • Data de venciment ha canviat de 06-11-2017 a 21-12-2017
  • Assignat a ha canviat de Cristina Azorin a Javier Planella

JP Actualitzat per Javier Planella fa més de 8 anys Accions
Copiar enllaç
 #5

  • Estat ha canviat de Creada a En curs

registres sense fitxers -> els que no tenen cap 856 ni 866

enllaços externs que ja no funcionen (a pàgines web alternatives).
Revisar totes les etiquetes:
856 40 -> enllaços interns
856 41 -> enllaços externs
856 42 -> enllaços entre un registre i un altre

ex:,amb python:
import requests
r=requests.head(url)
r.status_code

JP Actualitzat per Javier Planella fa més de 8 anys Accions
Copiar enllaç
 #6

Per el registres sense fitxers (no tenen cap 856 ni 866):

Programat: test_856_866.py

hi han 129 registres:
http://ddd.uab.cat/record/180981
http://ddd.uab.cat/record/180209
http://ddd.uab.cat/record/180190
http://ddd.uab.cat/record/180162
http://ddd.uab.cat/record/180161
http://ddd.uab.cat/record/180149
http://ddd.uab.cat/record/180148
http://ddd.uab.cat/record/179896
http://ddd.uab.cat/record/179845
http://ddd.uab.cat/record/179844
http://ddd.uab.cat/record/179843
http://ddd.uab.cat/record/179842
http://ddd.uab.cat/record/179736
http://ddd.uab.cat/record/175952
http://ddd.uab.cat/record/171198
http://ddd.uab.cat/record/171154
http://ddd.uab.cat/record/171135
http://ddd.uab.cat/record/170124
http://ddd.uab.cat/record/169550
http://ddd.uab.cat/record/164391
http://ddd.uab.cat/record/163918
http://ddd.uab.cat/record/154808
http://ddd.uab.cat/record/149310
http://ddd.uab.cat/record/146638
http://ddd.uab.cat/record/106581
http://ddd.uab.cat/record/106557
http://ddd.uab.cat/record/90463
http://ddd.uab.cat/record/90459
http://ddd.uab.cat/record/90420
http://ddd.uab.cat/record/88901
http://ddd.uab.cat/record/88772
http://ddd.uab.cat/record/88597
http://ddd.uab.cat/record/88569
http://ddd.uab.cat/record/88423
http://ddd.uab.cat/record/88360
http://ddd.uab.cat/record/88156
http://ddd.uab.cat/record/86367
http://ddd.uab.cat/record/79907
http://ddd.uab.cat/record/65187
http://ddd.uab.cat/record/65186
http://ddd.uab.cat/record/62779
http://ddd.uab.cat/record/59604
http://ddd.uab.cat/record/57329
http://ddd.uab.cat/record/56321
http://ddd.uab.cat/record/56320
http://ddd.uab.cat/record/56319
http://ddd.uab.cat/record/56318
http://ddd.uab.cat/record/56317
http://ddd.uab.cat/record/53204
http://ddd.uab.cat/record/51976
http://ddd.uab.cat/record/36117
http://ddd.uab.cat/record/28131
http://ddd.uab.cat/record/28091
http://ddd.uab.cat/record/26627
http://ddd.uab.cat/record/26218
http://ddd.uab.cat/record/22077
http://ddd.uab.cat/record/22076
http://ddd.uab.cat/record/22073
http://ddd.uab.cat/record/22072
http://ddd.uab.cat/record/22069
http://ddd.uab.cat/record/22062
http://ddd.uab.cat/record/22061
http://ddd.uab.cat/record/22060
http://ddd.uab.cat/record/21986
http://ddd.uab.cat/record/21985
http://ddd.uab.cat/record/21983
http://ddd.uab.cat/record/21981
http://ddd.uab.cat/record/21946
http://ddd.uab.cat/record/21919
http://ddd.uab.cat/record/21913
http://ddd.uab.cat/record/21891
http://ddd.uab.cat/record/21885
http://ddd.uab.cat/record/21884
http://ddd.uab.cat/record/21881
http://ddd.uab.cat/record/21880
http://ddd.uab.cat/record/21325
http://ddd.uab.cat/record/21303
http://ddd.uab.cat/record/20617
http://ddd.uab.cat/record/20090
http://ddd.uab.cat/record/20027
http://ddd.uab.cat/record/19968
http://ddd.uab.cat/record/19967
http://ddd.uab.cat/record/19631
http://ddd.uab.cat/record/19622
http://ddd.uab.cat/record/19275
http://ddd.uab.cat/record/19270
http://ddd.uab.cat/record/19266
http://ddd.uab.cat/record/19216
http://ddd.uab.cat/record/19128
http://ddd.uab.cat/record/19126
http://ddd.uab.cat/record/19114
http://ddd.uab.cat/record/19113
http://ddd.uab.cat/record/19112
http://ddd.uab.cat/record/19041
http://ddd.uab.cat/record/19040
http://ddd.uab.cat/record/19039
http://ddd.uab.cat/record/19002
http://ddd.uab.cat/record/18892
http://ddd.uab.cat/record/18782
http://ddd.uab.cat/record/18781
http://ddd.uab.cat/record/18780
http://ddd.uab.cat/record/18779
http://ddd.uab.cat/record/18778
http://ddd.uab.cat/record/18777
http://ddd.uab.cat/record/18776
http://ddd.uab.cat/record/17885
http://ddd.uab.cat/record/16985
http://ddd.uab.cat/record/16884
http://ddd.uab.cat/record/14220
http://ddd.uab.cat/record/13411
http://ddd.uab.cat/record/12705
http://ddd.uab.cat/record/12523
http://ddd.uab.cat/record/7709
http://ddd.uab.cat/record/7596
http://ddd.uab.cat/record/7072
http://ddd.uab.cat/record/6530
http://ddd.uab.cat/record/6456
http://ddd.uab.cat/record/6270
http://ddd.uab.cat/record/6202
http://ddd.uab.cat/record/6071
http://ddd.uab.cat/record/5693
http://ddd.uab.cat/record/5692
http://ddd.uab.cat/record/5691
http://ddd.uab.cat/record/5690
http://ddd.uab.cat/record/5689
http://ddd.uab.cat/record/5688
http://ddd.uab.cat/record/5687
http://ddd.uab.cat/record/5626
http://ddd.uab.cat/record/5535

JP Actualitzat per Javier Planella fa més de 8 anys Accions
Copiar enllaç
 #7

Per verificar enllaços externs que ja no funcionen (a pàgines web alternatives), hi han 162838 registres per comprovar, i cadascun pot tindre un o mes enllaços.
En el DDD de proves ha trigat mes de 2 hores, així que de moment deixo la programació feta al DDD de producció però sense executar.
El programa es: check856.py

JP Actualitzat per Javier Planella fa més de 8 anys Accions
Copiar enllaç
 #8

A taltabull (test) hi han URL 30474 per comprobar

fitxer amb les dades de les URL:
~/var/lib/urls/test856.tab

programat a hourly.sh:
scripts="check856 eina2ddd fixX73 add856 error2ack checkdaemons"
perque faci 100 cada hora

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions
Copiar enllaç
 #9

  • S'ha afegit relacionat amb Tasca #4556: Tornar a penjar els pdfs de les guies docents antigues sense pdf

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #10

  • S'ha afegit relacionat amb Tasca #4068: Repàs periòdic del fitxer d'errors de l'etiqueta 856 - tasca anual -

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #11

  • Tema ha canviat de Comprovació d'enllaços externs al DDD a Comprovació d'enllaços al DDD (etiqueta 856 en genèric)
  • Prioritat ha canviat de Normal a Alta

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions
Copiar enllaç
 #12

Javier, pots deixar el fitxer a /mnt/CLARIION/ddd/qualitat/, i així es veurà com a https://ddd.uab.cat/qualitat/

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #13

  • Data de venciment ha canviat de 21-12-2017 a 28-06-2018

JP Actualitzat per Javier Planella fa aproximadament 8 anys Accions
Copiar enllaç
 #14

Hem posat una mostra de la sortida de les comprovacions a:
https://ddd.uab.cat/qualitat/check856.tab

Es pot modificar la visualització com preferiu

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #15

Moltes gràcies Javier, està superbé.

Es podria afegir una versió html del mateix llistat? També aquí al directori qualitat?

Respecte a l'ordre està bé que primer aparegui el tipus d'error però després preferiria que ordenés per la quarta columna, per agrupar errors semblants.

Alguns que es podrien eliminar del llistat serien:
- si és un 303, a l'adreça de la quarta columna hi ha un handle.net i a l'adreça de la cinquena un tdx o un recercat, no cal que apareguin en el llistat.

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #17

Javier, el llistat continua sortint buit!

JP Actualitzat per Javier Planella fa aproximadament 8 anys Accions
Copiar enllaç
 #18

Disponible el llistat a:

https://ddd.uab.cat/qualitat/check856.tab

Cada dia comprova 9000 URLs del DDD, de tal manera que al cap d'una setmana els haurà comprovat tots (son uns 57000)

Cada cop que es modifica una URL al DDD al dia següent ja no hi apareix a check856.tab

L'ordenació i eliminar tdx i recercat ja esta fet, falta crear un nou fitxer HTML

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #20

Quan el Javier elimini les adreces TDX tancarem la tasca i la passarem a tasques permanents de qualitat, amb seguiment des de la UTP. Modificar com a periòdica la tasca #4673.

En principi farem els error 999, 503, 500, 424, 406, 404, 401

No farem els: 303, 302, 301 que són redireccionaments automàtics.

Avui enviem a la Biblioteca de Comunicació 226 errors relacionats amb enllaços a la web del CEO (http://ceo.uab.cat/), i 120 a la Biblioteca de Socials perquè són del ICPS i de diferents empreses.

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions
Copiar enllaç
 #22

Javier Planella va escriure:

y en la cuarta columna de los ejemplos no hay "handle":
301 2018-02-05 https://ddd.uab.cat/record/38527 http://www.tdx.cat/TDX-0205102-104056 http://www.tdx.cat/handle/10803/4379;jsessionid=40A02FC0A87F17259EBEFE1F623E37BE

Els meus dos grans de sorra:

  • El paràmetre jsessionid= s'ha d'esborrar dels llistats (de fet, de la captura), perquè és un número de sessió, un valor aleatori que mai no hauria de tornar a ser el mateix.
  • L'adreça http://www.tdx.cat/handle/10803/4379 és (hauria de ser) la mateixa que http://hdl.handle.net/10803/4379 de manera que sí que podem entendre que és un handle.

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #23

Doncs ara surt un llistat molt curtet i assequible, no se si creure-m'ho, però si ja és així per mi podeu tancar la tasca. Des de la UTP l'anirem repassant i corregint.

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #24

  • Estat ha canviat de En curs a Tancada
  • Prioritat ha canviat de Alta a Normal

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions
Copiar enllaç
 #25

  • Estat ha canviat de Tancada a En curs

La torno a obrir perquè vull repassar amb el Javier la meva nota 22, que si no se'ns oblidarà.

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions
Copiar enllaç
 #26

M'estic trobant tants DOIs que no funcionen (ex: https://ddd.uab.cat/record/184888), que potser podríem aprofitar aquest programa perquè els comprovi. No deixa de ser un redireccionament, com els handles, no?

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #27

Sí, era el primer comentari a aquesta tasca ;- )

Jo sabia que hi havia molts malament del Servei de publicacions i de fet els estem arreglant amb l'Eulàlia, però estaria bé fer-ho a través del llistat.

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions
Copiar enllaç
 #28

També m'estic trobant amb registres amb dois duplicats, com aquest: https://ddd.uab.cat/record/57596. Tot plegat m'ho trobo a resultes de la tasca (#4950) de comprovacions de citacions a Scopus i Wos.

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions
Copiar enllaç
 #29

  • S'ha afegit relacionat amb Tasca #5052: Canvi en el DDD l'etiqueta 856 $u d'http a https

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions
Copiar enllaç
 #30

  • Data de venciment ha canviat de 28-06-2018 a 28-11-2018

JP Actualitzat per Javier Planella fa més de 7 anys Accions
Copiar enllaç
 #31

  • S'ha afegit relacionat amb Tasca #5106: Eliminar les antigues adreçes del TDX i conservar les noves tipus Handle del Dspace

JP Actualitzat per Javier Planella fa més de 7 anys Accions
Copiar enllaç
 #32

  • S'ha afegit relacionat amb Tasca #5107: Canviar automaticament les 856 que son redireccionaments de http a https:

JP Actualitzat per Javier Planella fa més de 7 anys Accions
Copiar enllaç
 #33

  • Estat ha canviat de En curs a Tancada

La comprovació funciona be.

Obrim les tasques:
#5106
#5107

que treballaran a partir del fitxer generat i canviaran els registres automàticament

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions
Copiar enllaç
 #34

  • S'ha afegit relacionat amb Tasca #5155: Canvis automàtics en adreces externes al DDD que han modificat la seva estructura

CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions
Copiar enllaç
 #35

  • Paraula clau s'ha suprimit (JR)
Accions
Copiar enllaç

També disponible a: PDF Atom