Projecte

General

Perfil

Accions

Tasca #4843

tancat
CA FJ

Generar i sincronitzar tots els fitxers que no siguin tif

Tasca #4843: Generar i sincronitzar tots els fitxers que no siguin tif

Afegit per Cristina Azorin fa aproximadament 8 anys. Actualitzat fa més de 6 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Tecnologia
Temàtica prevista:
Inici:
28-06-2017
Data de venciment:
18-07-2019
Paraula clau:
JR replica

Descripció

Cal anar fent fitxers jpg de qualitat de tots els fitxers tif, algunes càrregues darreres no el tenen fet perquè no hi havia prou espai de disc.

La idea de tenir aquests fitxers jpg és tenir un format amb menys pes que permeti una còpia en cinta que entri en el circuit comú del Servei d'Informàtica, normalitzant així el sistema de còpies. Com a una segona opció també es podrien gravar aquests fitxers en un disc i enviar-lo al GEPA, per exemple.


Tasques relacionades 2 (0 obertes2 tancades)

relacionat amb DDD - Tasca #4842: Reacondicionament dels discos SatabeastAnul·latNúria Casaldaliga17-01-201828-06-2018Accions
copiada des de DDD - Tasca #4604: Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)TancadaFerran Jorba28-06-201721-02-2019Accions

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #1

  • S'ha afegit copiada des de Tasca #4604: Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #2

  • S'ha afegit relacionat amb Tasca #4842: Reacondicionament dels discos Satabeast

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #3

  • Data de venciment ha canviat de 27-02-2018 a 19-04-2018

CA Actualitzat per Cristina Azorin fa quasi 8 anys Accions #4

  • Data de venciment ha canviat de 19-04-2018 a 19-07-2018

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #5

A resultes de les incidències de la tasca #4604, encara no he pogut crear tots els jpegs per a tots els nostres tiffs. En tenim molts, però no tots.

El que sí que hem habilitat és un espai de 6 TB en un dels SataBeasts per allotjar-hi tots els fitxers que no són tiffs. Això està en marxa i està raonablement al dia. No he pogut posar una sincronització automàtica (per exemple, un cop per setmana) perquè la situació canvia cada setmana. En tot cas, ara mateix n'estic fent una altra.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #6

  • Data de venciment ha canviat de 19-07-2018 a 30-10-2018

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #7

La còpia a l'espai de 6 TB de tot el que no sigui tiff ni estigui al Clariion ja es fa setmanalment d'una manera automàtica.

Pel que fa a la quantitat de fitxers de digitalització retrospectiva del que només tenim còpia en tif però no en jpeg de la mateixa resolució, en queden uns 100.000 fitxers (poc menys de 20.000 de carandell, fons personal, veterinària, liceu i bdhah). Si encara no estan convertits és o bé perquè no hi ha prou espai lliure en el disc corresponent, o perquè l'estructura de directoris no és la mateixa i, per tant, la conversió no es pot fer amb la mateix script automàtic que la resta.

Després hi ha el cas de Racó que era tiff en blanc i negre i per tant molt més petit que el jpg, i del que no sé què fer-ne (hi ha unes mostres d'aquestes diferències a https://ddd.uab.cat/record/59776).

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #8

Avui he tingut una idea que, afortunadament, sembla que pot ser realitzable.

El que he pensat és que, com que la còpia en jpg de tot el que és tiff, i tot el que de sí ja no és tiff (per exemple, els jpg i els png dels cartells de Twitter, o els originals en Word del que es publiquem com a pdf al DDD) ja està automatitzada, podríem aprofitar el circuit actual que serveix per enviar les còpies generals que fa el SI fora de la UAB.

Avui n'he parlat amb el Pere Roca, el Xavier Castilla i l'Ivan Leiva, i en principi és factible. La proposta és que en facin una còpia en cinta un cop al mes, amb l'objectiu que s'enviï fora de la UAB. En tindríem dues generacions (és a dir, cada dos mesos reciclaríem la cinta antiga). Com que les cintes són de 6 TB, ara per ara hi cabria bé en una de sola. Actualment ocupa uns 3,7 TB.

Segurament en podrem fer una primera prova aquest mes.

Aquesta solució no exclou (no és incompatible) en tenir-ne una altra amb discs USB per enviar-los al Gepa, però que requeriria de més feina manual.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #9

  • Data de venciment ha canviat de 30-10-2018 a 20-12-2018

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #10

Pel que m'han explicat, ja s'estan fent còpies i enviant fora de la UAB la darrera setmana de cada mes tot el material del Volum-I que no és tiff, incloses les conversions de tiff a jpeg. Ara mateix són 3,7 TB.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #11

  • Data de venciment ha canviat de 20-12-2018 a 31-01-2019

FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #12

Després d'una repassada les darreres setmanes, ara mateix en queda aproximadament un 1% pendent.

Abans de continuar, cal que expliqui com funciona el programa que de detecta els que manquen: comprova si existeix un fitxer equivalent canviat on diu tif per jpg (o png), tant en noms de directoris com a l'extensió del fitxer. L'opció png existeix per a la conversió dels tiffs en blanc i negre, donat que els jpegs són molt més grans que els originals tiffs (perquè no existeix el format jpeg en blanc i negre), i en canvi, els png (que sí que té l'opció blanc i negre) sí que són petits (ex: http://volum-i.uab.cat/raco/edlc/ ; altres exemples a https://ddd.uab.cat/record/59776).

Concretament, ara mateix al Volum-I tenim 970.060 tiffs, dels quals 10.124 no tenen l'equivalent exacte a jpg o png. Si els examinem, veurem que una part d'ells sí que estan convertits, però el programa no els pot detectar automàticament, per exemple:

En fi, que crec que podem dir que en realitat queda menys d'aquest 1%.

CA Actualitzat per Cristina Azorin fa quasi 7 anys Accions #13

  • Data de venciment ha canviat de 31-01-2019 a 18-07-2019
  • Prioritat ha canviat de Urgent a Normal

CA Actualitzat per Cristina Azorin fa més de 6 anys Accions #14

  • Estat ha canviat de En curs a Tancada
Accions

També disponible a: PDF Atom