Tasca #4843
tancatGenerar i sincronitzar tots els fitxers que no siguin tif
Descripció
Cal anar fent fitxers jpg de qualitat de tots els fitxers tif, algunes càrregues darreres no el tenen fet perquè no hi havia prou espai de disc.
La idea de tenir aquests fitxers jpg és tenir un format amb menys pes que permeti una còpia en cinta que entri en el circuit comú del Servei d'Informàtica, normalitzant així el sistema de còpies. Com a una segona opció també es podrien gravar aquests fitxers en un disc i enviar-lo al GEPA, per exemple.
Tasques relacionades 2 (0 obertes — 2 tancades)
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys
- S'ha afegit copiada des de Tasca #4604: Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys
- S'ha afegit relacionat amb Tasca #4842: Reacondicionament dels discos Satabeast
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys
- Data de venciment ha canviat de 27-02-2018 a 19-04-2018
CA Actualitzat per Cristina Azorin fa quasi 8 anys
- Data de venciment ha canviat de 19-04-2018 a 19-07-2018
FJ Actualitzat per Ferran Jorba fa més de 7 anys
A resultes de les incidències de la tasca #4604, encara no he pogut crear tots els jpegs per a tots els nostres tiffs. En tenim molts, però no tots.
El que sí que hem habilitat és un espai de 6 TB en un dels SataBeasts per allotjar-hi tots els fitxers que no són tiffs. Això està en marxa i està raonablement al dia. No he pogut posar una sincronització automàtica (per exemple, un cop per setmana) perquè la situació canvia cada setmana. En tot cas, ara mateix n'estic fent una altra.
CA Actualitzat per Cristina Azorin fa més de 7 anys
- Data de venciment ha canviat de 19-07-2018 a 30-10-2018
FJ Actualitzat per Ferran Jorba fa més de 7 anys
La còpia a l'espai de 6 TB de tot el que no sigui tiff ni estigui al Clariion ja es fa setmanalment d'una manera automàtica.
Pel que fa a la quantitat de fitxers de digitalització retrospectiva del que només tenim còpia en tif però no en jpeg de la mateixa resolució, en queden uns 100.000 fitxers (poc menys de 20.000 de carandell, fons personal, veterinària, liceu i bdhah). Si encara no estan convertits és o bé perquè no hi ha prou espai lliure en el disc corresponent, o perquè l'estructura de directoris no és la mateixa i, per tant, la conversió no es pot fer amb la mateix script automàtic que la resta.
Després hi ha el cas de Racó que era tiff en blanc i negre i per tant molt més petit que el jpg, i del que no sé què fer-ne (hi ha unes mostres d'aquestes diferències a https://ddd.uab.cat/record/59776).
FJ Actualitzat per Ferran Jorba fa més de 7 anys
Avui he tingut una idea que, afortunadament, sembla que pot ser realitzable.
El que he pensat és que, com que la còpia en jpg de tot el que és tiff, i tot el que de sí ja no és tiff (per exemple, els jpg i els png dels cartells de Twitter, o els originals en Word del que es publiquem com a pdf al DDD) ja està automatitzada, podríem aprofitar el circuit actual que serveix per enviar les còpies generals que fa el SI fora de la UAB.
Avui n'he parlat amb el Pere Roca, el Xavier Castilla i l'Ivan Leiva, i en principi és factible. La proposta és que en facin una còpia en cinta un cop al mes, amb l'objectiu que s'enviï fora de la UAB. En tindríem dues generacions (és a dir, cada dos mesos reciclaríem la cinta antiga). Com que les cintes són de 6 TB, ara per ara hi cabria bé en una de sola. Actualment ocupa uns 3,7 TB.
Segurament en podrem fer una primera prova aquest mes.
Aquesta solució no exclou (no és incompatible) en tenir-ne una altra amb discs USB per enviar-los al Gepa, però que requeriria de més feina manual.
CA Actualitzat per Cristina Azorin fa més de 7 anys
- Data de venciment ha canviat de 30-10-2018 a 20-12-2018
FJ Actualitzat per Ferran Jorba fa més de 7 anys
Pel que m'han explicat, ja s'estan fent còpies i enviant fora de la UAB la darrera setmana de cada mes tot el material del Volum-I que no és tiff, incloses les conversions de tiff a jpeg. Ara mateix són 3,7 TB.
CA Actualitzat per Cristina Azorin fa més de 7 anys
- Data de venciment ha canviat de 20-12-2018 a 31-01-2019
FJ Actualitzat per Ferran Jorba fa quasi 7 anys
Després d'una repassada les darreres setmanes, ara mateix en queda aproximadament un 1% pendent.
Abans de continuar, cal que expliqui com funciona el programa que de detecta els que manquen: comprova si existeix un fitxer equivalent canviat on diu tif per jpg (o png), tant en noms de directoris com a l'extensió del fitxer. L'opció png existeix per a la conversió dels tiffs en blanc i negre, donat que els jpegs són molt més grans que els originals tiffs (perquè no existeix el format jpeg en blanc i negre), i en canvi, els png (que sí que té l'opció blanc i negre) sí que són petits (ex: http://volum-i.uab.cat/raco/edlc/ ; altres exemples a https://ddd.uab.cat/record/59776).
Concretament, ara mateix al Volum-I tenim 970.060 tiffs, dels quals 10.124 no tenen l'equivalent exacte a jpg o png. Si els examinem, veurem que una part d'ells sí que estan convertits, però el programa no els pot detectar automàticament, per exemple:
- http://volum-i.uab.cat/cartoteca/gelaberto/ Vam fer proves de conversió a jpg a diferents resolucions, però és clar, no n'hi ha cap que digui exactament jpg.
- http://volum-i.uab.cat/muse/muse-ddd/american_quarterly/v060/images/ hi ha tiffs que no s'han convertit.
- http://volum-i.uab.cat/originals/artpub/2016/166514/ la conversió està al Clariion: https://ddd.uab.cat/record/166514
- http://volum-i.uab.cat/fonper/jag/jagc/GOYTISOLO_CORRESPONDENCIA_NOVA_Tasca676/ No he tingut temps (encara) de posar ordre a aquestes digitalitzacions.
- http://volum-i.uab.cat/veterinaria/digitalitzacions-duplicades-pitjors/ Segurament cal esborrar-les, però encara no ho he tornat a comprovar.
- http://volum-i.uab.cat/raac/00-REPASSAR_4-20/ igualment; de moment prefereixo no convertir el que segurament cal esborrar.
En fi, que crec que podem dir que en realitat queda menys d'aquest 1%.
CA Actualitzat per Cristina Azorin fa quasi 7 anys
- Data de venciment ha canviat de 31-01-2019 a 18-07-2019
- Prioritat ha canviat de Urgent a Normal
CA Actualitzat per Cristina Azorin fa més de 6 anys
- Estat ha canviat de En curs a Tancada