Projecte

General

Perfil

Accions

Tasca #4604

tancat
CA FJ

Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)

Tasca #4604: Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)

Afegit per Cristina Azorin fa més de 8 anys. Actualitzat fa quasi 7 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Tecnologia
Temàtica prevista:
Inici:
28-06-2017
Data de venciment:
21-02-2019
Paraula clau:
JR

Descripció

Els directors del SdB i el SI van acordar, políticament, que aquesta càrrega era possible.

Cal un calendari de la gent de sistemes del SI per veure quan es farà.

A més, caldria demanar-los una ampliació dels discos del VNX que ara estan a un 90%. Cal esperar alguna càrrega de digitalització durant aquest any.


Fitxers

volum-4.xlsx (6.6 KB) volum-4.xlsx Ferran Jorba, 01-06-2018 12:11

Tasques relacionades 4 (0 obertes4 tancades)

relacionat amb DDD - Tasca #4842: Reacondicionament dels discos SatabeastAnul·latNúria Casaldaliga17-01-201828-06-2018Accions
relacionat amb DDD - Tasca #5191: Actualitzar pàgines wiki HardwareDDDTancadaFerran Jorba13-11-201829-03-2019Accions
relacionat amb DDD - Tasca #5456: Traslladar els fitxers del Volum-I (VNX-5800) al Unity-500TancadaFerran Jorba06-09-201913-11-2019Accions
copiada a DDD - Tasca #4843: Generar i sincronitzar tots els fitxers que no siguin tifTancadaFerran Jorba28-06-201718-07-2019Accions

NC Actualitzat per Núria Casaldaliga fa més de 8 anys Accions #1

s'ha demanat la informació i les dades de creixement a tenir en compte són:
  • cartells polítics digitals - 150GB
  • veterinària - 150-200GB
  • humanitats - 150GB
  • digitalització ministerio - 2,5TB (pendent d'aprovació de la subvenció)

Sense tenir en compte el ministerio i tirant llarg es pot calcular un creixement màxim de 500GB/any. A partir d'aquesta xifra s'ha de decidir quants discos calen i de quina capacitat. És important saber-ho abans de final d'any per si hi ha romanents econòmics.

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #2

  • Tema ha canviat de Càrrega d'una segona còpia del Satabeast al segon VNX a Crear l'espai al VNX per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #3

Enlloc de fer volums de 2 TB, com hem fet fins ara, per anar ampliant el VNX la gent de Sistemes proposa donar un espai flexible.

El Ferran agafarà el gràfic per espais (http://volum-i.uab.cat/?dircloud=statistics) i demanarà espai allà on faci falta. La Núria demana no fer una previsió curta, sinó que pugui ser a dos o tres anys vista.

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #4

  • Data de venciment ha canviat de 03-10-2017 a 20-12-2017
  • Estat ha canviat de Creada a En curs
  • Assignat a ha canviat de Pere Roca a Ferran Jorba

L'àrea de sistemes del Servei d'Informàtica vol fer un sistema de deduplicació i amb el nou VNX i primer farem unes proves.

Es va fer una primera prova de càrrega de 10 TB, però no va ser suficient per saber si el sistema de deduplicació funciona correctament, tot i que va contra tots els principis de preservació. Tenen en compte que hi ha poques possibilitats de que es corrompi el disc i que hi ha una segona còpia. Aquesta prova servirà per saber quin tant per cent estem estalviant d'espai, si és poc no valdrà la pena fer.ho

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #5

Ja tenim resultat de la prova de deduplicació: amb fitxers reals del Volum-I, sobretot tiffs i jpegs, però també pdfs i pngs, la deduplicació en blocks (chunks) que ofereix el VNX és només del 4%, aproximadament, de manera que no surt a compte i oficialment es descarta aquesta via.

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #6

He fet els càlculs d'espai a DirectoriDelVolumI. Hi manquen encara:

  • L'espai per les còpies pel control de versions del DDD.
  • La còpia en format jpg del material en tiff, per poder-lo enviar fora de la UAB.
  • Espai de maniobra.

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #7

He aprofitat el cap de setmana perquè anés copiant, i prou que ho ha fet, però s'estan omplint més del que havíem calculat. Els que els hi havíem donat un 5% de marge estan al 97-99 o 100%. De fet, els Guions de Ràdio Barcelona (el del 100%) no s'han copiat del tot, he rebut missatges que li mancava espai.

ddd@taltabull:/mnt/VOLUM-VNX/raac/ddd/raac$ df -h | sort -k 6 | grep VNX
nas.nfs.local:/arx_altres         985G  640K  985G   1% /mnt/VOLUM-VNX/altres
nas.nfs.local:/arx_bdhah          2.0T  1.9T   34G  99% /mnt/VOLUM-VNX/bdhah
nas.nfs.local:/arx_carandell      985G  917G   68G  94% /mnt/VOLUM-VNX/carandell
nas.nfs.local:/arx_carpol         1.8T  640K  1.8T   1% /mnt/VOLUM-VNX/carpol
nas.nfs.local:/arx_fonper         1.2T  1.1T   89G  93% /mnt/VOLUM-VNX/fonper
nas.nfs.local:/arx_guiradbcn      2.3T  2.3T   26M 100% /mnt/VOLUM-VNX/guiradbcn
nas.nfs.local:/arx_ppc            1.7T  1.7T   32G  99% /mnt/VOLUM-VNX/ppc
nas.nfs.local:/arx_raac           2.6T  643G  1.9T  26% /mnt/VOLUM-VNX/raac
nas.nfs.local:/arx_rdret          1.5T  1.4T   54G  97% /mnt/VOLUM-VNX/rdret
nas.nfs.local:/arx_societatliceu  3.4T  640K  3.4T   1% /mnt/VOLUM-VNX/societatliceu
nas.nfs.local:/arx_veterinaria    3.7T  640K  3.7T   1% /mnt/VOLUM-VNX/veterinaria

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #8

Continua la còpia... Estan copiats els volums que estan per sobre del 90%:

ddd@taltabull:~$ df -h | sort -k 6 | grep VNX
nas.nfs.local:/arx_altres         985G  640K  985G   1% /mnt/VOLUM-VNX/altres
nas.nfs.local:/arx_bdhah          2.0T  1.9T   34G  99% /mnt/VOLUM-VNX/bdhah
nas.nfs.local:/arx_carandell      985G  917G   68G  94% /mnt/VOLUM-VNX/carandell
nas.nfs.local:/arx_carpol         1.8T  801G  973G  46% /mnt/VOLUM-VNX/carpol
nas.nfs.local:/arx_fonper         1.2T  1.1T   89G  93% /mnt/VOLUM-VNX/fonper
nas.nfs.local:/arx_guiradbcn      2.3T  2.3T   26M 100% /mnt/VOLUM-VNX/guiradbcn
nas.nfs.local:/arx_ppc            1.7T  1.7T   32G  99% /mnt/VOLUM-VNX/ppc
nas.nfs.local:/arx_raac           2.6T  2.5T   12G 100% /mnt/VOLUM-VNX/raac
nas.nfs.local:/arx_rdret          1.5T  1.4T   54G  97% /mnt/VOLUM-VNX/rdret
nas.nfs.local:/arx_societatliceu  3.4T  640K  3.4T   1% /mnt/VOLUM-VNX/societatliceu
nas.nfs.local:/arx_veterinaria    3.7T  3.7T   16G 100% /mnt/VOLUM-VNX/veterinaria

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #9

Bé, diria que ja estan copiats tots. Per algun motiu tècnic que desconec, l'ocupació al nou VNX (5800) és més alta que a l'antic (5300). Com que n'hi ha que estan ocupats al 100%, segur que n'hi ha que no hi han capigut. Ara negociarem amb el José Manuel com fem créixer els volums que s'han quedat petits:

ddd@taltabull:~$ df -h | sort -k 6 | grep VNX
nas.nfs.local:/arx_altres         985G  921G   65G  94% /mnt/VOLUM-VNX/altres
nas.nfs.local:/arx_bdhah          2.0T  1.9T   34G  99% /mnt/VOLUM-VNX/bdhah
nas.nfs.local:/arx_carandell      985G  917G   68G  94% /mnt/VOLUM-VNX/carandell
nas.nfs.local:/arx_carpol         1.8T  1.8T   19G  99% /mnt/VOLUM-VNX/carpol
nas.nfs.local:/arx_fonper         1.2T  1.1T   89G  93% /mnt/VOLUM-VNX/fonper
nas.nfs.local:/arx_guiradbcn      2.3T  2.3T   26M 100% /mnt/VOLUM-VNX/guiradbcn
nas.nfs.local:/arx_ppc            1.7T  1.7T   32G  99% /mnt/VOLUM-VNX/ppc
nas.nfs.local:/arx_raac           2.6T  2.5T   12G 100% /mnt/VOLUM-VNX/raac
nas.nfs.local:/arx_rdret          1.5T  1.4T   54G  97% /mnt/VOLUM-VNX/rdret
nas.nfs.local:/arx_societatliceu  3.4T  3.4T   24M 100% /mnt/VOLUM-VNX/societatliceu
nas.nfs.local:/arx_veterinaria    3.7T  3.7T   16G 100% /mnt/VOLUM-VNX/veterinaria

FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #10

  • Prioritat ha canviat de Urgent a Normal

Ja hem fet les ampliacions corresponents perquè hi capiguessin les restes. Tot el que és accessible via http://volum-i.uab.cat ja és al nou VNX:

ddd@taltabull:~$ df -h | sort -k 6 | grep VNX
nas.nfs.local:/arx_altres         985G  921G   65G  94% /mnt/VOLUM-VNX/altres
nas.nfs.local:/arx_bdhah          2.1T  1.9T  133G  94% /mnt/VOLUM-VNX/bdhah
nas.nfs.local:/arx_carandell      985G  917G   68G  94% /mnt/VOLUM-VNX/carandell
nas.nfs.local:/arx_carpol         1.9T  1.8T  118G  94% /mnt/VOLUM-VNX/carpol
nas.nfs.local:/arx_fonper         1.2T  1.1T   89G  93% /mnt/VOLUM-VNX/fonper
nas.nfs.local:/arx_guiradbcn      2.5T  2.3T  176G  93% /mnt/VOLUM-VNX/guiradbcn
nas.nfs.local:/arx_ppc            1.8T  1.7T  131G  93% /mnt/VOLUM-VNX/ppc
nas.nfs.local:/arx_raac           2.6T  2.5T  110G  96% /mnt/VOLUM-VNX/raac
nas.nfs.local:/arx_rdret          1.6T  1.4T  153G  91% /mnt/VOLUM-VNX/rdret
nas.nfs.local:/arx_societatliceu  3.5T  3.4T   89G  98% /mnt/VOLUM-VNX/societatliceu
nas.nfs.local:/arx_veterinaria    4.0T  3.7T  311G  93% /mnt/VOLUM-VNX/veterinaria

Què queda? Uns 3 TB de:

  • L'espai de control de versions (git) dels documents del DDD
  • L'espai dels logs històrics, tant de Babel, Decomate, Millennium, DDD, Traces, etc.
  • Espai més o menys experimental de captura de webs.

I també uns 2 TB de:

  • L'espai en formats no-tiff de les digitalitzacions retrospectives, amb la idea que estiguin actualtizades a un sol lloc i es puguin exportar fora de la UAB.

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #11

  • Data de venciment ha canviat de 20-12-2017 a 31-01-2018
  • Prioritat ha canviat de Normal a Urgent

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #12

  • S'ha afegit relacionat amb Tasca #4842: Reacondicionament dels discos Satabeast

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #13

  • S'ha afegit copiada a Tasca #4843: Generar i sincronitzar tots els fitxers que no siguin tif

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #14

Ja estan demanats els dos nous espais de disc al VNX. Tenia dubtes de com fer-ho i he hagut de demanar ajuda ;-)

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #15

Ja tinc creats els discs historic (3 TB, logs, control de versions, mirrors, etc) i replica (2 TB, còpia del que tot el que no és tif per poder-lo exportar fàcilment a fora de la UAB).

He començat a copiar el disc historic; segurament necessitarà més d'un dia.

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #16

Dels dos nous discs, ja tenim una còpia actualtizada de l'historic i ara mateix n'he deixat una que es faci del disc replica, que consisteix en tot el que tenim al VNX que no siguin tiff ni estiguin ja al Clariion (perquè si el tenim al Clariion vol dir que ja en tenim còpies externes), que serà el material del que se'n guardi una còpia fora de la UAB. Compto que acabi aquest cap de setmana:

nas.nfs.local:/arx_historic       3.0T  2.0T  1.1T  65% /mnt/VOLUM-VNX/historic
nas.nfs.local:/arx_replica        2.0T   12G  2.0T   1% /mnt/VOLUM-VNX/replica

Estic coordinant aquesta feina amb els meus companys de sistemes, perquè quan ens toqui fer el canvi tothom sàpiga en quina situació estem.

FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #17

Per poder identificar de manera automàtica els dos tipus de discs, els primaris, on hi ha els documents, i els auxiliars, on hi ha logs, històrics, control de versions, i rèpliques, hem pactat amb els companys de sistems de canviar els noms dels discs per les tres primeres lletres dels noms. Però com que hi ha un conflicte entre CARpol i CARandell, en farem un de SOCials que agrupi CARandell i RDRet, i així eliminem la coincidència. Ja he fet la petició.

El disc de rèplica, on hi ha tot el que tenim al Volum-I que no és en tiff, també s'ha omplert i he demanat que me l'ampliïn de 2 TB a 3 TB.

nas.nfs.local:/arx_altres         985G  921G   65G  94% /mnt/VOLUM-VNX/altres
nas.nfs.local:/arx_bdhah          2.1T  1.9T  133G  94% /mnt/VOLUM-VNX/bdhah
nas.nfs.local:/arx_carandell      985G  917G   68G  94% /mnt/VOLUM-VNX/carandell
nas.nfs.local:/arx_carpol         1.9T  1.8T  118G  94% /mnt/VOLUM-VNX/carpol
nas.nfs.local:/arx_fonper         1.2T  1.1T   89G  93% /mnt/VOLUM-VNX/fonper
nas.nfs.local:/arx_guiradbcn      2.5T  2.3T  176G  93% /mnt/VOLUM-VNX/guiradbcn
nas.nfs.local:/arx_historic       3.0T  2.0T  1.1T  65% /mnt/VOLUM-VNX/historic
nas.nfs.local:/arx_ppc            1.8T  1.7T  131G  93% /mnt/VOLUM-VNX/ppc
nas.nfs.local:/arx_raac           2.6T  2.5T  110G  96% /mnt/VOLUM-VNX/raac
nas.nfs.local:/arx_rdret          1.6T  1.4T  153G  91% /mnt/VOLUM-VNX/rdret
nas.nfs.local:/arx_replica        2.0T  2.0T   29G  99% /mnt/VOLUM-VNX/replica
nas.nfs.local:/arx_societatliceu  3.5T  3.4T   89G  98% /mnt/VOLUM-VNX/societatliceu
nas.nfs.local:/arx_veterinaria    4.0T  3.7T  311G  93% /mnt/VOLUM-VNX/veterinaria

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #18

  • Data de venciment ha canviat de 31-01-2018 a 19-04-2018

Falta generar els fitxers jpg d'un 10% (més o menys) de fons digitalitzat. En el seu dia no es va poder fer per manca d'espai.

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #19

  • Tema ha canviat de Crear l'espai al VNX per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo a Crear l'espai al VNX 5300 per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #20

No hem tancat aquesta tasca perquè ens hem trobat amb problemes exagerats de rendiment amb els nous discs del VNX-5800 (el ràpid). Tot i que és cert que no ens cal un rendiment súper eficient, ara mateix ens està anant a meitat de velocitat que abans. Això vol dir que repassar els 20 TB de disc, que abans trigava 6 o 7 hores i acabava cap a les 9 o les 10 del matí, ara acaba en triga de 10 a 20, i acaba a la tarda o al vespre. Com que el volum anirà creixent, està clar que cal trobar una solució.

Sembla ser que el tema és que la connexió es fa per NFS i no per iSCSI. Malhauradament, la flexibilitat que tenim ara de crear discs temàtics amb molta facilitat de fer-los créixer, depèn justament que la connexió es faci per NFS, perquè forma part de la gestió de discs del VNX.

N'hem parlat amb el José Manuel i mirarà de fer-hi alguns ajustos, o hi mirarem solucions alternatives o mixtes.

No ens n'hem oblidat.

CA Actualitzat per Cristina Azorin fa quasi 8 anys Accions #21

  • Data de venciment ha canviat de 19-04-2018 a 19-07-2018

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #22

  • S'ha afegit Fitxer volum-4.xlsx volum-4.xlsx
  • Tema ha canviat de Crear l'espai al VNX 5300 per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo a Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)

Adjunto un full de càlcul, adreçat principalment al José Manuel Castillo, amb la meva previsió dels canvis de filesystems al VNX-5800.

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #23

Després de negociar amb el José Manuel i tenint en compte l'espai del que disposem ara mateix al VNX-5800, hem quedat:

  • Crear la configuració del VNX-5300 segons els tamanys actuals amb els increments que enumerem aquí a sota. El nom del punt de muntatge serà /mnt/VOLUM-4b

Després fer aquestes ampliacions:

  • nas.nfs.local:/arx_bdhah: de 2.1 TB a 2.5 TB
  • nas.nfs.local:/arx_fonper: de 1.2 TB a 1.5 TB
  • nas.nfs.local:/arx_raac: de 2.6 TB a 3 TB
  • nas.nfs.local:/arx_veterinaria: de 4.0 TB a 5 TB

Desmuntar i eliminar:

  • nas.nfs.local:/arx_replica: 3.5 TB
  • nas.nfs.local:/arx_carpol: 1.9 TB (avisar abans al Ferran)

Crear el filesystem:

  • nas.nfs.local:/arx_cpolpap: 1. 4 TB (avisar abans al Ferran)

Crear un disc iSCSI:

  • cpoldig: 1 TB (avisar abans al Ferran)

El nom del punt de muntatge serà /mnt/VOLUM-4 (avisar abans al Ferran)

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #24

Hem estat parlant amb el José Manuel, i perquè puguem tancar la tasca #4843, hem d'acondicionar un espai de replica temporal en algun dels Satabeasts. En concret, proposo utilitzar 6 TB (en necessitem uns 4) del Satabeast1, que ara mateix estan buits:

/dev/sdbb1                        2.0T   71M  2.0T   1% /mnt/VOLUM-3b/3-08
/dev/sdbh1                        2.0T   71M  2.0T   1% /mnt/VOLUM-3b/3-09
/dev/sdbn1                        2.0T   71M  2.0T   1% /mnt/VOLUM-3b/3-10

Per seguir les mateixes convencions, el punt de muntatge s'hauria de dir /mnt/VOLUM-3b/replica

FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #25

Desmuntant els filesystems del VNX-5300 (el lent, el que ens ha de fer de segona còpia) ens surten 31 TB, perquè són 14 discs de 2 TB i un de 3 TB:

ddd@taltabull:~$ df -h | sort -k 6 | grep [23]/
/dev/mapper/mpathl-part1          2.0T  1.6T  428G  79% /mnt/VOLUM-2/1-01
/dev/mapper/mpathm-part1          2.0T  1.9T  105G  95% /mnt/VOLUM-2/1-02
/dev/mapper/mpathk-part1          2.0T  1.8T  192G  91% /mnt/VOLUM-2/1-03
/dev/mapper/mpathp-part1          2.0T  1.9T  151G  93% /mnt/VOLUM-2/1-04
/dev/mapper/mpathh-part1          2.0T  1.9T  136G  94% /mnt/VOLUM-2/1-05
/dev/mapper/mpathi-part1          2.0T  1.9T   93G  96% /mnt/VOLUM-2/1-06
/dev/mapper/mpatho-part1          2.0T  1.9T   70G  97% /mnt/VOLUM-2/1-07
/dev/mapper/mpathn-part1          2.0T  1.8T  203G  90% /mnt/VOLUM-2/1-08
/dev/mapper/mpathj-part1          2.0T  1.9T   64G  97% /mnt/VOLUM-2/1-09
/dev/mapper/mpathq-part1          2.0T  1.7T  273G  87% /mnt/VOLUM-2/1-10
/dev/mapper/mpathg-part1          3.0T  517G  2.5T  18% /mnt/VOLUM-2/historic
/dev/mapper/mpathe-part1          2.0T  1.5T  463G  77% /mnt/VOLUM-3/1-01
/dev/mapper/mpathc-part1          2.0T  1.2T  866G  57% /mnt/VOLUM-3/1-02
/dev/mapper/mpathd-part1          2.0T  789G  1.2T  40% /mnt/VOLUM-3/1-03
/dev/mapper/mpathf-part1          2.1T  1.4T  631G  70% /mnt/VOLUM-3/1-04

Ara es tracta de desfer-los tots i muntar-los tots amb accés NFS, i ja amb el tamany que tindran més endavant els del 5800, és a dir:

nas.nfs.local:/arx_altres_b          1.2T (=5800)
nas.nfs.local:/arx_bdhah_b           2.5T (+)
nas.nfs.local:/arx_cpolpap_b         1.4T (nou)
nas.nfs.local:/arx_cpoldig_b         1.0T (nou)
nas.nfs.local:/arx_fonper_b          1.5T (+)
nas.nfs.local:/arx_guiradbcn_b       2.5T (=5800)
nas.nfs.local:/arx_historic_b        3.0T (=5800)
nas.nfs.local:/arx_ppc_b             1.8T (=5800)
nas.nfs.local:/arx_raac_b            2.6T (=5800)
nas.nfs.local:/arx_socials_b         2.5T (=5800)
nas.nfs.local:/arx_societatliceu_b   4.0T (+)
nas.nfs.local:/arx_veterinaria_b     5.0T (+)

Això suma 29 TB, de manera que encara ens en queden 2 del que estàvem ocupant, però els reservem per assignar-los quan facin falta on toquin.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #26

Després de múltiples proves, i de mirar-nos-ho des de diferents punts de vista i consultar-ho amb persones i Google, hem vist que l'opció que la connexió des de Taltabull al VNX-5800 no és viable per NFS.

Era, tal com hem comentat vàries vegades, la més flexible pel que fa a la gestió de l'espai (els volums) des del punt de vista del VNX, però l'experiència acumulada, no només la nostra, demostra que NFS és molt poc eficient quan es tracta d'accedir (ni que sigui de lectura!) a una quantitat molt gran de fitxers petits. I el nostre fons està ple de fitxerets petits, perquè, per molt que els tiffs siguin enormes, les miniatures, els fitxers .info, els de control, etc. són tots petitons i n'hi ha a milers.

El José Manuel, doncs, reconfigurarà les connexions perquè tornin a anar per iSCSI, començant pel VNX-5300 (el lent, la còpia secundària).

Ara mateix, la situació és que la còpia primària és el VNX-5800, continuem anant-hi via NFS, i la còpia secundària són els Satabeasts, via iSCSI. Quan el José Manuel hagi fet la seva part, hi copiarem el contingut des del SataBeast (perquè és mooolt més ràpid queu fer-ho des del VNX) i farem una sincronització final des del VNX-5800. Tot plegat pot trigar uns quants dies...

Quan això estigui, es tractarà de fer el mateix amb el VNX-5800, és a dir: desconnectar-lo via NFS i reconnectar-lo via iSCSI. No sé si hi haurà temps de fer-ho abans de començar les vacances d'agost.

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #27

  • Data de venciment ha canviat de 19-07-2018 a 30-10-2018

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #28

Situació actual:

  1. Hem deixat d'utilitzar els discs de tamany variable del VNX-5800 amb connexió NFS.
  2. Estem utilitzant com a còpia primària el VNX-5300 amb connexió iSCSI amb discs de tamany fix de 2 TB.
  3. Estem utilitzant com a còpia secundària els Satabeasts amb connexió iSCSI amb discs de tamany fix de 2 TB.

http://volum-i.uab.cat/?dircloud=statistics

Tot això, a hores d'ara, està sincronitzat i parcialment verificat. També està sincronitzada la copia amb els fitxers que no són tiff i que no estan al Clariion, i que ocupa 3,6 TB. Això no vol dir que tot el que tinguem en tiff estigui ja en jpg. En falta una quantitat menor, que no s'havia pogut fer per problemes d'espai. Ho continuaré fent mica a mica.

He demanat al José Manuel si em pot preparar els discs de 2 TB del VNX-5800 amb connexió iSCSI abans d'anar de vacances, perquè els pugui anar copiant durant l'agost, ja que aquesta còpia trigarà uns quants dies; aquest és el disc que haurà de ser la còpia primària (el VNX-5300 serà la secundària), però serà després de vacances.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #29

El José Manuel no havia pogut dedicar-s'hi gaire les darreres setmanes, però avui m'ha confirmat que ja ha preparat dos discs de 2 TB al VNX-5800, i que té previst acabar-los de preparar tots avui mateix. A partir d'aquí jo ja podré copiar-ne el contingut des del VNX-5300 per, quan estigui copiat i verificat, fer el canvi i que el VNX-5800 passi a ser el primari.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #30

El José Manuel dimarts em va deixar preparats els discs del VNX-5800 i ara ja en portem copiats quasi dos. Els dos primers els he preparat a mà i, per tant, hi ha hagut estones mortes en la còpia. Els següents ja es faran automàticament i sense pauses.

ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-[23]/1-..
/dev/mapper/mpathl-part1     2.0T  1.7T  304G  85% /mnt/VOLUM-2/1-01
/dev/mapper/mpathm-part1     2.0T  1.9T  106G  95% /mnt/VOLUM-2/1-02
/dev/mapper/mpathk-part1     2.0T  1.9T  142G  93% /mnt/VOLUM-2/1-03
/dev/mapper/mpathp-part1     2.0T  1.9T  151G  93% /mnt/VOLUM-2/1-04
/dev/mapper/mpathh-part1     2.0T  1.9T  137G  94% /mnt/VOLUM-2/1-05
/dev/mapper/mpathi-part1     2.0T  1.7T  267G  87% /mnt/VOLUM-2/1-06
/dev/mapper/mpatho-part1     2.0T  2.0T   47G  98% /mnt/VOLUM-2/1-07
/dev/mapper/mpathn-part1     2.0T  1.8T  194G  91% /mnt/VOLUM-2/1-08
/dev/mapper/mpathj-part1     2.0T  1.9T   61G  97% /mnt/VOLUM-2/1-09
/dev/mapper/mpathq-part1     2.0T  1.8T  229G  89% /mnt/VOLUM-2/1-10
/dev/mapper/mpathe-part1     2.0T  1.5T  463G  77% /mnt/VOLUM-3/1-01
/dev/mapper/mpathc-part1     2.0T  1.2T  866G  57% /mnt/VOLUM-3/1-02
/dev/mapper/mpathd-part1     2.0T  1.8T  224G  89% /mnt/VOLUM-3/1-03
/dev/mapper/mpathf-part1     2.1T  1.6T  461G  78% /mnt/VOLUM-3/1-04
ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4/1-..
/dev/mapper/mpathbw1         2.0T  1.7T  303G  85% /mnt/VOLUM-4/1-01
/dev/mapper/mpathci1         2.0T  1.5T  513G  75% /mnt/VOLUM-4/1-02
/dev/mapper/mpathca1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-03
/dev/mapper/mpathcf1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-04
/dev/mapper/mpathbx1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-05
/dev/mapper/mpathbz1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-06
/dev/mapper/mpathcg1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-07
/dev/mapper/mpathch1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-08
/dev/mapper/mpathcb1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-09
/dev/mapper/mpathce1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-10
/dev/mapper/mpathcd1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-11
/dev/mapper/mpathby1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-12
/dev/mapper/mpathcj1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-13
/dev/mapper/mpathcc1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-14

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #31

En tenim per uns dies més...

ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4/1-..
/dev/mapper/mpathbw1         2.0T  1.7T  303G  85% /mnt/VOLUM-4/1-01
/dev/mapper/mpathci1         2.0T  1.9T  105G  95% /mnt/VOLUM-4/1-02
/dev/mapper/mpathca1         2.0T  1.9T  141G  93% /mnt/VOLUM-4/1-03
/dev/mapper/mpathcf1         2.0T  1.9T  150G  93% /mnt/VOLUM-4/1-04
/dev/mapper/mpathbx1         2.0T  1.9T  136G  94% /mnt/VOLUM-4/1-05 
/dev/mapper/mpathbz1         2.0T  1.7T  266G  87% /mnt/VOLUM-4/1-06
/dev/mapper/mpathcg1         2.0T  1.5T  545G  73% /mnt/VOLUM-4/1-07
/dev/mapper/mpathch1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-08
/dev/mapper/mpathcb1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-09
/dev/mapper/mpathce1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-10
/dev/mapper/mpathcd1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-11
/dev/mapper/mpathby1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-12
/dev/mapper/mpathcj1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-13
/dev/mapper/mpathcc1         2.0T   81M  2.0T   1% /mnt/VOLUM-4/1-14

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #32

Ja està tot copiat i sincronitzat. He anat ajustant els diferents paràmetres i crec que ja està tot canviat. L'adreça http://volum-i.uab.cat ja apunta al VNX-5800.

En els propers dies acabaré de fer una darrera comprovació d'integritat dels fitxers abans de tancar aquesta fase i passar el VNX-5300 a còpia secundària. Ara mateix encara ho és el Satabeast.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #33

Amb el José Manuel ja hem fet els canvis perquè el VNX-5300 sigui el disc secundari (la segona còpia):

ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4
/dev/mapper/mpathbw1         2.0T  1.7T  303G  85% /mnt/VOLUM-4/1-01
/dev/mapper/mpathci1         2.0T  1.9T  105G  95% /mnt/VOLUM-4/1-02
/dev/mapper/mpathca1         2.0T  1.9T  141G  93% /mnt/VOLUM-4/1-03
/dev/mapper/mpathcf1         2.0T  1.9T  150G  93% /mnt/VOLUM-4/1-04
/dev/mapper/mpathbx1         2.0T  1.9T  136G  94% /mnt/VOLUM-4/1-05
/dev/mapper/mpathbz1         2.0T  1.7T  266G  87% /mnt/VOLUM-4/1-06
/dev/mapper/mpathcg1         2.0T  2.0T   46G  98% /mnt/VOLUM-4/1-07
/dev/mapper/mpathch1         2.0T  1.8T  193G  91% /mnt/VOLUM-4/1-08
/dev/mapper/mpathcb1         2.0T  1.9T   60G  98% /mnt/VOLUM-4/1-09
/dev/mapper/mpathce1         2.0T  1.8T  210G  90% /mnt/VOLUM-4/1-10
/dev/mapper/mpathcd1         2.0T  1.5T  462G  77% /mnt/VOLUM-4/1-11
/dev/mapper/mpathby1         2.0T  1.2T  866G  57% /mnt/VOLUM-4/1-12
/dev/mapper/mpathcj1         2.0T  1.8T  223G  89% /mnt/VOLUM-4/1-13
/dev/mapper/mpathcc1         2.0T  1.6T  406G  80% /mnt/VOLUM-4/1-14
/dev/mapper/mpathl-part1     2.0T  1.7T  304G  85% /mnt/VOLUM-4b/1-01
/dev/mapper/mpathm-part1     2.0T  1.9T  106G  95% /mnt/VOLUM-4b/1-02
/dev/mapper/mpathk-part1     2.0T  1.9T  142G  93% /mnt/VOLUM-4b/1-03
/dev/mapper/mpathp-part1     2.0T  1.9T  151G  93% /mnt/VOLUM-4b/1-04
/dev/mapper/mpathh-part1     2.0T  1.9T  137G  94% /mnt/VOLUM-4b/1-05
/dev/mapper/mpathi-part1     2.0T  1.7T  267G  87% /mnt/VOLUM-4b/1-06
/dev/mapper/mpatho-part1     2.0T  2.0T   47G  98% /mnt/VOLUM-4b/1-07
/dev/mapper/mpathn-part1     2.0T  1.8T  194G  91% /mnt/VOLUM-4b/1-08
/dev/mapper/mpathj-part1     2.0T  1.9T   61G  97% /mnt/VOLUM-4b/1-09
/dev/mapper/mpathq-part1     2.0T  1.8T  227G  89% /mnt/VOLUM-4b/1-10
/dev/mapper/mpathe-part1     2.0T  1.5T  463G  77% /mnt/VOLUM-4b/1-11
/dev/mapper/mpathc-part1     2.0T  1.2T  866G  57% /mnt/VOLUM-4b/1-12
/dev/mapper/mpathd-part1     2.0T  1.8T  224G  89% /mnt/VOLUM-4b/1-13
/dev/mapper/mpathf-part1     2.1T  1.6T  461G  78% /mnt/VOLUM-4b/1-14

http://volum-i.uab.cat/?dircloud=statistics

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #34

Ara que ja han passat uns quants dies, puc fer un resum de la millora de rendiment entre el 5300 i el 5800.

Entre el 6 i el 15 de setembre, amb el VNX-5300, una de les operacions (regenerar el disc del cartells), va durar:

  • 2 cops, 1h20m
  • 2 cops, 1h30m
  • 4 cops, 1h40m
  • 1 cop, 2h

Entre el 13 i el 22 d'octubre, amb el VNX-5800:

  • 1 cop, 50m
  • 6 cops, 1h
  • 2 cops, 1h10m
  • 1 cop, 1h30m

És a dir, a grans trets, podem dir que és un 50-60% més ràpid.

FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #35

  • Estat ha canviat de En curs a Tancada

Fetes les comprovacions i estant tot correcte, tanco la tasca!

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #36

  • Prioritat ha canviat de Urgent a Normal

CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #37

  • S'ha afegit relacionat amb Tasca #5191: Actualitzar pàgines wiki HardwareDDD

CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #38

  • Data de venciment ha canviat de 30-10-2018 a 21-02-2019
  • Estat ha canviat de Tancada a En curs
  • Prioritat ha canviat de Normal a Alta

Tornem a obrir la tasca perquè manca documentar aquest trasllat al wiki HardwareDDD

FJ Actualitzat per Ferran Jorba fa aproximadament 7 anys Accions #39

  • Estat ha canviat de En curs a Tancada

Ja està documentat el canvi del primari a 5800 i el secundari a 5300.

CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #40

  • Prioritat ha canviat de Alta a Normal

FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #41

La situació d'ocupació prèvia a la migració al nou array Unity-500 (tasca #5456) és la següent:

1. Espai visible via web i de consulta interna a la UAB

Digitalitzacions en tiff (i la seva versió jpg), i altres documents digitals originals (cartells polítics en jpg i png, originals digitals en formats propietaris, i altres). Això és el que és visible i es pot consultar a http://volum-i.uab.cat/?dircloud=statistics

  • 14 discs x 2 TB = 28 TB, ocupació del 85% al 95%
    • 1a còpia al VNX 5800, muntat a /mnt/VOLUM-4/?-??/
    • 2a còpia al VNX 5300, muntat a /mnt/VOLUM-4b/?-??/

2. Espais de treball i emmagatzemament intern, no visibles via web

Fitxers i logs històrics, captures de webs històriques, i control de versions dels documents publicats al DDD:

  • 1 disc x 3 TB = 3 TB, ocupacions del 47% i 72%
    • 1a còpia al VNX 5300, muntat a /mnt/VOLUM-2/historic/
    • 2a còpia al Satabeast 1, muntat a /mnt/VOLUM-2b/historic/

Versió jpg dels documents tiffs anteriors (apartat 1), i còpia dels altres documents digitals originals, per fer-ne la còpia externa a la UAB:

  • 1 disc x 6 TB = 6 TB, ocupació del 67%
    • 1 còpia al Satabeast 2, muntat a /mnt/VOLUM-3b/replica/

3. Espais per a nous projectes

Espai de treball per a nous projectes de preservació de patrimoni natiu digital:

  • 1 disc x 2.2 TB: 2.2 TB, ocupació del 66%
    • 1 còpia al Satabeast 2, muntat a /mnt/VOLUM-2b/extra/

4. Espai lliure

  • Satabeast 2: 10 x 2 TB: 20 TB, muntat a /mnt/VOLUM-2b/?-??/
  • Satabeast 1: 7 x 2 TB: 14 TB, muntat a /mnt/VOLUM-3b/?-??/ (els 3 x 2 TB que hi manquen són els de /mnt/VOLUM-3b/replica)

FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #42

  • S'ha afegit relacionat amb Tasca #5456: Traslladar els fitxers del Volum-I (VNX-5800) al Unity-500
Accions

També disponible a: PDF Atom