Tasca #4604
tancatTraslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)
Afegit per Cristina Azorin fa més de 8 anys. Actualitzat fa quasi 7 anys.
Descripció
Els directors del SdB i el SI van acordar, políticament, que aquesta càrrega era possible.
Cal un calendari de la gent de sistemes del SI per veure quan es farà.
A més, caldria demanar-los una ampliació dels discos del VNX que ara estan a un 90%. Cal esperar alguna càrrega de digitalització durant aquest any.
Fitxers
| volum-4.xlsx (6.6 KB) volum-4.xlsx | Ferran Jorba, 01-06-2018 12:11 |
Tasques relacionades 4 (0 obertes — 4 tancades)
NC Actualitzat per Núria Casaldaliga fa més de 8 anys Accions #1
- cartells polítics digitals - 150GB
- veterinària - 150-200GB
- humanitats - 150GB
- digitalització ministerio - 2,5TB (pendent d'aprovació de la subvenció)
Sense tenir en compte el ministerio i tirant llarg es pot calcular un creixement màxim de 500GB/any. A partir d'aquesta xifra s'ha de decidir quants discos calen i de quina capacitat. És important saber-ho abans de final d'any per si hi ha romanents econòmics.
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #2
- Tema ha canviat de Càrrega d'una segona còpia del Satabeast al segon VNX a Crear l'espai al VNX per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #3
Enlloc de fer volums de 2 TB, com hem fet fins ara, per anar ampliant el VNX la gent de Sistemes proposa donar un espai flexible.
El Ferran agafarà el gràfic per espais (http://volum-i.uab.cat/?dircloud=statistics) i demanarà espai allà on faci falta. La Núria demana no fer una previsió curta, sinó que pugui ser a dos o tres anys vista.
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #4
- Data de venciment ha canviat de 03-10-2017 a 20-12-2017
- Estat ha canviat de Creada a En curs
- Assignat a ha canviat de Pere Roca a Ferran Jorba
L'àrea de sistemes del Servei d'Informàtica vol fer un sistema de deduplicació i amb el nou VNX i primer farem unes proves.
Es va fer una primera prova de càrrega de 10 TB, però no va ser suficient per saber si el sistema de deduplicació funciona correctament, tot i que va contra tots els principis de preservació. Tenen en compte que hi ha poques possibilitats de que es corrompi el disc i que hi ha una segona còpia. Aquesta prova servirà per saber quin tant per cent estem estalviant d'espai, si és poc no valdrà la pena fer.ho
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #5
Ja tenim resultat de la prova de deduplicació: amb fitxers reals del Volum-I, sobretot tiffs i jpegs, però també pdfs i pngs, la deduplicació en blocks (chunks) que ofereix el VNX és només del 4%, aproximadament, de manera que no surt a compte i oficialment es descarta aquesta via.
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #6
He fet els càlculs d'espai a DirectoriDelVolumI. Hi manquen encara:
- L'espai per les còpies pel control de versions del DDD.
- La còpia en format jpg del material en tiff, per poder-lo enviar fora de la UAB.
- Espai de maniobra.
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #7
He aprofitat el cap de setmana perquè anés copiant, i prou que ho ha fet, però s'estan omplint més del que havíem calculat. Els que els hi havíem donat un 5% de marge estan al 97-99 o 100%. De fet, els Guions de Ràdio Barcelona (el del 100%) no s'han copiat del tot, he rebut missatges que li mancava espai.
ddd@taltabull:/mnt/VOLUM-VNX/raac/ddd/raac$ df -h | sort -k 6 | grep VNX nas.nfs.local:/arx_altres 985G 640K 985G 1% /mnt/VOLUM-VNX/altres nas.nfs.local:/arx_bdhah 2.0T 1.9T 34G 99% /mnt/VOLUM-VNX/bdhah nas.nfs.local:/arx_carandell 985G 917G 68G 94% /mnt/VOLUM-VNX/carandell nas.nfs.local:/arx_carpol 1.8T 640K 1.8T 1% /mnt/VOLUM-VNX/carpol nas.nfs.local:/arx_fonper 1.2T 1.1T 89G 93% /mnt/VOLUM-VNX/fonper nas.nfs.local:/arx_guiradbcn 2.3T 2.3T 26M 100% /mnt/VOLUM-VNX/guiradbcn nas.nfs.local:/arx_ppc 1.7T 1.7T 32G 99% /mnt/VOLUM-VNX/ppc nas.nfs.local:/arx_raac 2.6T 643G 1.9T 26% /mnt/VOLUM-VNX/raac nas.nfs.local:/arx_rdret 1.5T 1.4T 54G 97% /mnt/VOLUM-VNX/rdret nas.nfs.local:/arx_societatliceu 3.4T 640K 3.4T 1% /mnt/VOLUM-VNX/societatliceu nas.nfs.local:/arx_veterinaria 3.7T 640K 3.7T 1% /mnt/VOLUM-VNX/veterinaria
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #8
Continua la còpia... Estan copiats els volums que estan per sobre del 90%:
ddd@taltabull:~$ df -h | sort -k 6 | grep VNX nas.nfs.local:/arx_altres 985G 640K 985G 1% /mnt/VOLUM-VNX/altres nas.nfs.local:/arx_bdhah 2.0T 1.9T 34G 99% /mnt/VOLUM-VNX/bdhah nas.nfs.local:/arx_carandell 985G 917G 68G 94% /mnt/VOLUM-VNX/carandell nas.nfs.local:/arx_carpol 1.8T 801G 973G 46% /mnt/VOLUM-VNX/carpol nas.nfs.local:/arx_fonper 1.2T 1.1T 89G 93% /mnt/VOLUM-VNX/fonper nas.nfs.local:/arx_guiradbcn 2.3T 2.3T 26M 100% /mnt/VOLUM-VNX/guiradbcn nas.nfs.local:/arx_ppc 1.7T 1.7T 32G 99% /mnt/VOLUM-VNX/ppc nas.nfs.local:/arx_raac 2.6T 2.5T 12G 100% /mnt/VOLUM-VNX/raac nas.nfs.local:/arx_rdret 1.5T 1.4T 54G 97% /mnt/VOLUM-VNX/rdret nas.nfs.local:/arx_societatliceu 3.4T 640K 3.4T 1% /mnt/VOLUM-VNX/societatliceu nas.nfs.local:/arx_veterinaria 3.7T 3.7T 16G 100% /mnt/VOLUM-VNX/veterinaria
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #9
Bé, diria que ja estan copiats tots. Per algun motiu tècnic que desconec, l'ocupació al nou VNX (5800) és més alta que a l'antic (5300). Com que n'hi ha que estan ocupats al 100%, segur que n'hi ha que no hi han capigut. Ara negociarem amb el José Manuel com fem créixer els volums que s'han quedat petits:
ddd@taltabull:~$ df -h | sort -k 6 | grep VNX nas.nfs.local:/arx_altres 985G 921G 65G 94% /mnt/VOLUM-VNX/altres nas.nfs.local:/arx_bdhah 2.0T 1.9T 34G 99% /mnt/VOLUM-VNX/bdhah nas.nfs.local:/arx_carandell 985G 917G 68G 94% /mnt/VOLUM-VNX/carandell nas.nfs.local:/arx_carpol 1.8T 1.8T 19G 99% /mnt/VOLUM-VNX/carpol nas.nfs.local:/arx_fonper 1.2T 1.1T 89G 93% /mnt/VOLUM-VNX/fonper nas.nfs.local:/arx_guiradbcn 2.3T 2.3T 26M 100% /mnt/VOLUM-VNX/guiradbcn nas.nfs.local:/arx_ppc 1.7T 1.7T 32G 99% /mnt/VOLUM-VNX/ppc nas.nfs.local:/arx_raac 2.6T 2.5T 12G 100% /mnt/VOLUM-VNX/raac nas.nfs.local:/arx_rdret 1.5T 1.4T 54G 97% /mnt/VOLUM-VNX/rdret nas.nfs.local:/arx_societatliceu 3.4T 3.4T 24M 100% /mnt/VOLUM-VNX/societatliceu nas.nfs.local:/arx_veterinaria 3.7T 3.7T 16G 100% /mnt/VOLUM-VNX/veterinaria
FJ Actualitzat per Ferran Jorba fa més de 8 anys Accions #10
- Prioritat ha canviat de Urgent a Normal
Ja hem fet les ampliacions corresponents perquè hi capiguessin les restes. Tot el que és accessible via http://volum-i.uab.cat ja és al nou VNX:
ddd@taltabull:~$ df -h | sort -k 6 | grep VNX nas.nfs.local:/arx_altres 985G 921G 65G 94% /mnt/VOLUM-VNX/altres nas.nfs.local:/arx_bdhah 2.1T 1.9T 133G 94% /mnt/VOLUM-VNX/bdhah nas.nfs.local:/arx_carandell 985G 917G 68G 94% /mnt/VOLUM-VNX/carandell nas.nfs.local:/arx_carpol 1.9T 1.8T 118G 94% /mnt/VOLUM-VNX/carpol nas.nfs.local:/arx_fonper 1.2T 1.1T 89G 93% /mnt/VOLUM-VNX/fonper nas.nfs.local:/arx_guiradbcn 2.5T 2.3T 176G 93% /mnt/VOLUM-VNX/guiradbcn nas.nfs.local:/arx_ppc 1.8T 1.7T 131G 93% /mnt/VOLUM-VNX/ppc nas.nfs.local:/arx_raac 2.6T 2.5T 110G 96% /mnt/VOLUM-VNX/raac nas.nfs.local:/arx_rdret 1.6T 1.4T 153G 91% /mnt/VOLUM-VNX/rdret nas.nfs.local:/arx_societatliceu 3.5T 3.4T 89G 98% /mnt/VOLUM-VNX/societatliceu nas.nfs.local:/arx_veterinaria 4.0T 3.7T 311G 93% /mnt/VOLUM-VNX/veterinaria
Què queda? Uns 3 TB de:
- L'espai de control de versions (git) dels documents del DDD
- L'espai dels logs històrics, tant de Babel, Decomate, Millennium, DDD, Traces, etc.
- Espai més o menys experimental de captura de webs.
I també uns 2 TB de:
- L'espai en formats no-tiff de les digitalitzacions retrospectives, amb la idea que estiguin actualtizades a un sol lloc i es puguin exportar fora de la UAB.
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #11
- Data de venciment ha canviat de 20-12-2017 a 31-01-2018
- Prioritat ha canviat de Normal a Urgent
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #12
- S'ha afegit relacionat amb Tasca #4842: Reacondicionament dels discos Satabeast
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #13
- S'ha afegit copiada a Tasca #4843: Generar i sincronitzar tots els fitxers que no siguin tif
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #14
Ja estan demanats els dos nous espais de disc al VNX. Tenia dubtes de com fer-ho i he hagut de demanar ajuda ;-)
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #15
Ja tinc creats els discs historic (3 TB, logs, control de versions, mirrors, etc) i replica (2 TB, còpia del que tot el que no és tif per poder-lo exportar fàcilment a fora de la UAB).
He començat a copiar el disc historic; segurament necessitarà més d'un dia.
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #16
Dels dos nous discs, ja tenim una còpia actualtizada de l'historic i ara mateix n'he deixat una que es faci del disc replica, que consisteix en tot el que tenim al VNX que no siguin tiff ni estiguin ja al Clariion (perquè si el tenim al Clariion vol dir que ja en tenim còpies externes), que serà el material del que se'n guardi una còpia fora de la UAB. Compto que acabi aquest cap de setmana:
nas.nfs.local:/arx_historic 3.0T 2.0T 1.1T 65% /mnt/VOLUM-VNX/historic nas.nfs.local:/arx_replica 2.0T 12G 2.0T 1% /mnt/VOLUM-VNX/replica
Estic coordinant aquesta feina amb els meus companys de sistemes, perquè quan ens toqui fer el canvi tothom sàpiga en quina situació estem.
FJ Actualitzat per Ferran Jorba fa aproximadament 8 anys Accions #17
Per poder identificar de manera automàtica els dos tipus de discs, els primaris, on hi ha els documents, i els auxiliars, on hi ha logs, històrics, control de versions, i rèpliques, hem pactat amb els companys de sistems de canviar els noms dels discs per les tres primeres lletres dels noms. Però com que hi ha un conflicte entre CARpol i CARandell, en farem un de SOCials que agrupi CARandell i RDRet, i així eliminem la coincidència. Ja he fet la petició.
El disc de rèplica, on hi ha tot el que tenim al Volum-I que no és en tiff, també s'ha omplert i he demanat que me l'ampliïn de 2 TB a 3 TB.
nas.nfs.local:/arx_altres 985G 921G 65G 94% /mnt/VOLUM-VNX/altres nas.nfs.local:/arx_bdhah 2.1T 1.9T 133G 94% /mnt/VOLUM-VNX/bdhah nas.nfs.local:/arx_carandell 985G 917G 68G 94% /mnt/VOLUM-VNX/carandell nas.nfs.local:/arx_carpol 1.9T 1.8T 118G 94% /mnt/VOLUM-VNX/carpol nas.nfs.local:/arx_fonper 1.2T 1.1T 89G 93% /mnt/VOLUM-VNX/fonper nas.nfs.local:/arx_guiradbcn 2.5T 2.3T 176G 93% /mnt/VOLUM-VNX/guiradbcn nas.nfs.local:/arx_historic 3.0T 2.0T 1.1T 65% /mnt/VOLUM-VNX/historic nas.nfs.local:/arx_ppc 1.8T 1.7T 131G 93% /mnt/VOLUM-VNX/ppc nas.nfs.local:/arx_raac 2.6T 2.5T 110G 96% /mnt/VOLUM-VNX/raac nas.nfs.local:/arx_rdret 1.6T 1.4T 153G 91% /mnt/VOLUM-VNX/rdret nas.nfs.local:/arx_replica 2.0T 2.0T 29G 99% /mnt/VOLUM-VNX/replica nas.nfs.local:/arx_societatliceu 3.5T 3.4T 89G 98% /mnt/VOLUM-VNX/societatliceu nas.nfs.local:/arx_veterinaria 4.0T 3.7T 311G 93% /mnt/VOLUM-VNX/veterinaria
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #18
- Data de venciment ha canviat de 31-01-2018 a 19-04-2018
Falta generar els fitxers jpg d'un 10% (més o menys) de fons digitalitzat. En el seu dia no es va poder fer per manca d'espai.
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #19
- Tema ha canviat de Crear l'espai al VNX per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo a Crear l'espai al VNX 5300 per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #20
No hem tancat aquesta tasca perquè ens hem trobat amb problemes exagerats de rendiment amb els nous discs del VNX-5800 (el ràpid). Tot i que és cert que no ens cal un rendiment súper eficient, ara mateix ens està anant a meitat de velocitat que abans. Això vol dir que repassar els 20 TB de disc, que abans trigava 6 o 7 hores i acabava cap a les 9 o les 10 del matí, ara acaba en triga de 10 a 20, i acaba a la tarda o al vespre. Com que el volum anirà creixent, està clar que cal trobar una solució.
Sembla ser que el tema és que la connexió es fa per NFS i no per iSCSI. Malhauradament, la flexibilitat que tenim ara de crear discs temàtics amb molta facilitat de fer-los créixer, depèn justament que la connexió es faci per NFS, perquè forma part de la gestió de discs del VNX.
N'hem parlat amb el José Manuel i mirarà de fer-hi alguns ajustos, o hi mirarem solucions alternatives o mixtes.
No ens n'hem oblidat.
CA Actualitzat per Cristina Azorin fa quasi 8 anys Accions #21
- Data de venciment ha canviat de 19-04-2018 a 19-07-2018
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #22
- S'ha afegit Fitxer volum-4.xlsx volum-4.xlsx
- Tema ha canviat de Crear l'espai al VNX 5300 per copiar el contingut de la segona còpia que ara està en dos Satabeast i copiar-lo a Traslladar els fitxers del Volum-I (Satabeast i VNX-5300) al VNX-5800 (primari) i VNX-5300 (secundari)
Adjunto un full de càlcul, adreçat principalment al José Manuel Castillo, amb la meva previsió dels canvis de filesystems al VNX-5800.
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #23
Després de negociar amb el José Manuel i tenint en compte l'espai del que disposem ara mateix al VNX-5800, hem quedat:
- Crear la configuració del VNX-5300 segons els tamanys actuals amb els increments que enumerem aquí a sota. El nom del punt de muntatge serà /mnt/VOLUM-4b
Després fer aquestes ampliacions:
- nas.nfs.local:/arx_bdhah: de 2.1 TB a 2.5 TB
- nas.nfs.local:/arx_fonper: de 1.2 TB a 1.5 TB
- nas.nfs.local:/arx_raac: de 2.6 TB a 3 TB
- nas.nfs.local:/arx_veterinaria: de 4.0 TB a 5 TB
Desmuntar i eliminar:
- nas.nfs.local:/arx_replica: 3.5 TB
- nas.nfs.local:/arx_carpol: 1.9 TB (avisar abans al Ferran)
Crear el filesystem:
- nas.nfs.local:/arx_cpolpap: 1. 4 TB (avisar abans al Ferran)
Crear un disc iSCSI:
- cpoldig: 1 TB (avisar abans al Ferran)
El nom del punt de muntatge serà /mnt/VOLUM-4 (avisar abans al Ferran)
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #24
Hem estat parlant amb el José Manuel, i perquè puguem tancar la tasca #4843, hem d'acondicionar un espai de replica temporal en algun dels Satabeasts. En concret, proposo utilitzar 6 TB (en necessitem uns 4) del Satabeast1, que ara mateix estan buits:
/dev/sdbb1 2.0T 71M 2.0T 1% /mnt/VOLUM-3b/3-08 /dev/sdbh1 2.0T 71M 2.0T 1% /mnt/VOLUM-3b/3-09 /dev/sdbn1 2.0T 71M 2.0T 1% /mnt/VOLUM-3b/3-10
Per seguir les mateixes convencions, el punt de muntatge s'hauria de dir /mnt/VOLUM-3b/replica
FJ Actualitzat per Ferran Jorba fa quasi 8 anys Accions #25
Desmuntant els filesystems del VNX-5300 (el lent, el que ens ha de fer de segona còpia) ens surten 31 TB, perquè són 14 discs de 2 TB i un de 3 TB:
ddd@taltabull:~$ df -h | sort -k 6 | grep [23]/ /dev/mapper/mpathl-part1 2.0T 1.6T 428G 79% /mnt/VOLUM-2/1-01 /dev/mapper/mpathm-part1 2.0T 1.9T 105G 95% /mnt/VOLUM-2/1-02 /dev/mapper/mpathk-part1 2.0T 1.8T 192G 91% /mnt/VOLUM-2/1-03 /dev/mapper/mpathp-part1 2.0T 1.9T 151G 93% /mnt/VOLUM-2/1-04 /dev/mapper/mpathh-part1 2.0T 1.9T 136G 94% /mnt/VOLUM-2/1-05 /dev/mapper/mpathi-part1 2.0T 1.9T 93G 96% /mnt/VOLUM-2/1-06 /dev/mapper/mpatho-part1 2.0T 1.9T 70G 97% /mnt/VOLUM-2/1-07 /dev/mapper/mpathn-part1 2.0T 1.8T 203G 90% /mnt/VOLUM-2/1-08 /dev/mapper/mpathj-part1 2.0T 1.9T 64G 97% /mnt/VOLUM-2/1-09 /dev/mapper/mpathq-part1 2.0T 1.7T 273G 87% /mnt/VOLUM-2/1-10 /dev/mapper/mpathg-part1 3.0T 517G 2.5T 18% /mnt/VOLUM-2/historic /dev/mapper/mpathe-part1 2.0T 1.5T 463G 77% /mnt/VOLUM-3/1-01 /dev/mapper/mpathc-part1 2.0T 1.2T 866G 57% /mnt/VOLUM-3/1-02 /dev/mapper/mpathd-part1 2.0T 789G 1.2T 40% /mnt/VOLUM-3/1-03 /dev/mapper/mpathf-part1 2.1T 1.4T 631G 70% /mnt/VOLUM-3/1-04
Ara es tracta de desfer-los tots i muntar-los tots amb accés NFS, i ja amb el tamany que tindran més endavant els del 5800, és a dir:
nas.nfs.local:/arx_altres_b 1.2T (=5800) nas.nfs.local:/arx_bdhah_b 2.5T (+) nas.nfs.local:/arx_cpolpap_b 1.4T (nou) nas.nfs.local:/arx_cpoldig_b 1.0T (nou) nas.nfs.local:/arx_fonper_b 1.5T (+) nas.nfs.local:/arx_guiradbcn_b 2.5T (=5800) nas.nfs.local:/arx_historic_b 3.0T (=5800) nas.nfs.local:/arx_ppc_b 1.8T (=5800) nas.nfs.local:/arx_raac_b 2.6T (=5800) nas.nfs.local:/arx_socials_b 2.5T (=5800) nas.nfs.local:/arx_societatliceu_b 4.0T (+) nas.nfs.local:/arx_veterinaria_b 5.0T (+)
Això suma 29 TB, de manera que encara ens en queden 2 del que estàvem ocupant, però els reservem per assignar-los quan facin falta on toquin.
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #26
Després de múltiples proves, i de mirar-nos-ho des de diferents punts de vista i consultar-ho amb persones i Google, hem vist que l'opció que la connexió des de Taltabull al VNX-5800 no és viable per NFS.
Era, tal com hem comentat vàries vegades, la més flexible pel que fa a la gestió de l'espai (els volums) des del punt de vista del VNX, però l'experiència acumulada, no només la nostra, demostra que NFS és molt poc eficient quan es tracta d'accedir (ni que sigui de lectura!) a una quantitat molt gran de fitxers petits. I el nostre fons està ple de fitxerets petits, perquè, per molt que els tiffs siguin enormes, les miniatures, els fitxers .info, els de control, etc. són tots petitons i n'hi ha a milers.
El José Manuel, doncs, reconfigurarà les connexions perquè tornin a anar per iSCSI, començant pel VNX-5300 (el lent, la còpia secundària).
Ara mateix, la situació és que la còpia primària és el VNX-5800, continuem anant-hi via NFS, i la còpia secundària són els Satabeasts, via iSCSI. Quan el José Manuel hagi fet la seva part, hi copiarem el contingut des del SataBeast (perquè és mooolt més ràpid queu fer-ho des del VNX) i farem una sincronització final des del VNX-5800. Tot plegat pot trigar uns quants dies...
Quan això estigui, es tractarà de fer el mateix amb el VNX-5800, és a dir: desconnectar-lo via NFS i reconnectar-lo via iSCSI. No sé si hi haurà temps de fer-ho abans de començar les vacances d'agost.
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #27
- Data de venciment ha canviat de 19-07-2018 a 30-10-2018
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #28
Situació actual:
- Hem deixat d'utilitzar els discs de tamany variable del VNX-5800 amb connexió NFS.
- Estem utilitzant com a còpia primària el VNX-5300 amb connexió iSCSI amb discs de tamany fix de 2 TB.
- Estem utilitzant com a còpia secundària els Satabeasts amb connexió iSCSI amb discs de tamany fix de 2 TB.
http://volum-i.uab.cat/?dircloud=statistics
Tot això, a hores d'ara, està sincronitzat i parcialment verificat. També està sincronitzada la copia amb els fitxers que no són tiff i que no estan al Clariion, i que ocupa 3,6 TB. Això no vol dir que tot el que tinguem en tiff estigui ja en jpg. En falta una quantitat menor, que no s'havia pogut fer per problemes d'espai. Ho continuaré fent mica a mica.
He demanat al José Manuel si em pot preparar els discs de 2 TB del VNX-5800 amb connexió iSCSI abans d'anar de vacances, perquè els pugui anar copiant durant l'agost, ja que aquesta còpia trigarà uns quants dies; aquest és el disc que haurà de ser la còpia primària (el VNX-5300 serà la secundària), però serà després de vacances.
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #29
El José Manuel no havia pogut dedicar-s'hi gaire les darreres setmanes, però avui m'ha confirmat que ja ha preparat dos discs de 2 TB al VNX-5800, i que té previst acabar-los de preparar tots avui mateix. A partir d'aquí jo ja podré copiar-ne el contingut des del VNX-5300 per, quan estigui copiat i verificat, fer el canvi i que el VNX-5800 passi a ser el primari.
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #30
El José Manuel dimarts em va deixar preparats els discs del VNX-5800 i ara ja en portem copiats quasi dos. Els dos primers els he preparat a mà i, per tant, hi ha hagut estones mortes en la còpia. Els següents ja es faran automàticament i sense pauses.
ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-[23]/1-.. /dev/mapper/mpathl-part1 2.0T 1.7T 304G 85% /mnt/VOLUM-2/1-01 /dev/mapper/mpathm-part1 2.0T 1.9T 106G 95% /mnt/VOLUM-2/1-02 /dev/mapper/mpathk-part1 2.0T 1.9T 142G 93% /mnt/VOLUM-2/1-03 /dev/mapper/mpathp-part1 2.0T 1.9T 151G 93% /mnt/VOLUM-2/1-04 /dev/mapper/mpathh-part1 2.0T 1.9T 137G 94% /mnt/VOLUM-2/1-05 /dev/mapper/mpathi-part1 2.0T 1.7T 267G 87% /mnt/VOLUM-2/1-06 /dev/mapper/mpatho-part1 2.0T 2.0T 47G 98% /mnt/VOLUM-2/1-07 /dev/mapper/mpathn-part1 2.0T 1.8T 194G 91% /mnt/VOLUM-2/1-08 /dev/mapper/mpathj-part1 2.0T 1.9T 61G 97% /mnt/VOLUM-2/1-09 /dev/mapper/mpathq-part1 2.0T 1.8T 229G 89% /mnt/VOLUM-2/1-10 /dev/mapper/mpathe-part1 2.0T 1.5T 463G 77% /mnt/VOLUM-3/1-01 /dev/mapper/mpathc-part1 2.0T 1.2T 866G 57% /mnt/VOLUM-3/1-02 /dev/mapper/mpathd-part1 2.0T 1.8T 224G 89% /mnt/VOLUM-3/1-03 /dev/mapper/mpathf-part1 2.1T 1.6T 461G 78% /mnt/VOLUM-3/1-04 ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4/1-.. /dev/mapper/mpathbw1 2.0T 1.7T 303G 85% /mnt/VOLUM-4/1-01 /dev/mapper/mpathci1 2.0T 1.5T 513G 75% /mnt/VOLUM-4/1-02 /dev/mapper/mpathca1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-03 /dev/mapper/mpathcf1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-04 /dev/mapper/mpathbx1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-05 /dev/mapper/mpathbz1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-06 /dev/mapper/mpathcg1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-07 /dev/mapper/mpathch1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-08 /dev/mapper/mpathcb1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-09 /dev/mapper/mpathce1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-10 /dev/mapper/mpathcd1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-11 /dev/mapper/mpathby1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-12 /dev/mapper/mpathcj1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-13 /dev/mapper/mpathcc1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-14
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #31
En tenim per uns dies més...
ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4/1-.. /dev/mapper/mpathbw1 2.0T 1.7T 303G 85% /mnt/VOLUM-4/1-01 /dev/mapper/mpathci1 2.0T 1.9T 105G 95% /mnt/VOLUM-4/1-02 /dev/mapper/mpathca1 2.0T 1.9T 141G 93% /mnt/VOLUM-4/1-03 /dev/mapper/mpathcf1 2.0T 1.9T 150G 93% /mnt/VOLUM-4/1-04 /dev/mapper/mpathbx1 2.0T 1.9T 136G 94% /mnt/VOLUM-4/1-05 /dev/mapper/mpathbz1 2.0T 1.7T 266G 87% /mnt/VOLUM-4/1-06 /dev/mapper/mpathcg1 2.0T 1.5T 545G 73% /mnt/VOLUM-4/1-07 /dev/mapper/mpathch1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-08 /dev/mapper/mpathcb1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-09 /dev/mapper/mpathce1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-10 /dev/mapper/mpathcd1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-11 /dev/mapper/mpathby1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-12 /dev/mapper/mpathcj1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-13 /dev/mapper/mpathcc1 2.0T 81M 2.0T 1% /mnt/VOLUM-4/1-14
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #32
Ja està tot copiat i sincronitzat. He anat ajustant els diferents paràmetres i crec que ja està tot canviat. L'adreça http://volum-i.uab.cat ja apunta al VNX-5800.
En els propers dies acabaré de fer una darrera comprovació d'integritat dels fitxers abans de tancar aquesta fase i passar el VNX-5300 a còpia secundària. Ara mateix encara ho és el Satabeast.
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #33
Amb el José Manuel ja hem fet els canvis perquè el VNX-5300 sigui el disc secundari (la segona còpia):
ddd@taltabull:~$ df -h | sort -k 6 | grep VOLUM-4 /dev/mapper/mpathbw1 2.0T 1.7T 303G 85% /mnt/VOLUM-4/1-01 /dev/mapper/mpathci1 2.0T 1.9T 105G 95% /mnt/VOLUM-4/1-02 /dev/mapper/mpathca1 2.0T 1.9T 141G 93% /mnt/VOLUM-4/1-03 /dev/mapper/mpathcf1 2.0T 1.9T 150G 93% /mnt/VOLUM-4/1-04 /dev/mapper/mpathbx1 2.0T 1.9T 136G 94% /mnt/VOLUM-4/1-05 /dev/mapper/mpathbz1 2.0T 1.7T 266G 87% /mnt/VOLUM-4/1-06 /dev/mapper/mpathcg1 2.0T 2.0T 46G 98% /mnt/VOLUM-4/1-07 /dev/mapper/mpathch1 2.0T 1.8T 193G 91% /mnt/VOLUM-4/1-08 /dev/mapper/mpathcb1 2.0T 1.9T 60G 98% /mnt/VOLUM-4/1-09 /dev/mapper/mpathce1 2.0T 1.8T 210G 90% /mnt/VOLUM-4/1-10 /dev/mapper/mpathcd1 2.0T 1.5T 462G 77% /mnt/VOLUM-4/1-11 /dev/mapper/mpathby1 2.0T 1.2T 866G 57% /mnt/VOLUM-4/1-12 /dev/mapper/mpathcj1 2.0T 1.8T 223G 89% /mnt/VOLUM-4/1-13 /dev/mapper/mpathcc1 2.0T 1.6T 406G 80% /mnt/VOLUM-4/1-14 /dev/mapper/mpathl-part1 2.0T 1.7T 304G 85% /mnt/VOLUM-4b/1-01 /dev/mapper/mpathm-part1 2.0T 1.9T 106G 95% /mnt/VOLUM-4b/1-02 /dev/mapper/mpathk-part1 2.0T 1.9T 142G 93% /mnt/VOLUM-4b/1-03 /dev/mapper/mpathp-part1 2.0T 1.9T 151G 93% /mnt/VOLUM-4b/1-04 /dev/mapper/mpathh-part1 2.0T 1.9T 137G 94% /mnt/VOLUM-4b/1-05 /dev/mapper/mpathi-part1 2.0T 1.7T 267G 87% /mnt/VOLUM-4b/1-06 /dev/mapper/mpatho-part1 2.0T 2.0T 47G 98% /mnt/VOLUM-4b/1-07 /dev/mapper/mpathn-part1 2.0T 1.8T 194G 91% /mnt/VOLUM-4b/1-08 /dev/mapper/mpathj-part1 2.0T 1.9T 61G 97% /mnt/VOLUM-4b/1-09 /dev/mapper/mpathq-part1 2.0T 1.8T 227G 89% /mnt/VOLUM-4b/1-10 /dev/mapper/mpathe-part1 2.0T 1.5T 463G 77% /mnt/VOLUM-4b/1-11 /dev/mapper/mpathc-part1 2.0T 1.2T 866G 57% /mnt/VOLUM-4b/1-12 /dev/mapper/mpathd-part1 2.0T 1.8T 224G 89% /mnt/VOLUM-4b/1-13 /dev/mapper/mpathf-part1 2.1T 1.6T 461G 78% /mnt/VOLUM-4b/1-14
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #34
Ara que ja han passat uns quants dies, puc fer un resum de la millora de rendiment entre el 5300 i el 5800.
Entre el 6 i el 15 de setembre, amb el VNX-5300, una de les operacions (regenerar el disc del cartells), va durar:
- 2 cops, 1h20m
- 2 cops, 1h30m
- 4 cops, 1h40m
- 1 cop, 2h
Entre el 13 i el 22 d'octubre, amb el VNX-5800:
- 1 cop, 50m
- 6 cops, 1h
- 2 cops, 1h10m
- 1 cop, 1h30m
És a dir, a grans trets, podem dir que és un 50-60% més ràpid.
FJ Actualitzat per Ferran Jorba fa més de 7 anys Accions #35
- Estat ha canviat de En curs a Tancada
Fetes les comprovacions i estant tot correcte, tanco la tasca!
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #36
- Prioritat ha canviat de Urgent a Normal
CA Actualitzat per Cristina Azorin fa més de 7 anys Accions #37
- S'ha afegit relacionat amb Tasca #5191: Actualitzar pàgines wiki HardwareDDD
CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #38
- Data de venciment ha canviat de 30-10-2018 a 21-02-2019
- Estat ha canviat de Tancada a En curs
- Prioritat ha canviat de Normal a Alta
Tornem a obrir la tasca perquè manca documentar aquest trasllat al wiki HardwareDDD
FJ Actualitzat per Ferran Jorba fa aproximadament 7 anys Accions #39
- Estat ha canviat de En curs a Tancada
Ja està documentat el canvi del primari a 5800 i el secundari a 5300.
CA Actualitzat per Cristina Azorin fa aproximadament 7 anys Accions #40
- Prioritat ha canviat de Alta a Normal
FJ Actualitzat per Ferran Jorba fa quasi 7 anys Accions #41
La situació d'ocupació prèvia a la migració al nou array Unity-500 (tasca #5456) és la següent:
1. Espai visible via web i de consulta interna a la UAB¶
Digitalitzacions en tiff (i la seva versió jpg), i altres documents digitals originals (cartells polítics en jpg i png, originals digitals en formats propietaris, i altres). Això és el que és visible i es pot consultar a http://volum-i.uab.cat/?dircloud=statistics
- 14 discs x 2 TB = 28 TB, ocupació del 85% al 95%
- 1a còpia al VNX 5800, muntat a /mnt/VOLUM-4/?-??/
- 2a còpia al VNX 5300, muntat a /mnt/VOLUM-4b/?-??/
2. Espais de treball i emmagatzemament intern, no visibles via web¶
Fitxers i logs històrics, captures de webs històriques, i control de versions dels documents publicats al DDD:
- 1 disc x 3 TB = 3 TB, ocupacions del 47% i 72%
- 1a còpia al VNX 5300, muntat a /mnt/VOLUM-2/historic/
- 2a còpia al Satabeast 1, muntat a /mnt/VOLUM-2b/historic/
Versió jpg dels documents tiffs anteriors (apartat 1), i còpia dels altres documents digitals originals, per fer-ne la còpia externa a la UAB:
- 1 disc x 6 TB = 6 TB, ocupació del 67%
- 1 còpia al Satabeast 2, muntat a /mnt/VOLUM-3b/replica/
3. Espais per a nous projectes¶
Espai de treball per a nous projectes de preservació de patrimoni natiu digital:
- 1 disc x 2.2 TB: 2.2 TB, ocupació del 66%
- 1 còpia al Satabeast 2, muntat a /mnt/VOLUM-2b/extra/
4. Espai lliure¶
- Satabeast 2: 10 x 2 TB: 20 TB, muntat a /mnt/VOLUM-2b/?-??/
- Satabeast 1: 7 x 2 TB: 14 TB, muntat a /mnt/VOLUM-3b/?-??/ (els 3 x 2 TB que hi manquen són els de /mnt/VOLUM-3b/replica)
FJ Actualitzat per Ferran Jorba fa més de 6 anys Accions #42
- S'ha afegit relacionat amb Tasca #5456: Traslladar els fitxers del Volum-I (VNX-5800) al Unity-500