Tasca #3773
tancatPassos per passar els VNX i Satabeasts de Nuix a Taltabull
Afegit per Ferran Jorba fa més de 10 anys. Actualitzat fa quasi 10 anys.
Descripció
He plantejat aquesta planificació al José Manuel, amb el benentès que podem anar fent els ajustos que calguin a mesura que avancem.
Situació actual
Nuix té accés a:
- Clariion
- Volum-I (Satabeast)
- Volum-Ib (Satabeast, còpia de Volum-I)
- Volum-2 (VNX, còpia de Volum-I)
Taltabull té accés a:
- Clariion
Fase 1 (José Manuel)
Nuix deixa de veure Volum-2, que passa a Taltabull, i Taltabull també veu el VNX del Liceu (a partir d'ara, Volum-3). Es munta lvm al Volum-2, encara que això impliqui que es perdi el que ja s'havia copiat (en tenim una tercerca còpia al Volum-Ib). És a dir, que queda així:
Nuix tindrà accés a:
- Clariion
- Volum-I (Satabeast)
- Volum-Ib (Satabeast, còpia de Volum-I)
Taltabull té accés a:
- Clariion
- Volum-2 (VNX, còpia de Volum-I) passa de Nuix a Taltabull.
- Volum-3 (VNX, Liceu)
Fase 2 (Ferran)
Sincronitza Volum-2 perquè tinguin el fons del DDD (Satabeast Volum-I) i Volum-3 perquè tingui el del Liceu.
Passa els serveis del que utilitzen el Volum-I a de Nuix a Taltabull. Això vol dir:
- Tota la infrastructura d'indexació i inventari de fitxers, generació de miniatures, .info, md5, etc.
- La interfície web http://volum-i.uab.cat
- Recollida de cartells de Twitter
Els dos VNX passen a ser la còpia primària dels continguts respectius. Mentrestant, es sincronitzen via rsync la segona còpia que continuarà a Nuix.
Fase 3 (José Manuel)
El Satabeast conegut com a Volum-Ib es desconnecta de Nuix i es connecta a Taltabull, i es formategen els discs en filesystems de 2 TB. Passarà a dir-se Volum-2b.
Fase 4 (Ferran)
Sincronitzar el contingut del VNX Volum-2 al Satabeast Volum-2b.
Fase 5 (José Manuel)
El Satabeast conegut com a Volum-I es desconnecta de Nuix i es connecta a Taltabull, i es formategen els discs en filesystems de 2 TB. Passarà a dir-se Volum-3b.
Nuix ja no té accés a cap Satabeast ni VNX.
Fase 6 (Ferran)
Sincronitzar el contingut del VNX Volum-3 (Liceu) al Satabeast Volum-3b (Liceu)
Ja es pot apagar Nuix pel que fa als discs Satabeast i VNX.
Fitxers
| vnx_satabeast_a2016m2d17.txt (1.97 KB) vnx_satabeast_a2016m2d17.txt | Ferran Jorba, 17-02-2016 09:53 | ||
| vnx_satabeast_a2016m3d7.txt (1.97 KB) vnx_satabeast_a2016m3d7.txt | Ferran Jorba, 07-03-2016 13:41 |
Tasques relacionades 2 (0 obertes — 2 tancades)
FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #1
- S'ha actualitzat Descripció (diferències)
FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #2
- Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo
FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #3
- S'ha actualitzat Descripció (diferències)
FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #4
José Manuel,
crec que els remanents de discs, aquells que no arribin als 2 TB, els aprofitaré millor si me'ls afegeixes al darrer disc de 2 TB i, per tant, en sumin 3, que no deixar-los com a 1 TB. Això és vàlid pels dos VNX, però si passés per algun Satabeast, quan els formategem en particions de 2 TB, també, si us plau.
JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #5
- Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #6
- Estat ha canviat de Creada a En curs
Tal com em va explicar el José Manuel per correu, al final no va poder aplicar el lvm (logical volume manager) al VNX, que en principi ens hagués pogut donar una flexibilitat per fer canviar de tamany les particions si fes falta, degut a un bug a Debian que fa que es bloquegi el sistema quan s'aplica en determinades circumstàncies, com les nostres (http://bugs.debian.org/799781). Tant ell com jo creiem que ens hagués pogut anar bé, però no era crític, vam estar d'acord per telèfon en no aplicar-ho, perquè igual aquesta flexibilitat que ens donava potser no l'haguéssim utilitzat mai, era deixar la porta oberta per si de cas. No va poder ser i no passa res.
En tot cas, com que havíem perdut tots els fitxers perquè s'havia hagut de reformatejar tot, he aprofitat els dies de Nadal per tornar-ho a copiar, cosa que ha portat una setmana ben bona. Concretament, es tractava de copiar tot el contingut del Satabeast Volum-I de Nuix al VNX Volum-2 a Taltabull. Està feta una primera còpia seguint la mateixa distribució del DirectoriDelVolumI, amb la diferència que el fons del Liceu ja està al segon VNX, el conegut com a Volum-3.
He passat la comprovació dels md5 als 10 discs de 2 TB i estan quasi tots bé, però alguns fitxers em dónen error i he de saber per què (sovint son canvis de nom de fitxer que, per la raó que fos, no estaven ben sincronitzats en els fitxers .info que són els que tenen el md5). També estic repassant que no quedessin en en Satabeast Volum-Ib fitxers que no hi fossin al Satabeast Volum-I, ja que aquest aquest Satabeast Volum-Ib serà reformatejat i reparticionat en volums de 2 TB i passat a Taltabull amb el nom de Volum-2b.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #7
El traspàs està dels fitxers del Satabeast Volum-I al VNX Volum-2 està a punt d'acabar, pendent d'una darrera verificació. I ja tenim, en proves, la interfície web: http://volum-test.uab.cat, executant-se tot des de Taltabull i accedint als discs VNX Volum-2 i Volum-3, també connectats a Taltabull.
M'ha donat força feina aprendre les diferències entre l'antiga versió 2.2 i la nova versió 2.4 d'Apache, i també altres petits canvis que afecten el canvi de versió de Debian 7 a Debian 8. Però anem avançant sense aturador...
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #8
Tots els scripts que inventarien els fitxers, generen miniatures, md5, les pàgines de la interfície web, etc., també els he anat adaptant; de fet, fent-los compatibles perquè funcionin idènticament a les dues màquines, i s'estan executant diàriament i automàticament des de fa força dies.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #9
Més temes avançats de la fase 2:
- Avui he acabat de repassar que hi siguin tots els fitxers.
- Avui també he demanat que es comencin a fer backups de Taltabull amb les mateixes polítiques que Nuix. Ahir em van comentar que seria dit i fet.
- També he començat a comprovar que funcioni correctament des de Taltabull el sistema de control de versions via git que emmagatzema tots els canvis dels fitxers del Clariion al Volum-2.
- La recol·lecció de cartells via Twitter està funcionant sense errors, també des de Taltabull.
Aquest cap de setmana faré els darrers canvis, i dilluns tota aquesta infrastructura hauria de funcionar des de Taltabull.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #10
Avui he demanat el canvi de noms, i http://volum-i.uab.cat ja apunta a la nova infrastructura, Taltabull + VNX. De moment sembla que funciona correctament.
Acabaré de fer un darrer repàs i demà donaré per tancada la fase 2.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #11
- Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo
Dono per tancada la fase 2. José Manuel, tot teu!
JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #12
- Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba
S'han reestructurat des de zero les agrupacions RAID del SATABeast2, s'han creat els discos, s'han presentat a Taltabull i s'han creat els file systems.
Tot teu, Ferran.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #13
Ja he deixat que es vagin copiant els discs des del VNX Volum-2 al Satabeast Volum-2b.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #14
- S'ha afegit Fitxer vnx satabeast_a2016m2d17.txt
Adjunto una foto de com estan els discs en data d'avui, amb els VNX plens i el primer Satabeast copiant-se.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #15
- Fitxer s'ha suprimit (
vnx satabeast_a2016m2d17.txt)
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #16
- S'ha afegit Fitxer vnx_satabeast_a2016m2d17.txt vnx_satabeast_a2016m2d17.txt
El torno a adjuntar.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #17
- Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo
El José Manuel i jo hem detectat que, malgrat definir els filesystems (discs) a 2.0 TB tant al VNX Volum-2 com al Satabeast Volum-2b, el resultat és que tenen un tamany massa diferent. Per exemple, si ho mirem a grans xifres:
$ df -h /mnt/VOLUM-2/1-09 /mnt/VOLUM-2b/3-09 Filesystem Size Used Avail Use% Mounted on /dev/mapper/mpathj-part1 2.0T 1.9T 100G 95% /mnt/VOLUM-2/1-09 /dev/sdbg1 2.0T 1.9T 54G 98% /mnt/VOLUM-2b/3-09
Però clar, no és el mateix estar al 95% que al 98%, no? Si demanem que el sistema ens digui els tamanys en MB, la diferència és més clara:
$ df -m /mnt/VOLUM-2/1-09 /mnt/VOLUM-2b/3-09 Filesystem 1M-blocks Used Available Use% Mounted on /dev/mapper/mpathj-part1 2064116 1940925 102205 95% /mnt/VOLUM-2/1-09 /dev/sdbg1 2015736 1940872 54368 98% /mnt/VOLUM-2b/3-09
És a dir, que hi ha 50 GB de diferència entre l'un i l'altre. Li he demanat al José Manuel que me'ls redefineixi igual, perquè si no resultarà que, com més n'hi ha, més sumen les diferències i és un embolic. Clar, que a aquesta conclussió hi he arribat quan ja havia copiat 9 dels 10 discs de 2 TB. Inicialment, em semblava poc rellevant, però quan es veu en conjunt, sí:
Filesystem Size Used Avail Use% Mounted on /dev/mapper/mpathl-part1 2.0T 1.8T 217G 90% /mnt/VOLUM-2/1-01 /dev/mapper/mpathm-part1 2.0T 1.1T 942G 53% /mnt/VOLUM-2/1-02 /dev/mapper/mpathk-part1 2.0T 1.9T 92G 96% /mnt/VOLUM-2/1-03 /dev/mapper/mpathp-part1 2.0T 1.8T 174G 92% /mnt/VOLUM-2/1-04 /dev/mapper/mpathh-part1 2.0T 1.8T 175G 92% /mnt/VOLUM-2/1-05 /dev/mapper/mpathi-part1 2.0T 1.8T 226G 89% /mnt/VOLUM-2/1-06 /dev/mapper/mpatho-part1 2.0T 1.7T 330G 84% /mnt/VOLUM-2/1-07 /dev/mapper/mpathn-part1 2.0T 1.7T 275G 87% /mnt/VOLUM-2/1-08 /dev/mapper/mpathj-part1 2.0T 1.9T 100G 95% /mnt/VOLUM-2/1-09 /dev/mapper/mpathq-part1 2.0T 1.5T 504G 75% /mnt/VOLUM-2/1-10 /dev/sdh1 2.0T 1.8T 172G 92% /mnt/VOLUM-2b/1-01 /dev/sdo1 2.0T 1.1T 895G 55% /mnt/VOLUM-2b/1-02 /dev/sdu1 2.0T 1.9T 45G 98% /mnt/VOLUM-2b/1-03 /dev/sdab1 2.3T 1.8T 501G 79% /mnt/VOLUM-2b/1-04 /dev/sdag1 2.0T 1.8T 128G 94% /mnt/VOLUM-2b/2-05 /dev/sdak1 2.0T 1.8T 179G 91% /mnt/VOLUM-2b/2-06 /dev/sdap1 2.0T 1.7T 283G 86% /mnt/VOLUM-2b/2-07 /dev/sdba1 2.0T 1.7T 228G 89% /mnt/VOLUM-2b/3-08 /dev/sdbg1 2.0T 1.9T 54G 98% /mnt/VOLUM-2b/3-09 /dev/sdbn1 2.0T 71M 2.0T 1% /mnt/VOLUM-2b/3-10
El José Manuel calcula que m'ho podrà refer entre finals d'aquesta setmana i començament de l'altra.
JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #18
- Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba
File systems provinents del Satabeast2 creats de nou per fer-los iguals als del VNX 5300.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #19
Ahir ja vaig copiar el primer dels filesystems (discs), l'historic, de 3 TB, i des d'avui a dissabte n'anirà copiant al ritme que vaig verificar el darrer cop, un cada 12 hores (2 discs cada dia; 10 discs = 5 dies), fins que el Volum-2b (Satabeast) tingui el mateix que el Volum-2 (VNX).
Aprofitaré un remanent de 2.2 TB al Volum-2b per copiar-hi el contingut del Liceu perquè no ens quedem cap moment sense, al menys, dues còpies de tots els nostres fitxers, abans el José Manuel no desconnecti el darrer Satabeast de Nuix per connectar-lo com a Volum-3 a Taltabull. Per tant, probablement fins dilluns 7 no s'haurà acabat la meva part (fase 4).
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #20
- Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo
Dono per acabada i comprovada la fase 4, i li passo al José Manuel perquè posi en marxa la fase 5: desconnectar el Satabeast fins ara conegut com a Volum-I a Nuix i connectar-lo com a Volum-3b a Taltabull.
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #21
- S'ha actualitzat Descripció (diferències)
FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #22
- S'ha afegit Fitxer vnx_satabeast_a2016m3d7.txt vnx_satabeast_a2016m3d7.txt
Adjunto l'estat actual dels discs a Taltabull.
JC Actualitzat per JoseManuel Castillo fa quasi 10 anys Accions #23
- Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba
Dono per acabada la fase 4.
Nuix ha acabat sense discs provinents dels SATABeasts.
S'han reestructurat des de zero les agrupacions RAID del SATABeast1 (antic Volum-I, ara Volum-3b), s'han creat els discos, s'han presentat a Taltabull i s'han creat els file systems.
Passo la tasca al Ferran.
JC Actualitzat per JoseManuel Castillo fa quasi 10 anys Accions #24
Anteriorment volia dir fase 5, no fase 4.
FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions #25
Gràcies, José Manuel. Començo a duplicar el contingut del Volum-3 al Volum-3b (el fons del Liceu, que ja teniem copiat, d'altra banda, en el disc extra del Volum-2b).
FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions #26
- Estat ha canviat de En curs a Tancada
Ja està tot migrat.