Projecte

General

Perfil

Accions

Tasca #3773

tancat
FJ FJ

Passos per passar els VNX i Satabeasts de Nuix a Taltabull

Tasca #3773: Passos per passar els VNX i Satabeasts de Nuix a Taltabull

Afegit per Ferran Jorba fa més de 10 anys. Actualitzat fa quasi 10 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Tecnologia
Inici:
18-12-2015
Data de venciment:
Paraula clau:

Descripció

He plantejat aquesta planificació al José Manuel, amb el benentès que podem anar fent els ajustos que calguin a mesura que avancem.

Situació actual

Nuix té accés a:

  • Clariion
  • Volum-I (Satabeast)
  • Volum-Ib (Satabeast, còpia de Volum-I)
  • Volum-2 (VNX, còpia de Volum-I)

Taltabull té accés a:

  • Clariion

Fase 1 (José Manuel)

Nuix deixa de veure Volum-2, que passa a Taltabull, i Taltabull també veu el VNX del Liceu (a partir d'ara, Volum-3). Es munta lvm al Volum-2, encara que això impliqui que es perdi el que ja s'havia copiat (en tenim una tercerca còpia al Volum-Ib). És a dir, que queda així:

Nuix tindrà accés a:

  • Clariion
  • Volum-I (Satabeast)
  • Volum-Ib (Satabeast, còpia de Volum-I)

Taltabull té accés a:

  • Clariion
  • Volum-2 (VNX, còpia de Volum-I) passa de Nuix a Taltabull.
  • Volum-3 (VNX, Liceu)

Fase 2 (Ferran)

Sincronitza Volum-2 perquè tinguin el fons del DDD (Satabeast Volum-I) i Volum-3 perquè tingui el del Liceu.

Passa els serveis del que utilitzen el Volum-I a de Nuix a Taltabull. Això vol dir:

  • Tota la infrastructura d'indexació i inventari de fitxers, generació de miniatures, .info, md5, etc.
  • La interfície web http://volum-i.uab.cat
  • Recollida de cartells de Twitter

Els dos VNX passen a ser la còpia primària dels continguts respectius. Mentrestant, es sincronitzen via rsync la segona còpia que continuarà a Nuix.

Fase 3 (José Manuel)

El Satabeast conegut com a Volum-Ib es desconnecta de Nuix i es connecta a Taltabull, i es formategen els discs en filesystems de 2 TB. Passarà a dir-se Volum-2b.

Fase 4 (Ferran)

Sincronitzar el contingut del VNX Volum-2 al Satabeast Volum-2b.

Fase 5 (José Manuel)

El Satabeast conegut com a Volum-I es desconnecta de Nuix i es connecta a Taltabull, i es formategen els discs en filesystems de 2 TB. Passarà a dir-se Volum-3b.

Nuix ja no té accés a cap Satabeast ni VNX.

Fase 6 (Ferran)

Sincronitzar el contingut del VNX Volum-3 (Liceu) al Satabeast Volum-3b (Liceu)

Ja es pot apagar Nuix pel que fa als discs Satabeast i VNX.


Fitxers


Tasques relacionades 2 (0 obertes2 tancades)

relacionat amb DDD - Tasca #3293: Migrar els fitxers del Volum-I dels Satabeast al VNX 5300TancadaFerran Jorba09-02-201529-02-2016Accions
relacionat amb DDD - Tasca #3508: Canvi de les màquines d'Homs i Nuix - Mompou i TaltabullTancadaFerran Jorba18-06-201518-04-2016Accions

FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #1

FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #2

  • Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo

FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #3

FJ Actualitzat per Ferran Jorba fa més de 10 anys Accions #4

José Manuel,

crec que els remanents de discs, aquells que no arribin als 2 TB, els aprofitaré millor si me'ls afegeixes al darrer disc de 2 TB i, per tant, en sumin 3, que no deixar-los com a 1 TB. Això és vàlid pels dos VNX, però si passés per algun Satabeast, quan els formategem en particions de 2 TB, també, si us plau.

JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #5

  • Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #6

  • Estat ha canviat de Creada a En curs

Tal com em va explicar el José Manuel per correu, al final no va poder aplicar el lvm (logical volume manager) al VNX, que en principi ens hagués pogut donar una flexibilitat per fer canviar de tamany les particions si fes falta, degut a un bug a Debian que fa que es bloquegi el sistema quan s'aplica en determinades circumstàncies, com les nostres (http://bugs.debian.org/799781). Tant ell com jo creiem que ens hagués pogut anar bé, però no era crític, vam estar d'acord per telèfon en no aplicar-ho, perquè igual aquesta flexibilitat que ens donava potser no l'haguéssim utilitzat mai, era deixar la porta oberta per si de cas. No va poder ser i no passa res.

En tot cas, com que havíem perdut tots els fitxers perquè s'havia hagut de reformatejar tot, he aprofitat els dies de Nadal per tornar-ho a copiar, cosa que ha portat una setmana ben bona. Concretament, es tractava de copiar tot el contingut del Satabeast Volum-I de Nuix al VNX Volum-2 a Taltabull. Està feta una primera còpia seguint la mateixa distribució del DirectoriDelVolumI, amb la diferència que el fons del Liceu ja està al segon VNX, el conegut com a Volum-3.

He passat la comprovació dels md5 als 10 discs de 2 TB i estan quasi tots bé, però alguns fitxers em dónen error i he de saber per què (sovint son canvis de nom de fitxer que, per la raó que fos, no estaven ben sincronitzats en els fitxers .info que són els que tenen el md5). També estic repassant que no quedessin en en Satabeast Volum-Ib fitxers que no hi fossin al Satabeast Volum-I, ja que aquest aquest Satabeast Volum-Ib serà reformatejat i reparticionat en volums de 2 TB i passat a Taltabull amb el nom de Volum-2b.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #7

El traspàs està dels fitxers del Satabeast Volum-I al VNX Volum-2 està a punt d'acabar, pendent d'una darrera verificació. I ja tenim, en proves, la interfície web: http://volum-test.uab.cat, executant-se tot des de Taltabull i accedint als discs VNX Volum-2 i Volum-3, també connectats a Taltabull.

M'ha donat força feina aprendre les diferències entre l'antiga versió 2.2 i la nova versió 2.4 d'Apache, i també altres petits canvis que afecten el canvi de versió de Debian 7 a Debian 8. Però anem avançant sense aturador...

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #8

Tots els scripts que inventarien els fitxers, generen miniatures, md5, les pàgines de la interfície web, etc., també els he anat adaptant; de fet, fent-los compatibles perquè funcionin idènticament a les dues màquines, i s'estan executant diàriament i automàticament des de fa força dies.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #9

Més temes avançats de la fase 2:

  • Avui he acabat de repassar que hi siguin tots els fitxers.
  • Avui també he demanat que es comencin a fer backups de Taltabull amb les mateixes polítiques que Nuix. Ahir em van comentar que seria dit i fet.
  • També he començat a comprovar que funcioni correctament des de Taltabull el sistema de control de versions via git que emmagatzema tots els canvis dels fitxers del Clariion al Volum-2.
  • La recol·lecció de cartells via Twitter està funcionant sense errors, també des de Taltabull.

Aquest cap de setmana faré els darrers canvis, i dilluns tota aquesta infrastructura hauria de funcionar des de Taltabull.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #10

Avui he demanat el canvi de noms, i http://volum-i.uab.cat ja apunta a la nova infrastructura, Taltabull + VNX. De moment sembla que funciona correctament.

Acabaré de fer un darrer repàs i demà donaré per tancada la fase 2.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #11

  • Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo

Dono per tancada la fase 2. José Manuel, tot teu!

JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #12

  • Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba

S'han reestructurat des de zero les agrupacions RAID del SATABeast2, s'han creat els discos, s'han presentat a Taltabull i s'han creat els file systems.

Tot teu, Ferran.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #13

Ja he deixat que es vagin copiant els discs des del VNX Volum-2 al Satabeast Volum-2b.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #14

  • S'ha afegit Fitxer vnx satabeast_a2016m2d17.txt

Adjunto una foto de com estan els discs en data d'avui, amb els VNX plens i el primer Satabeast copiant-se.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #15

  • Fitxer s'ha suprimit (vnx satabeast_a2016m2d17.txt)

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #16

El torno a adjuntar.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #17

  • Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo

El José Manuel i jo hem detectat que, malgrat definir els filesystems (discs) a 2.0 TB tant al VNX Volum-2 com al Satabeast Volum-2b, el resultat és que tenen un tamany massa diferent. Per exemple, si ho mirem a grans xifres:

 $ df -h /mnt/VOLUM-2/1-09 /mnt/VOLUM-2b/3-09
 Filesystem                Size  Used Avail Use% Mounted on
 /dev/mapper/mpathj-part1  2.0T  1.9T  100G  95% /mnt/VOLUM-2/1-09
 /dev/sdbg1                2.0T  1.9T   54G  98% /mnt/VOLUM-2b/3-09

Però clar, no és el mateix estar al 95% que al 98%, no? Si demanem que el sistema ens digui els tamanys en MB, la diferència és més clara:

 $ df -m /mnt/VOLUM-2/1-09 /mnt/VOLUM-2b/3-09
 Filesystem               1M-blocks    Used Available Use% Mounted on
 /dev/mapper/mpathj-part1   2064116 1940925    102205  95% /mnt/VOLUM-2/1-09
 /dev/sdbg1                 2015736 1940872     54368  98% /mnt/VOLUM-2b/3-09

És a dir, que hi ha 50 GB de diferència entre l'un i l'altre. Li he demanat al José Manuel que me'ls redefineixi igual, perquè si no resultarà que, com més n'hi ha, més sumen les diferències i és un embolic. Clar, que a aquesta conclussió hi he arribat quan ja havia copiat 9 dels 10 discs de 2 TB. Inicialment, em semblava poc rellevant, però quan es veu en conjunt, sí:

 Filesystem                   Size  Used Avail Use% Mounted on
 /dev/mapper/mpathl-part1     2.0T  1.8T  217G  90% /mnt/VOLUM-2/1-01
 /dev/mapper/mpathm-part1     2.0T  1.1T  942G  53% /mnt/VOLUM-2/1-02
 /dev/mapper/mpathk-part1     2.0T  1.9T   92G  96% /mnt/VOLUM-2/1-03
 /dev/mapper/mpathp-part1     2.0T  1.8T  174G  92% /mnt/VOLUM-2/1-04
 /dev/mapper/mpathh-part1     2.0T  1.8T  175G  92% /mnt/VOLUM-2/1-05
 /dev/mapper/mpathi-part1     2.0T  1.8T  226G  89% /mnt/VOLUM-2/1-06
 /dev/mapper/mpatho-part1     2.0T  1.7T  330G  84% /mnt/VOLUM-2/1-07
 /dev/mapper/mpathn-part1     2.0T  1.7T  275G  87% /mnt/VOLUM-2/1-08
 /dev/mapper/mpathj-part1     2.0T  1.9T  100G  95% /mnt/VOLUM-2/1-09
 /dev/mapper/mpathq-part1     2.0T  1.5T  504G  75% /mnt/VOLUM-2/1-10
 /dev/sdh1                    2.0T  1.8T  172G  92% /mnt/VOLUM-2b/1-01
 /dev/sdo1                    2.0T  1.1T  895G  55% /mnt/VOLUM-2b/1-02
 /dev/sdu1                    2.0T  1.9T   45G  98% /mnt/VOLUM-2b/1-03
 /dev/sdab1                   2.3T  1.8T  501G  79% /mnt/VOLUM-2b/1-04
 /dev/sdag1                   2.0T  1.8T  128G  94% /mnt/VOLUM-2b/2-05
 /dev/sdak1                   2.0T  1.8T  179G  91% /mnt/VOLUM-2b/2-06
 /dev/sdap1                   2.0T  1.7T  283G  86% /mnt/VOLUM-2b/2-07
 /dev/sdba1                   2.0T  1.7T  228G  89% /mnt/VOLUM-2b/3-08
 /dev/sdbg1                   2.0T  1.9T   54G  98% /mnt/VOLUM-2b/3-09
 /dev/sdbn1                   2.0T   71M  2.0T   1% /mnt/VOLUM-2b/3-10

El José Manuel calcula que m'ho podrà refer entre finals d'aquesta setmana i començament de l'altra.

JC Actualitzat per JoseManuel Castillo fa aproximadament 10 anys Accions #18

  • Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba

File systems provinents del Satabeast2 creats de nou per fer-los iguals als del VNX 5300.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #19

Ahir ja vaig copiar el primer dels filesystems (discs), l'historic, de 3 TB, i des d'avui a dissabte n'anirà copiant al ritme que vaig verificar el darrer cop, un cada 12 hores (2 discs cada dia; 10 discs = 5 dies), fins que el Volum-2b (Satabeast) tingui el mateix que el Volum-2 (VNX).

Aprofitaré un remanent de 2.2 TB al Volum-2b per copiar-hi el contingut del Liceu perquè no ens quedem cap moment sense, al menys, dues còpies de tots els nostres fitxers, abans el José Manuel no desconnecti el darrer Satabeast de Nuix per connectar-lo com a Volum-3 a Taltabull. Per tant, probablement fins dilluns 7 no s'haurà acabat la meva part (fase 4).

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #20

  • Assignat a ha canviat de Ferran Jorba a JoseManuel Castillo

Dono per acabada i comprovada la fase 4, i li passo al José Manuel perquè posi en marxa la fase 5: desconnectar el Satabeast fins ara conegut com a Volum-I a Nuix i connectar-lo com a Volum-3b a Taltabull.

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #21

FJ Actualitzat per Ferran Jorba fa aproximadament 10 anys Accions #22

Adjunto l'estat actual dels discs a Taltabull.

JC Actualitzat per JoseManuel Castillo fa quasi 10 anys Accions #23

  • Assignat a ha canviat de JoseManuel Castillo a Ferran Jorba

Dono per acabada la fase 4.

Nuix ha acabat sense discs provinents dels SATABeasts.

S'han reestructurat des de zero les agrupacions RAID del SATABeast1 (antic Volum-I, ara Volum-3b), s'han creat els discos, s'han presentat a Taltabull i s'han creat els file systems.

Passo la tasca al Ferran.

JC Actualitzat per JoseManuel Castillo fa quasi 10 anys Accions #24

Anteriorment volia dir fase 5, no fase 4.

FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions #25

Gràcies, José Manuel. Començo a duplicar el contingut del Volum-3 al Volum-3b (el fons del Liceu, que ja teniem copiat, d'altra banda, en el disc extra del Volum-2b).

FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions #26

  • Estat ha canviat de En curs a Tancada

Ja està tot migrat.

Accions

També disponible a: PDF Atom