Projecte

General

Perfil

Accions
Historial

SataBeast

Finalment a la UAB ens vam decidir per un SataBeast:

Informació tècnica: http://www.nexsan.com/satabeast.php

El vam instal·lar el gener del 2008 amb una capacitat inicial neta de 10 TB (de fet, menys, uns 900 MB per disc un cop formatejats, però per simplificar considerem que cada disc és de 1 TB).

Vegeu també:

  • AmpliacioSatabeastMaig2009 de 5 TB = 15 TB
  • AmpliacioSatabeastMarc2010 de 10 TB = 25 TB
  • A l'abril del 2011 hem creat un filesystem extra de 2 TB per Satabeast, reaprofitat dos discs per Satabeast que havien quedat despenjats i no es podien aparellar per fer raid. Aquests discs no estan numerats com els altres (1-01, 1-02, etc.) sinó que es diuen historic i guarden l'històric amb git dels documents del DDD, en un sol filesystem de 2 TB, perquè no hi cabien al disc 1-01 = 27 TB.

En resum: es tracta d'un armari de discs de molt alta densitat i amb molta redundància. És una opció senzilla i oberta que ens permeterà implementar-hi qualsevol opció software a posteriori. A més, té l'opció AutoMaid (http://www.nexsan.com/products/automaid.php) que fa que els discs s'apaguin mentre no es fan servir, que representa un estalvi energètic important.

La connexió directa (via iSCSI) és al servidor de proves del DDD (primer Morera, després Nuix) i el rendiment és exel·lent. El seu nom és volum-i, però com que no és pròpiament un servidor, hom no s'hi pot connectar directament, sinó que serveix discs a un altre ordinador via xarxa privada. Actualment és el servidor de proves del DDD, que també ofereix una interfície Web: http://volum-i.uab.cat/.

Si continuem amb la política de formacions RAID6 de 7 discs per a fer 5 TB cadascuna:

  • A setembre del 2008 en tenim 2, que són 14 discs i que dónen 10 TB.
  • Teòricament podríem arribar a tenir-ne 6 (6 x 7 = 42 discs), que serien 30 TB.

El problema és que ens quedaríem sense discs hot spare, que són els discs que es posen en marxa per a complementar qualsevol formació si peten dos discs. Aquesta possibilitat no és tan remota com semblaria, i que demostra l'anomenada paradoxa de l'aniversari [http://es.wikipedia.org/wiki/Paradoja_del_cumplea%C3%B1os]. Si ens quedessim amb 2 discs hot spare per al conjunt de 42 discs, sortiria així:

  • 5 formacions de 7 discs RAID6 (35 discs), que donarien 25 TB.
  • 1 formació de 5 discs RAID6 (3 útils més els 2 redundància), que serien 3 TB.
  • 2 discs hot spare.

Que seríen 28 TB.

Rèplica del Volum-I

Al gener del 2009 s'ha instal·lat un segon SataBeast, configurat idènticament al primer, perquè li serveixi de rèplica. De moment està instal·lat a la mateixa sala de màquines i també connectat al servidor de proves.

Hem començat a replicar els discs, i el temps de rèplica amb rsync indica unes 10 hores per disc d'un TB:

$ time rsync -av /mnt/VOLUM-I/1-01/* /mnt/VOLUM-Ia/1-01/
[...]
sent 429977191497 bytes  received 45838830 bytes  13589187.07 bytes/sec
total size is 429784331494  speedup is 1.00

real    527m43.399s
user    118m9.671s
sys     202m10.510s

$ time rsync -av /mnt/VOLUM-I/1-02/* /mnt/VOLUM-Ia/1-02/
[...]
sent 778413742267 bytes  received 6086322 bytes  21466840.27 bytes/sec
total size is 778301103229  speedup is 1.00

real    604m25.499s
user    200m0.434s
sys     355m2.979s

$ time rsync -av --stats /mnt/VOLUM-I/2-06/* /mnt/VOLUM-Ia/2-06/
[...]
Number of files: 104337
Number of files transferred: 100429
Total file size: 764709178121 bytes
Total transferred file size: 764709160881 bytes
Literal data: 764709160881 bytes
Matched data: 0 bytes
File list size: 1988209
File list generation time: 78.591 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 764808999624
Total bytes received: 2232906

sent 764808999624 bytes  received 2232906 bytes  23454351.86 bytes/sec
total size is 764709178121  speedup is 1.00

real    543m31.363s
user    194m12.952s
sys     330m32.263s

$ time rsync -av --stats /mnt/VOLUM-I/2-07/* /mnt/VOLUM-Ia/2-07/
[...]
Number of files: 104610
Number of files transferred: 103026
Total file size: 844120418807 bytes
Total transferred file size: 844120418807 bytes
Literal data: 844120418807 bytes
Matched data: 0 bytes
File list size: 1886329
File list generation time: 33.155 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 844229940276
Total bytes received: 2276096

sent 844229940276 bytes  received 2276096 bytes  19346927.83 bytes/sec
total size is 844120418807  speedup is 1.00

real    727m20.763s
user    228m6.387s
sys     377m45.449s

$ time rsync -av --stats /mnt/VOLUM-I/2-08/* /mnt/VOLUM-Ia/2-08/
[...]
Number of files: 28040
Number of files transferred: 27811
Total file size: 244482702673 bytes
Total transferred file size: 244482702673 bytes
Literal data: 244482702673 bytes
Matched data: 0 bytes
File list size: 497623
File list generation time: 6.353 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 244514281544
Total bytes received: 613236

sent 244514281544 bytes  received 613236 bytes  20183655.52 bytes/sec
total size is 244482702673  speedup is 1.00

real    201m54.431s
user    64m6.020s
sys     110m5.725s

Rendiment amb rsync

Transferència de 505 Gb de SataBeast, d'un disc a un altre

 ddd@morera:/mnt/VOLUM-I/1-01/marca$ rsync -av --stats /mnt/VOLUM-I/1-01/marca /mnt/VOLUM-I/2-10/
 [...]
 Number of files: 38899
 Number of files transferred: 37743
 Total file size: 541056703650 bytes
 Total transferred file size: 541056703650 bytes
 Literal data: 541056703650 bytes
 Matched data: 0 bytes
 File list size: 794657
 File list generation time: 0.335 seconds
 File list transfer time: 0.000 seconds
 Total bytes sent: 541125247485
 Total bytes received: 837302

 sent 541125247485 bytes  received 837302 bytes  19707769.64 bytes/sec
 total size is 541056703650  speedup is 1.00

 real    457m38.875s
 user    130m46.010s
 sys     175m21.266s

En resum:

  • 505 GB en 7.6 hores
  • 66 GB per hora
  • 1 GB en menys d'un minut (uns 54 segons)

Rendiment amb cp

Aquesta prova ja és des del servidor de segona generació (Nuix) mentre que l'atre era de la primera (Morera). També, la còpia l'he feta amb cp per estalviar-me la lentitud pròpia del rsync, que és innecessari en cas de la còpia inicial (A look at rsync performance, August 2010, http://lwn.net/Articles/400489/)

Transferència de 291 GB de SataBeast, d'un disc a un altre

ddd@nuix:/mnt/VOLUM-I/historic/ddd/ddd-docs.git$ time cp -auv /mnt/VOLUM-I/1-01/ddd/ddd-docs.git/* .; date
[...]
real    224m40.687s
user    0m12.293s
sys    18m8.248s
Mon May  2 16:55:12 CEST 2011

En resum:

  • 291 GB en 3.7 hores
  • 78 GB per hora
  • 1.3 GB per minut

22/05/13 Acords per a la migració de continguts

Actualitzat per Ferran Jorba fa més de 10 anys · 5 revisions