Tasca #4642
tancatIncidència per manca d'espai en el control de versions del Clariion
Descripció
El cap de setmana passat (15-16 de juliol) es va produir una incidència que s'ha repetit aquest (22-23 de juliol). És una mica llarg d'explicar.
Primer, les conseqüències: en principi, no s'hauria d'haver perdut res. I com que jo pensava que amb les accions que vaig fer la setmana passada, després de l'incidència, quedaria resolt, i ni en vaig fer una tasca. Com que avui he vist que no ha estat així, m'hi hauré de dedicar més i millor.
En detall: de tot el que tenim al Clariion en fem vàries còpies, una d'elles via el software de control de versions git (https://ca.wikipedia.org/wiki/Git). Ho tinc configurat perquè cada cap de setmana s'empaqueti i es comprimeixi (https://git-scm.com/docs/git-gc). Per fer aquesta operació, git necessita força espai lliure al disc. Doncs bé, probablement degut a l'entrada massiva dels pdfs de les guies docents (o per la suma d'aquests pdfs i tots els altres), el cap de setmana no hi havia espai lliure al disc del VNX on ho tinc allotjat. Dilluns passat vaig fer neteja, esborrant còpies antigues, i confiant que aquest cap de setmana podria fer aquesta feina. Doncs no, i és un peix que es mossega la cua. La còpia comprimida de fa dues setmanes ocupava 692 GB, mentre que l'actual sense comprimir, 1.4 TB (sí, és molt eficient; és un fet ben conegut de git). I això fa que s'accentuï la necessitat de disposar d'espai de maniobra al disc.
FJ Actualitzat per Ferran Jorba fa més de 8 anys
El que estic fent ara és fer una tercera còpia en un disc lliure de 3 TB del segon Satabeast, i quan hagi acabat, probablement aquesta tarda, faré un git gc, que pot trigar entre 12 i 24 h. Si ha funcionat bé, demà substituiré l'un per l'altre, guardant-ne evidentment una còpia també.
Com que git, de fet, actua com una còpia incremental, el fet que em salti un dia no hauria d'afectar la integritat de les dades, només les estadístiques, perquè semblarà que un dia no hi va haver còpia i l'altre la de dos dies. En tot cas, demà ho sabrem.
FJ Actualitzat per Ferran Jorba fa més de 8 anys
De fet, mentre compactava la còpia al disc lliure, me n'he adonat que els 1.4 TB que estaven ocupant les còpies actualitzades eren degudes a que existien encara els fitxers temporals dels intents previs de compactació que no havien funcionat. Quan els he esborrat, les còpies git tornen a tenir tamanys raonables:
ddd@taltabull:/mnt/VOLUM-2/historic/ddd/ddd-docs_a2017m7d21.git$ ls -lthr .tmp-*pack* -r--r--r-- 1 ddd users 300K Jul 22 11:21 .tmp-22280-pack-b07d4cc14fcbc5a7a80d89bddcd96f19dd3eaf4d.idx -r--r--r-- 1 ddd users 7.5M Jul 22 11:30 .tmp-22280-pack-a0f5abdfc81a4b015d2d3ad8304567ac8ea35e6b.idx -r--r--r-- 1 ddd users 195K Jul 22 11:38 .tmp-22280-pack-38511b192fd9bfd9b12052a528fb0ea87a6ec1a2.idx -r--r--r-- 1 ddd users 448K Jul 22 11:46 .tmp-22280-pack-b002d56720945f280209178e2f69ab3273ad7783.idx -r--r--r-- 1 ddd users 30K Jul 22 11:55 .tmp-22280-pack-bc8817dcfa3edd740e953e7fa75be379b7b90dff.idx -r--r--r-- 1 ddd users 70K Jul 22 12:04 .tmp-22280-pack-2d282df5a578fe912c72133eb7a9020aaf461f9f.idx -r--r--r-- 1 ddd users 4.5M Jul 22 12:14 .tmp-22280-pack-7213c5c5cd9cbf84f19be7363bd7a2ff2d32e881.idx -r--r--r-- 1 ddd users 2.6M Jul 22 12:22 .tmp-22280-pack-b89a5c2f94c791faddd713f09b3493935fe3acc1.idx -r--r--r-- 1 ddd users 8.0M Jul 22 12:31 .tmp-22280-pack-bec8da3b70a7cf3c1d6f8dcf04c433178b6cf19c.idx ddd@taltabull:/mnt/VOLUM-2/historic/ddd/ddd-docs.git/objects/pack$ rm -fv .tmp-*pack* removed ‘.tmp-22280-pack-2d282df5a578fe912c72133eb7a9020aaf461f9f.idx’ removed ‘.tmp-22280-pack-2d282df5a578fe912c72133eb7a9020aaf461f9f.pack’ removed ‘.tmp-22280-pack-38511b192fd9bfd9b12052a528fb0ea87a6ec1a2.idx’ removed ‘.tmp-22280-pack-38511b192fd9bfd9b12052a528fb0ea87a6ec1a2.pack’ removed ‘.tmp-22280-pack-6f06f20b183f208ce92d1fed38edad75b4ed39e6.idx’ removed ‘.tmp-22280-pack-6f06f20b183f208ce92d1fed38edad75b4ed39e6.pack’ removed ‘.tmp-22280-pack-7213c5c5cd9cbf84f19be7363bd7a2ff2d32e881.idx’ removed ‘.tmp-22280-pack-7213c5c5cd9cbf84f19be7363bd7a2ff2d32e881.pack’ removed ‘.tmp-22280-pack-94d6da3cb2f530eb05bcb3930ff710c6da805446.idx’ removed ‘.tmp-22280-pack-94d6da3cb2f530eb05bcb3930ff710c6da805446.pack’ removed ‘.tmp-22280-pack-a0f5abdfc81a4b015d2d3ad8304567ac8ea35e6b.idx’ removed ‘.tmp-22280-pack-a0f5abdfc81a4b015d2d3ad8304567ac8ea35e6b.pack’ removed ‘.tmp-22280-pack-b002d56720945f280209178e2f69ab3273ad7783.idx’ removed ‘.tmp-22280-pack-b002d56720945f280209178e2f69ab3273ad7783.pack’ removed ‘.tmp-22280-pack-b07d4cc14fcbc5a7a80d89bddcd96f19dd3eaf4d.idx’ removed ‘.tmp-22280-pack-b07d4cc14fcbc5a7a80d89bddcd96f19dd3eaf4d.pack’ removed ‘.tmp-22280-pack-b89a5c2f94c791faddd713f09b3493935fe3acc1.idx’ [...] ddd@taltabull:/mnt/VOLUM-2/historic/ddd$ du -hs */ 696G ddd-docs_a2017m7d21.git/ 693G ddd-docs.git/
Per tant, de moment deixo que es compacti la nova còpia, però potser, que he alliberat espai al disc «oficial», deliberaré si deixo el procediment habitual pel cap de setmana...
FJ Actualitzat per Ferran Jorba fa més de 8 anys
A quarts de dues ha acabat la compactació de la còpia al Satabeast, sense errors:
ddd@taltabull:/mnt/VOLUM-3b/historic/ddd$ du -hs ddd-docs.git/ 743G ddd-docs.git/
Donat que amb l'alliberament d'espai d'ahir el disc oficial té 1.3 TB lliures, és a dir, el doble del que necessita per compactar (que és aproximadamant l'espai de la base de dades, uns 700 GB), deixo que tot funcioni amb normalitat fins el cap de setmana.
D'altra banda, aprofito per deixar escrit que el primer cap de setmana del més es realitza automàticament una verificació de l'integritat de la base de dades via git fsck:
- https://git-scm.com/docs/git-fsck
- https://git-scm.com/book/en/v2/Git-Internals-Maintenance-and-Data-Recovery
Fa anys que no dóna errors; a la primeria, en versions més inicials, n'havia tingut algun, sovint relacionats amb operacions simultànies de verificació i escriptura, que ara ja procuro no fer. I ja, com a curiositat, una vegada es va donar en el canvi horari, perquè es va engegar dos cops la compactació, una abans del canvi horari de les 2h i un altre cop quan van tornar a ser les dues. També és cert que ara el propi software git es protegeix ell mateix de no executar-se simultàniament més d'un cop. En fi, coses que només s'aprenen amb l'experiència dels errors i l'edat.
FJ Actualitzat per Ferran Jorba fa més de 8 anys
- Estat ha canviat de Creada a Tancada
La compactació ha acabat bé i hi torna a haver-hi espai lliure de sobres perquè no ens hàgim de preocupar durant uns quants mesos.