Tasca #5963
tancatTreure el servidor MariaDB de Mompou
Descripció
Amb el continu creixement de l'ús del DDD, augmenten també les incidències de consulta per sobrecàrrega del servidor. Hem estat fent tota mena de canvis de paràmetres per millorar-ne el seu rendiment, però crec que la cosa ja no dóna més de si i caldrà pensar en una estratègia a mig termini. El que pretenc és fer el canvi menys costós per mantenir la instal·lació actual en el mateix servidor mentre estiguem en Invenio 1.1.6.
La meva proposta és treure el servidor MariaDB (MySQL) de Mompou i traslladar-lo a una màquina externa. En principi això hauria de suposar un canvi mínim en la configuració d'Invenio, on li diem on tenim el servidor. En comptes de dir-li la màquina local, en seria una de remota.
La motivació d'aquest canvi és doble. D'una banda, les estadístiques de creixement de l'ús, en brut. Mai no baixen, i sempre pugen:
- https://ddd.uab.cat/accessos/2019/access_a2019_day.svg
- https://ddd.uab.cat/accessos/2020/access_a2020_day.svg
D'altra banda, observant-ne el comportament, me n'adono que els errors de Gateway timeout i similars es donen, sobretot, en els processos d'indexació d'Invenio (a la base de dades MariaDB), que els tenim programats cada 15 minuts.
Els valors actuals de la base de dades (/etc/mysql/mariadb.conf.d/invenio.cnf), que haurien de servir per dimensionar el futur servidor, són aquests:
# UAB MySQL config for 3 Invenios (DDD, Traces and IFMuC)
# Fist, copy my-huge.cnf to /etc/mysql/my.cnf
# Based on
# * http://invenio-software.org/wiki/Tools/MySQL/Tuning
# * tuning-primer.sh
# * mysqltuner
# * mysqlreport
[mysqld]
key_buffer_size = 10G
max_allowed_packet = 1G
query_cache_size = 256M
max_heap_table_size = 512M
tmp_table_size = 64M
max_connections = 50
table_definition_cache = 1600
table_cache = 6000
character_set_server = utf8
collation_server = utf8_unicode_ci
skip-character-set-client-handshake
[mysqldump]
max_allowed_packet = 1G
[myisamchk]
key_buffer_size = 5G
[client]
default-character-set = utf8
La RAM usada pel servidor de base de dades, segons htop, és de 14.3 GB, que és la meitat dels 32 GB que té Mompou.
L'espai de disc per a cadascuna de les tres bases de dades és:
- ddd 42 GB
- traces 13 GB
- ifmuc 400 MB
En total són 55 GB. Per tant, amb un disc de 100 GB en tenim de sobres, fins i tot si hem de reorganitzar.
Els bolcats de la base de dades, com que els fa un script d'Invenio, es podrien continuar fent a Mompou (/var/backups/mysql/, que amb una rotació de 3 generacions, ara ocupa 70 GB), i així els canvis que caldria fer en producció serien mínims.
Com que del que es tracta és d'accel·lerar l'entrada/sortida, el servidor on hauria d'anar a parar MariaDB hauria de ser amb disc flash.
La versió de MariaDB millor que sigui la mateixa que la del client. Per tant, hauria de ser Debian stable.
Tasques relacionades 2 (0 obertes — 2 tancades)