Tasca #581
tancatNetejar la taula temporal de queries
Descripció
Des de finals d'agost una taula de MySQL que té les cerques temporals està creixent sense que es pugui buidar degut a la manca de recursos de la màquina.
Ara mateix ja té 1,5 milions d'entrades. És urgent trobar-hi una solució.
FJ Actualitzat per Ferran Jorba fa més de 16 anys
La neteja sempre s'ha fet el cap de setmana, i normalment amb 5-6 hores n'hi ha hagut prou. Però per algun motiu ara s'acumulen més del compte i no hi és a temps a netejar-ho.
De moment hem estat provant, sense èxit:
- augmentar el paràmetre max_connexions de MySQL de 400 a 500.
- fer-ho amb el servidor d'Apache parat, perquè així no hi hauria connexions d'usuaris.
FJ Actualitzat per Ferran Jorba fa més de 16 anys
Per a aquesta nit he deixat que s'executi la cerca dels registres a esborrar i els bolqui a un fitxer, per veure si al menys puc recollir el resultat. La idea és que potser en dues parts consumeix menys recursos i puc esborrar-los en grups més petits.
FJ Actualitzat per Ferran Jorba fa més de 16 anys
De moment no ha anat bé, perquè aquesta matinada han hagut de rebotar el servidor a les 2:44, tres quarts d'hora després d'engegar la cerca. Encara no he pogut averiguar quin error ha donat.
FJ Actualitzat per Ferran Jorba fa més de 16 anys
A veure. Després de no-sé-quantes proves, he exportat les dues taules (query, de 1556931 entrades) i user_query (859015 entrades) i he fet el join en awk. En comptes de trigar 6 hores, ho fa en 10 segons, i el resultat és que no cal fer neteja. Bé, dóna 3 registres, però són els que s'han creat durant l'estona d'exportar les dues taules.
O sigui, que de moment he fet que per al proper dissabte es salti la neteja de la taula query, que és la que s'encalla, i vagi al següent pas, a veure si així desencallem l'assumpte.
FJ Actualitzat per Ferran Jorba fa més de 16 anys
- Estat ha canviat de Creada a Tancada
FJ Actualitzat per Ferran Jorba fa més de 16 anys
Després de dues setmanes, sembla que aquesta solució funciona. De moment, doncs, ens saltem el join de les dues taules i deixem que el job continuï la feina. Hi guanyem molta estona, perquè el DDD només queda parat poc més de 10 minuts.
- Inici: Sat Oct 17 04:29:34 2009
- Final: Sat Oct 17 04:41:32 2009
De moment tanquem la tasca amb aquesta solució.