Projecte

General

Perfil

Accions

Tasca #581

tancat
FJ FJ

Netejar la taula temporal de queries

Tasca #581: Netejar la taula temporal de queries

Afegit per Ferran Jorba fa més de 16 anys. Actualitzat fa més de 16 anys.

Estat:
Tancada
Prioritat:
Alta
Assignat a:
Categoria:
-
Inici:
Data de venciment:
Paraula clau:

Descripció

Des de finals d'agost una taula de MySQL que té les cerques temporals està creixent sense que es pugui buidar degut a la manca de recursos de la màquina.

Ara mateix ja té 1,5 milions d'entrades. És urgent trobar-hi una solució.

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #1

La neteja sempre s'ha fet el cap de setmana, i normalment amb 5-6 hores n'hi ha hagut prou. Però per algun motiu ara s'acumulen més del compte i no hi és a temps a netejar-ho.

De moment hem estat provant, sense èxit:

  • augmentar el paràmetre max_connexions de MySQL de 400 a 500.
  • fer-ho amb el servidor d'Apache parat, perquè així no hi hauria connexions d'usuaris.

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #2

Per a aquesta nit he deixat que s'executi la cerca dels registres a esborrar i els bolqui a un fitxer, per veure si al menys puc recollir el resultat. La idea és que potser en dues parts consumeix menys recursos i puc esborrar-los en grups més petits.

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #3

De moment no ha anat bé, perquè aquesta matinada han hagut de rebotar el servidor a les 2:44, tres quarts d'hora després d'engegar la cerca. Encara no he pogut averiguar quin error ha donat.

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #4

A veure. Després de no-sé-quantes proves, he exportat les dues taules (query, de 1556931 entrades) i user_query (859015 entrades) i he fet el join en awk. En comptes de trigar 6 hores, ho fa en 10 segons, i el resultat és que no cal fer neteja. Bé, dóna 3 registres, però són els que s'han creat durant l'estona d'exportar les dues taules.

O sigui, que de moment he fet que per al proper dissabte es salti la neteja de la taula query, que és la que s'encalla, i vagi al següent pas, a veure si així desencallem l'assumpte.

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #5

  • Estat ha canviat de Creada a Tancada

FJ Actualitzat per Ferran Jorba fa més de 16 anys Accions #6

Després de dues setmanes, sembla que aquesta solució funciona. De moment, doncs, ens saltem el join de les dues taules i deixem que el job continuï la feina. Hi guanyem molta estona, perquè el DDD només queda parat poc més de 10 minuts.

  • Inici: Sat Oct 17 04:29:34 2009
  • Final: Sat Oct 17 04:41:32 2009

De moment tanquem la tasca amb aquesta solució.

Accions

També disponible a: PDF Atom