Incidència #8204
tancatAllau de peticions de robots, sobretot de Google i Bytedance (Tiktok)
Descripció
Aquest 2023, sobretot a partir de l'agost, estem rebent una quantitat de visites de robots molt per sobre del que estàvem acostumats.
- https://ddd.uab.cat/accessos/2023/access_a2023_day.svg
- https://ddd.uab.cat/accessos/2022/access_a2022_day.svg
- https://ddd.uab.cat/accessos/2021/access_a2021_day.svg
- https://ddd.uab.cat/accessos/2020/access_a2020_day.svg
Com que no sembla que el ritme de visites vagi a la baixa, segurament cal prendre mesures.
FJ Actualitzat per Ferran Jorba fa més de 2 anys
- Data de venciment s'ha establert a 30-11-2023
- Estat ha canviat de Creada a En curs
D'entrada, tenim un script que cada minut vigila que no passin d'un nombre màxim de visites simultànies, que ara mateix tenim a 300. Quan s'hi arriba, reinicia Apache perquè el sistems no es desmadri. Fa ben bé una setmana que rebem notificacions cada pocs minuts que hi arribem.
Pujo el màxim a 350, per veure si així no es reinicia tants cops.
FJ Actualitzat per Ferran Jorba fa més de 2 anys
D'altra banda, amb la search console de Google es pot condicionar el comportament dels robots de Google, que són els majoritaris. Recomanen de no tocar els valors per defecte. Això és el que em trobo:
Configuració del lloc web
Freqüència de rastreig
Expira el 20 de febr. 2024
Google prova de rastrejar tantes pàgines del vostre lloc com sigui possible sense col·lapsar l'amplada de banda del servidor. Si els rastrejadors de Google fan que el vostre lloc sigui més lent, podeu canviar la freqüència de rastreig (la velocitat de les sol·licituds de Google). Aquesta funció només està disponible per a llocs al nivell arrel o subdomini. Més informació (https://www.google.com/support/webmasters/answer/48620).
- Permet que Google optimitzi el meu lloc web (recomanada)
- Limita la freqüència de rastreig màxima de Google
No limiteu la freqüència de rastreig tret que Google alenteixi el vostre servidor.
El valor que teníem era alt (6,75 peticions per segon). L'he baixat a 3, malgrat les seves recomanacions, perquè efectivament ens estan col·lapsant.
CA Actualitzat per Cristina Azorin fa aproximadament 2 anys
- Paraula clau s'ha establert a NCR
CA Actualitzat per Cristina Azorin fa aproximadament 2 anys
- Data de venciment ha canviat de 30-11-2023 a 22-03-2024
FJ Actualitzat per Ferran Jorba fa més d'un any
- Estat ha canviat de En curs a Tancada
CA Actualitzat per Cristina Azorin fa aproximadament 1 any
- Prioritat ha canviat de Alta a Normal
- Paraula clau s'ha suprimit (
NCR)