Accions
Tasca #8600
tancat
FJ
FJ
Impedir que els robots facin cerques al DDD
Tasca #8600:
Impedir que els robots facin cerques al DDD
Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Tecnologia
Temàtica prevista:
Inici:
30-07-2024
Data de venciment:
30-07-2024
Paraula clau:
Descripció
En el darrer any l'ús i l'abús dels robots al DDD ha anat creixent, i hi ha hagut moments d'autèntica crisi perquè feia que el DDD no funcionava i donava errors 503 (Service unavailable).
Després de moltes altres solucions, el maig d'aquest 2024 n'hem posat un altre barrera: que els robots no puguin fer /search. En webs com el DDD, on els registres segueixen una seqüència numèrica, els cercadors ja acaben resseguint tots els registres, a més que també publiquem el sitemap.xml.
Tasques relacionades 3 (0 obertes — 3 tancades)
FJ Actualitzat per Ferran Jorba fa més d'un any
- Estat ha canviat de Creada a Tancada
La solució ha estat aquesta:
--- /home/ddd/www/robots.txt~ 2024-01-01 07:37:10.439669653 +0100
+++ /home/ddd/www/robots.txt 2024-05-09 12:38:30.328293291 +0200
@@ -8,6 +8,7 @@
Disallow: /rev
Disallow: /uab
Disallow: /usage
+Disallow: /search
Disallow: /*.txt$
Disallow: *rm=wrd*
Disallow: *action*browse*
FJ Actualitzat per Ferran Jorba fa més d'un any
D'altra banda, he tornat a bloquejar la Xina, perquè els robots de bytedance (TikTok) s'han tornat a desmadrar, i avui tornàvem a tenir errors 503:
FJ Actualitzat per Ferran Jorba fa més d'un any
- S'ha afegit relacionat amb Incidència #6514: Sobrecàrrega pel robot de petalsearch
FJ Actualitzat per Ferran Jorba fa més d'un any
- S'ha afegit relacionat amb Tasca #6117: Minimitzar els accessos a disc de l'Apache via caché de miniatures
FJ Actualitzat per Ferran Jorba fa més d'un any
- S'ha afegit relacionat amb Incidència #5771: Gateway errors al DDD: augmentar número de processos?
CA Actualitzat per Cristina Azorin fa més d'un any
- Data de venciment s'ha establert a 30-07-2024
- Paraula clau s'ha establert a NCR
CA Actualitzat per Cristina Azorin fa aproximadament 1 any
- Paraula clau s'ha suprimit (
NCR)
Accions