Tasca #1043
obertProhibir als robots que indexin els registres en formats exportables
Descripció
Algunes etiquetes MARC tenen textos que no ens interessa que Google ens indexi. En general, són etiquetes que ja no es veuen en HTML, però Google els continua indexant si pot anar als registres MARC o MARCXML.
Cal modificar robots.txt perquè Google no hi vagi. A més a més, podem tenir l'efecte colateral que Google s'hi estarà menys a casa nostra per resseguir tots els registres, de manera que segurament hi guanyarem a efectes de rendiment.
FJ Actualitzat per Ferran Jorba fa més de 15 anys
Ja he fet una prova, amb aquesta especificació:
User-agent: * Disallow: /record/*/export/*
Vegeu-lo a http://traces.uab.cat/robots.txt. He trobat al menys un document a Internet que posa exemples molt semblants a aquest:
http://www.searchenginejournal.com/robotstxt-4-things-you-should-know/7292/
En els propers dies repassarem els logs d'Apache per veure si els robots en fan cas.
FJ Actualitzat per Ferran Jorba fa més d'un any
- S'ha afegit relacionat amb Incidència #8740: DDD - Allau de peticions des d'una adreça IP