Millora #7569
tancat2022/253 Obtenir dades d'usuari i logs del servei ARE per fer Estadistiques.
Descripció
A partir dels logs ARE agrupar per "sessio" i "recurs(URL)" per obtenir dades
Fitxers
Tasques relacionades 3 (0 obertes — 3 tancades)
JP Actualitzat per Javier Planella fa més de 3 anys
- S'ha afegit relacionat amb Millora #7340: 2022/178 Recuperar els valors de col·lectiu amb l'ARE
AF Actualitzat per Anna Florensa fa més de 3 anys
- Tema ha canviat de Obtenir dades d'usuari i logs del servei ARE per fer Estadistiques. a 2022/253 Obtenir dades d'usuari i logs del servei ARE per fer Estadistiques.
JP Actualitzat per Javier Planella fa més de 3 anys
- S'ha afegit relacionat amb Tasca #2477: Logs del servei ARE i SSO
JP Actualitzat per Javier Planella fa més de 3 anys
- S'ha afegit Fitxer are_noviembre.xls
are_noviembre.xls > estadisticas de acceso a Ezproxy: Conexiones totales
- Conexions por colectivo y editorial
- Conexiones totales por editorial
programacion:
millennium@taltabull:~/bin$ python log_ezproxy_new.py ~/etc/host2journal.tab ezp202211.log>are_noviembre.xls
JP Actualitzat per Javier Planella fa més de 3 anys
Adjunto fichero host2journal.tab:
contiene el nombre de dominio y su correspondiente Revista/Paquete de revistas
AF Actualitzat per Anna Florensa fa més de 3 anys
- Data de venciment s'ha establert a 31-01-2023
JP Actualitzat per Javier Planella fa aproximadament 3 anys
- S'ha afegit Fitxer host2journal.tab host2journal.tab
AF Actualitzat per Anna Florensa fa aproximadament 3 anys
- S'ha afegit Fitxer Codificació_enllaços.xlsx Codificació_enllaços.xlsx
Enllaços el config codificats per editor.
S'ha d'entrar i tornar a generar les estadístiques, a veure si ara fa millor les agrupacions.
SS Actualitzat per Sílvia Sánchez fa aproximadament 3 anys
- Estat ha canviat de Creada a En curs
JP Actualitzat per Javier Planella fa aproximadament 3 anys
- Fitxer s'ha suprimit (
are_noviembre.xls)
JP Actualitzat per Javier Planella fa aproximadament 3 anys
- S'ha afegit Fitxer are_noviembre.xls are_noviembre.xls
Actualizado host2journal.tab
Generado
are_noviembre.xls >> estadisticas de acceso a Ezproxy:
Conexiones totales
- Conexions por colectivo y editorial
- Conexiones totales por editorial
AF Actualitzat per Anna Florensa fa aproximadament 3 anys
- Data de venciment ha canviat de 31-01-2023 a 31-03-2023
S'han d'arreglar aquestes URL al fitxer (la que la segona que apareix al grup quedi recollida a la primera)
CrossRef
Crossref
PubMed
US_National_Library_of_Medicine
Wiley_Online_Library
Wiley Online Library
La_Ley_Digital
La Ley Digital
Cambridge_Journals_Online
Cambridge University Press
JoVE_Journal
JOVE
privacyportal-eu.onetrust.com
privacyportal-de.onetrust.com
JAMA_Journals
JAMA
El_Profesional_de_la_Informacion
El Professional de la Informacion
China Academic Journals
o.cnki.net
oversea.cnki.net
CSJ Journals
journal.csj.jp
Amb aquests canvis crec que ja estarà
JP Actualitzat per Javier Planella fa aproximadament 3 anys
- S'ha afegit Fitxer are_noviembre.xls are_noviembre.xls
Cambios disponibles
Se genera de nuevo are_noviembre.xls
AF Actualitzat per Anna Florensa fa aproximadament 3 anys
Javier, perfecte! Ja ho tenim.
Pots mirar on podem guardar aquests fitxers?
Caldria posar al servidor escollit novembre i desembre 2022, i gener i febrer 2023.
Després podem generar els fitxers mensuals cada trimestre: a principis d'abril, de juliol, d'octubre i de gener.
Documenta aquí on l'enllaç als fitxers del servidor i fes també un enllaç des dels aplicatius i eines de Tecnologia de La carpeta
JP Actualitzat per Javier Planella fa aproximadament 3 anys
programacion:
datos disponibles en:
https://www.bib.uab.cat/estadistiques_are/estadistiques.php
estadistiques_are_a2023m02.xls
estadistiques_are_a2023m01.xls
estadistiques_are_a2022m11.xls
estadistiques_are_a2022m12.xls
salen algunas URL sin editor, ejemplo:
kb.vlex.com
kb.blog.vlex.com
static.cloudflareinsights.com
content.pendo.statista.com
programacion:
millennium@taltabull:~/bin/ezproxy$ python log_ezproxy_new.py ~/etc/host2journal.tab ezp202211.log>estadistiques_are_a2022m11.xls
AF Actualitzat per Anna Florensa fa aproximadament 3 anys
Javier,
Aquestes URL que et surten sense editor
kb.vlex.com Vlex_Global
kb.blog.vlex.com Vlex_Global
static.cloudflareinsights.com
content.pendo.statista.com Statista
El nombre d'URL que queden sense codificar sumen moltes connexions?
I falta posar a la Carpeta, a Tecnologia, l'enllaç a les estadístiques
JP Actualitzat per Javier Planella fa aproximadament 3 anys
- S'ha afegit Fitxer url_sin_editor.xlsx url_sin_editor.xlsx
Anna,
adjunto fichero url_sin_editor.xlsx con todas lass URL sin editor y el numero de conexiones
JP Actualitzat per Javier Planella fa aproximadament 3 anys
Pasos para generar las estadisticas:
1) Las estadisiticas de acceso a traves de Ezproxy se generan en:
Servidor: are.uab.cat
Directorio /var/log/ezproxy
ejemplo: ezp202303.log
2) Enviar los ficheros de log a:
Servidor: mompou.uab.cat
Usuario: Millennium
Directorio: ~/bin/ezproxy
3) Generar los ficheros .xls
ejemplo:
/bin/ezproxy$ python log_ezproxy_new.py ~/etc/host2journal.tab ezp202303.log>estadistiques_are_a2023m03.xls
/etc/host2journal.tab --> contiene la correspondencia entre URL<->Editor
4) Enviar los ficheros a:
Servidor: websb.uab.cat
Directorio: estadistiques_are
5) Visualizacion de resultados:
https://www.bib.uab.cat/estadistiques_are/estadistiques.php
AF Actualitzat per Anna Florensa fa quasi 3 anys
- S'ha afegit Fitxer url_sin_editor (1).xlsx url_sin_editor (1).xlsx
- Data de venciment ha canviat de 31-03-2023 a 30-04-2023
- Procés s'ha establert a 11. Tecnologies
He revisat les URL que no tenien editor, penjo l'arxiu amb els noms. N'han quedat algunes que no es poden identificar, però en principi amb això les estadístiques ja haurien de sortir bé.
JP Actualitzat per Javier Planella fa quasi 3 anys
Pasos para generar las estadisticas:
1) Las estadisiticas de acceso a traves de Ezproxy se generan en:
Servidor: are.uab.cat
Directorio /var/log/ezproxy
ejemplo: ezp202303.log
2) Enviar los ficheros de log a:
Servidor: taltabull.uab.cat
Usuario: Millennium
Directorio: ~/bin/ezproxy
3) Generar los ficheros .xls
ejemplo:
/bin/ezproxy$ python log_ezproxy_new.py ~/etc/host2journal.tab ezp202303.log>estadistiques_are_a2023m03.xls
/etc/host2journal.tab --> contiene la correspondencia entre URL<->Editor
4) Enviar los ficheros a:
Servidor: websb.uab.cat
Directorio: estadistiques_are
5) Visualizacion de resultados:
https://www.bib.uab.cat/estadistiques_are/estadistiques.php
JP Actualitzat per Javier Planella fa quasi 3 anys
Estadisticas generadas de nuevo:
estadistiques_are_a2022m11.xls
estadistiques_are_a2022m12.xls
estadistiques_are_a2023m01.xls
estadistiques_are_a2023m02.xls
estadistiques_are_a2023m03.xls
JP Actualitzat per Javier Planella fa quasi 3 anys
- Assignat a ha canviat de Javier Planella a Anna Florensa
AF Actualitzat per Anna Florensa fa quasi 3 anys
- Estat ha canviat de En curs a Tancada
Hem generat les estadístiques per col·lectius des darrers dos mesos del 2022 i també del 2023.
JP Actualitzat per Javier Planella fa més de 2 anys
- S'ha afegit relacionat amb Tasca #6925: Estadisticas Ezproxy/ARE