Tasca #3749
tancatNeteja d'usuaris del DDD
Afegit per Cristina Azorin fa més de 10 anys. Actualitzat fa aproximadament 8 anys.
Descripció
Penso que caldria fer una acció de millora durant el 2016 sobre es usuaris del DDD.
1. caldria treure una estadística de nombre d'usuaris i de cistelles i alertes fetes per aquests.
2. una segona estadística per saber quants són usuaris uab i quants de fora de la comunitat universitària.
3. caldria veure quants d'aquests usurais fa més de cinc anys que no es connecten.
4. la proposta és esborrar aquest darrer grup (més de cinc anys des de la darrera connexió)
Assigno la tasca a la Núria per a que a principis del 2016 valorem si la portem endavant o no.
Fitxers
| usuari_duplicat.jpg (18.6 KB) usuari_duplicat.jpg | exemple | Cristina Azorin, 15-12-2015 13:30 |
CA Actualitzat per Cristina Azorin fa més de 10 anys Accions #1
- S'ha afegit Fitxer usuari_duplicat.jpg usuari_duplicat.jpg
caldria veure si hi ha usuaris duplicats...
CA Actualitzat per Cristina Azorin fa més de 10 anys Accions #2
- Data de venciment s'ha establert a 15-03-2016
- Assignat a ha canviat de Núria Casaldaliga a Javier Planella
- Paraula clau s'ha establert a JR
FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions #3
La Cristina comenta (amb raó) que no hauríem d'esborrar usuaris amb cistells creats.
CA Actualitzat per Cristina Azorin fa més de 9 anys Accions #4
- Data de venciment ha canviat de 15-03-2016 a 15-12-2016
CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions #5
- Data de venciment ha canviat de 15-12-2016 a 01-03-2017
FJ Actualitzat per Ferran Jorba fa aproximadament 9 anys Accions #6
El Tibor Simko ens ha contestat que no hi ha cap procediment automàtic, tot i que ens dóna algunes idees:
https://www.mail-archive.com/project-invenio-general@cern.ch/msg01175.html
JP Actualitzat per Javier Planella fa aproximadament 9 anys Accions #7
- Paraula clau ha canviat de JR a JR TLT
1. caldria treure una estadística de nombre d'usuaris i de cistelles i alertes fetes per aquests.
9564 usuaris
188 cistelles
2. una segona estadística per saber quants són usuaris uab i quants de fora de la comunitat universitària.
6756 usuaris uab
2808 usuaris externs o amb usuari intern creat (fjorbacatalogador,javierplanella,jasmin21.....)
3. caldria veure quants d'aquests usuaris fa més de cinc anys que no es connecten.
Nomes hi han dos usuaris que es conecten abans de 2016 i tenen cistelles
Usuaris conectats per ultima vegada al 2011:706
Usuaris conectats per ultima vegada al 2012:667
Usuaris conectats per ultima vegada al 2013:594
Usuaris conectats per ultima vegada al 2014:615
Usuaris conectats per ultima vegada al 2015:839
Usuaris conectats per ultima vegada al 2016:2107
hi han 2143 sense ultima data connectat
Programació utilitzada:
1.
select count(* ) from user_query_basket;
select count(* ) from user;
2.
select count(* ) from user where nickname<>'';
select count(* ) from user where nickname='';
3.
select * from user_query_basket where id_user IN (select id from user where las
t_login <'2016-01-01');
select count(id) from user where last_login between '2012-01-01' and '2012-12-31';
select * from user_query_basket where id_user IN (select id from user where last_login between '2013-01-01' and '2013-12-31');
Esta pendent de fer un scrit automatic per els 3 invenios. Amb un parametre que sigui l'any
JP Actualitzat per Javier Planella fa aproximadament 9 anys Accions #8
Usuaris connectats per ultima vegada i que no tenen cistells:
any 2006: 2143
any 2007: 328
any 2008: 330
any 2009: 244
any 2010: 634
any 2011: 583
any 2012: 594
any 2013: 500
script programat: expire_users.py
exemple d'us:
expire_users.py y 2014 -> esborrar els usuaris connectats per ultima vegada abans del 01-01-2014 de la taula "user" i les querys de la taula "user_query"
JP Actualitzat per Javier Planella fa quasi 9 anys Accions #9
De moment hem modificat el script inveniogc.py perque funcioni i no es pengi.
L'original de:
https://github.com/inveniosoftware/invenio/blob/maint-1.1/modules/websession/lib/inveniogc.py
es quedava penjat
Aquest programa fa:
1: delete expired sessions
1b:delete guest users without session
2: delete queries not attached to any user
3: delete baskets not attached to any user
4: delete alerts not attached to any user
5: delete expired mailcookies
5b: delete expired not confirmed email address
6: delete expired roles memberships
Ha funcionat els tres invenios de proves, i aquest cap de setmana l'activarem als de producció
FJ Actualitzat per Ferran Jorba fa quasi 9 anys Accions #10
Al DDD ha esborrat, poca broma, més de 65 milions d'entrades a la base de dades de sessions, cerques, confirmacions de correus, obsolets:
2017-06-10 06:32:22 --> Task #413992 started. 2017-06-10 06:32:22 --> CLEANING OF GUEST SESSIONS STARTED 2017-06-10 06:32:22 --> - deleting expired sessions 2017-06-10 06:45:13 --> - deleting guest users without session 2017-06-10 06:45:35 --> - deleting user_queries referencing non-existent users 2017-06-10 06:59:59 --> - deleting queries not attached to any user 2017-06-10 06:59:59 --> - deleting baskets not owned by any user 2017-06-10 07:00:00 --> - deleting alerts not owned by any user 2017-06-10 07:01:04 --> - statistics about deleted data: 2017-06-10 07:01:04 --> 19127500 sessions. 2017-06-10 07:01:04 --> 0 users. 2017-06-10 07:01:04 --> 41054080 user_queries. 2017-06-10 07:01:04 --> 0 queries. 2017-06-10 07:01:04 --> 2 baskets. 2017-06-10 07:01:04 --> 2 user_baskets. 2017-06-10 07:01:04 --> 3 basket_records. 2017-06-10 07:01:04 --> 0 basket_external_records. 2017-06-10 07:01:04 --> 0 basket_external_formats. 2017-06-10 07:01:04 --> 0 basket_comments. 2017-06-10 07:01:04 --> 2 user_query_baskets. 2017-06-10 07:01:04 --> 5108494 mail_cookies. 2017-06-10 07:01:04 --> 754 non confirmed email addresses. 2017-06-10 07:01:04 --> 0 role_memberships. 2017-06-10 07:01:04 --> CLEANING OF GUEST SESSIONS FINISHED 2017-06-10 07:01:04 --> Task #413992 finished. [DONE]
FJ Actualitzat per Ferran Jorba fa quasi 9 anys Accions #11
Traces, 18 milions d'entrades.
2017-06-10 07:06:19 --> Task #164132 started. 2017-06-10 07:06:19 --> CLEANING OF GUEST SESSIONS STARTED 2017-06-10 07:06:19 --> - deleting expired sessions 2017-06-10 07:12:03 --> - deleting guest users without session 2017-06-10 07:12:08 --> - deleting user_queries referencing non-existent users 2017-06-10 07:15:42 --> - deleting queries not attached to any user 2017-06-10 07:15:42 --> - deleting baskets not owned by any user 2017-06-10 07:15:43 --> - deleting alerts not owned by any user 2017-06-10 07:16:16 --> - statistics about deleted data: 2017-06-10 07:16:16 --> 5130359 sessions. 2017-06-10 07:16:16 --> 0 users. 2017-06-10 07:16:16 --> 11425060 user_queries. 2017-06-10 07:16:16 --> 0 queries. 2017-06-10 07:16:16 --> 5 baskets. 2017-06-10 07:16:16 --> 5 user_baskets. 2017-06-10 07:16:16 --> 16 basket_records. 2017-06-10 07:16:16 --> 0 basket_external_records. 2017-06-10 07:16:16 --> 0 basket_external_formats. 2017-06-10 07:16:16 --> 0 basket_comments. 2017-06-10 07:16:16 --> 0 user_query_baskets. 2017-06-10 07:16:16 --> 1690673 mail_cookies. 2017-06-10 07:16:16 --> 265 non confirmed email addresses. 2017-06-10 07:16:16 --> 0 role_memberships. 2017-06-10 07:16:16 --> CLEANING OF GUEST SESSIONS FINISHED 2017-06-10 07:16:16 --> Task #164132 finished. [DONE]
Ara mateix no ho puc provar a l'IFMuC, perquè no he estat sincronitzant prou les actualitzacions del DDD (i alguna de Traces) i la millora dóna error.
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #12
Hola Ferran i Javier, podeu executar aquesta neteja. Ara mateix em surten 9.558 usuaris actius al DDD i em semblen molts.
Javier Planella va escriure:
Usuaris connectats per ultima vegada i que no tenen cistells:
any 2006: 2143
any 2007: 328
any 2008: 330
any 2009: 244
any 2010: 634
any 2011: 583
any 2012: 594
any 2013: 500script programat: expire_users.py
exemple d'us:
expire_users.pyy 2014 -> esborrar els usuaris connectats per ultima vegada abans del 01-01-2014 de la taula "user" i les querys de la taula "user_query"
JP Actualitzat per Javier Planella fa més de 8 anys Accions #13
- Estat ha canviat de Creada a Tancada
Ja hem esborrat el usuaris connectats per ultima vegada abans de 2013 i que no tenen cistells de: DDD, Traces i Ifmuc
CA Actualitzat per Cristina Azorin fa més de 8 anys Accions #14
- S'ha afegit relacionat amb Tasca #954: Estadístiques d'usuaris registrats al DDD
CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions #15
- Paraula clau ha canviat de JR TLT a TLT