Projecte

General

Perfil

Accions
Copiar enllaç

Tasca #3749

tancat
CA JP

Neteja d'usuaris del DDD

Tasca #3749: Neteja d'usuaris del DDD

Afegit per Cristina Azorin fa més de 10 anys. Actualitzat fa aproximadament 8 anys.

Estat:
Tancada
Prioritat:
Normal
Assignat a:
Javier Planella
Categoria:
Tecnologia
Temàtica prevista:
Tasques informàtiques internes
Inici:
04-12-2015
Data de venciment:
01-03-2017
Paraula clau:
TLT

Descripció

Penso que caldria fer una acció de millora durant el 2016 sobre es usuaris del DDD.
1. caldria treure una estadística de nombre d'usuaris i de cistelles i alertes fetes per aquests.
2. una segona estadística per saber quants són usuaris uab i quants de fora de la comunitat universitària.
3. caldria veure quants d'aquests usurais fa més de cinc anys que no es connecten.
4. la proposta és esborrar aquest darrer grup (més de cinc anys des de la darrera connexió)

Assigno la tasca a la Núria per a que a principis del 2016 valorem si la portem endavant o no.

Fitxers

usuari_duplicat.jpg (18.6 KB) usuari_duplicat.jpg exemple Cristina Azorin, 15-12-2015 13:30

Tasques relacionades 1 (0 obertes — 1 tancada)

relacionat amb DDD - Tasca #954: Estadístiques d'usuaris registrats al DDDTancadaFerran JorbaAccions

CA Actualitzat per Cristina Azorin fa més de 10 anys Accions
Copiar enllaç
 #1

caldria veure si hi ha usuaris duplicats...

exemple

CA Actualitzat per Cristina Azorin fa més de 10 anys Accions
Copiar enllaç
 #2

  • Data de venciment s'ha establert a 15-03-2016
  • Assignat a ha canviat de Núria Casaldaliga a Javier Planella
  • Paraula clau s'ha establert a JR

FJ Actualitzat per Ferran Jorba fa quasi 10 anys Accions
Copiar enllaç
 #3

La Cristina comenta (amb raó) que no hauríem d'esborrar usuaris amb cistells creats.

CA Actualitzat per Cristina Azorin fa més de 9 anys Accions
Copiar enllaç
 #4

  • Data de venciment ha canviat de 15-03-2016 a 15-12-2016

CA Actualitzat per Cristina Azorin fa aproximadament 9 anys Accions
Copiar enllaç
 #5

  • Data de venciment ha canviat de 15-12-2016 a 01-03-2017

FJ Actualitzat per Ferran Jorba fa aproximadament 9 anys Accions
Copiar enllaç
 #6

El Tibor Simko ens ha contestat que no hi ha cap procediment automàtic, tot i que ens dóna algunes idees:

https://www.mail-archive.com/project-invenio-general@cern.ch/msg01175.html

JP Actualitzat per Javier Planella fa aproximadament 9 anys Accions
Copiar enllaç
 #7

  • Paraula clau ha canviat de JR a JR TLT

1. caldria treure una estadística de nombre d'usuaris i de cistelles i alertes fetes per aquests.
9564 usuaris
188 cistelles

2. una segona estadística per saber quants són usuaris uab i quants de fora de la comunitat universitària.
6756 usuaris uab
2808 usuaris externs o amb usuari intern creat (fjorbacatalogador,javierplanella,jasmin21.....)

3. caldria veure quants d'aquests usuaris fa més de cinc anys que no es connecten.
Nomes hi han dos usuaris que es conecten abans de 2016 i tenen cistelles

Usuaris conectats per ultima vegada al 2011:706
Usuaris conectats per ultima vegada al 2012:667
Usuaris conectats per ultima vegada al 2013:594
Usuaris conectats per ultima vegada al 2014:615
Usuaris conectats per ultima vegada al 2015:839
Usuaris conectats per ultima vegada al 2016:2107

hi han 2143 sense ultima data connectat

Programació utilitzada:
1.
select count(* ) from user_query_basket;
select count(* ) from user;

2.
select count(* ) from user where nickname<>'';
select count(* ) from user where nickname='';

3.
select * from user_query_basket where id_user IN (select id from user where las
t_login <'2016-01-01');
select count(id) from user where last_login between '2012-01-01' and '2012-12-31';
select * from user_query_basket where id_user IN (select id from user where last_login between '2013-01-01' and '2013-12-31');

Esta pendent de fer un scrit automatic per els 3 invenios. Amb un parametre que sigui l'any

JP Actualitzat per Javier Planella fa aproximadament 9 anys Accions
Copiar enllaç
 #8

Usuaris connectats per ultima vegada i que no tenen cistells:

any 2006: 2143
any 2007: 328
any 2008: 330
any 2009: 244
any 2010: 634
any 2011: 583
any 2012: 594
any 2013: 500

script programat: expire_users.py
exemple d'us:
expire_users.py y 2014 -> esborrar els usuaris connectats per ultima vegada abans del 01-01-2014 de la taula "user" i les querys de la taula "user_query"

JP Actualitzat per Javier Planella fa quasi 9 anys Accions
Copiar enllaç
 #9

De moment hem modificat el script inveniogc.py perque funcioni i no es pengi.
L'original de:
https://github.com/inveniosoftware/invenio/blob/maint-1.1/modules/websession/lib/inveniogc.py
es quedava penjat

Aquest programa fa:
1: delete expired sessions
1b:delete guest users without session
2: delete queries not attached to any user
3: delete baskets not attached to any user
4: delete alerts not attached to any user
5: delete expired mailcookies
5b: delete expired not confirmed email address
6: delete expired roles memberships

Ha funcionat els tres invenios de proves, i aquest cap de setmana l'activarem als de producció

FJ Actualitzat per Ferran Jorba fa quasi 9 anys Accions
Copiar enllaç
 #10

Al DDD ha esborrat, poca broma, més de 65 milions d'entrades a la base de dades de sessions, cerques, confirmacions de correus, obsolets:

2017-06-10 06:32:22 --> Task #413992 started.
2017-06-10 06:32:22 --> CLEANING OF GUEST SESSIONS STARTED
2017-06-10 06:32:22 --> - deleting expired sessions
2017-06-10 06:45:13 --> - deleting guest users without session
2017-06-10 06:45:35 --> - deleting user_queries referencing non-existent users
2017-06-10 06:59:59 --> - deleting queries not attached to any user
2017-06-10 06:59:59 --> - deleting baskets not owned by any user
2017-06-10 07:00:00 --> - deleting alerts not owned by any user
2017-06-10 07:01:04 --> - statistics about deleted data: 
2017-06-10 07:01:04 -->   19127500 sessions.
2017-06-10 07:01:04 -->         0 users.
2017-06-10 07:01:04 -->   41054080 user_queries.
2017-06-10 07:01:04 -->         0 queries.
2017-06-10 07:01:04 -->         2 baskets.
2017-06-10 07:01:04 -->         2 user_baskets.
2017-06-10 07:01:04 -->         3 basket_records.
2017-06-10 07:01:04 -->         0 basket_external_records.
2017-06-10 07:01:04 -->         0 basket_external_formats.
2017-06-10 07:01:04 -->         0 basket_comments.
2017-06-10 07:01:04 -->         2 user_query_baskets.
2017-06-10 07:01:04 -->   5108494 mail_cookies.
2017-06-10 07:01:04 -->       754 non confirmed email addresses.
2017-06-10 07:01:04 -->         0 role_memberships.
2017-06-10 07:01:04 --> CLEANING OF GUEST SESSIONS FINISHED
2017-06-10 07:01:04 --> Task #413992 finished. [DONE]

FJ Actualitzat per Ferran Jorba fa quasi 9 anys Accions
Copiar enllaç
 #11

Traces, 18 milions d'entrades.

2017-06-10 07:06:19 --> Task #164132 started.
2017-06-10 07:06:19 --> CLEANING OF GUEST SESSIONS STARTED
2017-06-10 07:06:19 --> - deleting expired sessions
2017-06-10 07:12:03 --> - deleting guest users without session
2017-06-10 07:12:08 --> - deleting user_queries referencing non-existent users
2017-06-10 07:15:42 --> - deleting queries not attached to any user
2017-06-10 07:15:42 --> - deleting baskets not owned by any user
2017-06-10 07:15:43 --> - deleting alerts not owned by any user
2017-06-10 07:16:16 --> - statistics about deleted data: 
2017-06-10 07:16:16 -->   5130359 sessions.
2017-06-10 07:16:16 -->         0 users.
2017-06-10 07:16:16 -->   11425060 user_queries.
2017-06-10 07:16:16 -->         0 queries.
2017-06-10 07:16:16 -->         5 baskets.
2017-06-10 07:16:16 -->         5 user_baskets.
2017-06-10 07:16:16 -->        16 basket_records.
2017-06-10 07:16:16 -->         0 basket_external_records.
2017-06-10 07:16:16 -->         0 basket_external_formats.
2017-06-10 07:16:16 -->         0 basket_comments.
2017-06-10 07:16:16 -->         0 user_query_baskets.
2017-06-10 07:16:16 -->   1690673 mail_cookies.
2017-06-10 07:16:16 -->       265 non confirmed email addresses.
2017-06-10 07:16:16 -->         0 role_memberships.
2017-06-10 07:16:16 --> CLEANING OF GUEST SESSIONS FINISHED
2017-06-10 07:16:16 --> Task #164132 finished. [DONE]

Ara mateix no ho puc provar a l'IFMuC, perquè no he estat sincronitzant prou les actualitzacions del DDD (i alguna de Traces) i la millora dóna error.

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #12

Hola Ferran i Javier, podeu executar aquesta neteja. Ara mateix em surten 9.558 usuaris actius al DDD i em semblen molts.

Javier Planella va escriure:

Usuaris connectats per ultima vegada i que no tenen cistells:

any 2006: 2143
any 2007: 328
any 2008: 330
any 2009: 244
any 2010: 634
any 2011: 583
any 2012: 594
any 2013: 500

script programat: expire_users.py
exemple d'us:
expire_users.py y 2014 -> esborrar els usuaris connectats per ultima vegada abans del 01-01-2014 de la taula "user" i les querys de la taula "user_query"

JP Actualitzat per Javier Planella fa més de 8 anys Accions
Copiar enllaç
 #13

  • Estat ha canviat de Creada a Tancada

Ja hem esborrat el usuaris connectats per ultima vegada abans de 2013 i que no tenen cistells de: DDD, Traces i Ifmuc

CA Actualitzat per Cristina Azorin fa més de 8 anys Accions
Copiar enllaç
 #14

  • S'ha afegit relacionat amb Tasca #954: Estadístiques d'usuaris registrats al DDD

CA Actualitzat per Cristina Azorin fa aproximadament 8 anys Accions
Copiar enllaç
 #15

  • Paraula clau ha canviat de JR TLT a TLT
Accions
Copiar enllaç

També disponible a: PDF Atom