Tasca #3102
tancatGuies docents i bibliografies
Descripció
Comparació automatitzada de les Bibliografies de Curs
Fitxers
JP Actualitzat per Javier Planella fa més de 11 anys
Ferran Jorba proposa:
Una bona manera de començar amb la tasca de
comparar bibliografies seria aprofitant la llista de fitxers que
automàticament es genera en el DDD.
Per a cada directori de fitxers o documents del DDD, hi ha una sèrie de
fitxers d'inventari. Per exemple, un d'ells té la llista dels fitxers
«primaris» (és a dir, excloent-hi les miniatures i fitxers de metadades)
i el seu valor md5. Aquest fitxer va molt bé perquè és molt fàcil
d'obtenir, (quasi) sempre està actualtizat al dia, i és fàcil de
tractar, a part que també pot anar bé per comparar valors md5. En cada
directori, es diu de la mateixa manera que el nom del directori, i amb
l'extensió .md5. En el cas que ens interessa, per exemple, es tractaria
de partir d'aquests dos fitxers:
http://ddd.uab.cat/pub/procur/2013-14/2013-14.md5
http://ddd.uab.cat/pub/procur/2014-15/2014-15.md5
Si ho fas des d'una sessió a Nuix, els fitxers te'ls trobaràs a:
/mnt/CLARIION/ddd/pub/procur/2013-14/2013-14.md5
/mnt/CLARIION/ddd/pub/procur/2014-15/2014-15.md5
Tal com veuràs, els noms dels fitxers tenen la següent estructura:
- Una lletra inicial (les noves una «g», algunes antigues «p»).
- Codi d'assignatura
- Opcionalment, una «t» i el codi de titulació
- Una «a» i el curs, en format XXXX-YY (ex., 2014-15)
- Una «i» i l'idioma en majúscules.
Per tant, en el teu cas, segurament es tracta de, per a cacadasun dels
fitxers del curs actual, buscar l'equivalent del curs anterior,
basant-te en el codi. Amb això faràs la primera criba, aparellant, si
s'escau, el fitxer del curs actual amb l'anterior.
A partir d'aquí, ja saps, canvant l'extensió .pdf per .txt, et trobaràs
el text en utf-8 a comparar, i pots provar les diferents idees que hem
parlat aquest matí.
JP Actualitzat per Javier Planella fa més de 11 anys
No hay un patron comun en todos los ficheros:
- En principio desde que empieza la palabra "Bibliografia" hasta el final del documento deberia ser contener la bibliografia, pero hay casos en los que no:
http://ddd.uab.cat/pub/procur/2013-14/p100636a2013-14iCAT.txt
- Los titulos de bibliografia no estan separados de una manera homegenea:
En algunos casos hay un salto de linea y en otros no.
Si el titulo es muy largo entonces se divide en 2 lineas, y no se puede tratar automaticamente: http://ddd.uab.cat/pub/procur/2013-14/p100636a2013-14iCAT.txt
- En algunas bibliografias aparecen cometarios:
http://ddd.uab.cat/pub/procur/2014-15/g100048a2014-15iCAT.pdf
- En algunos Pdf la bibliografia esta dentro de un cuadro de texto:
http://ddd.uab.cat/pub/procur/2013-14/p100687a2013-14iCAT.pdf
y el .txt correspondiente es muy diferente
- Al convertir de .pdf a .txt tambien se añade en una linea el numero de pagina, y en algunos casos la fecha y el numero de pagina, lo cual dificulta la extraccion de informacion
En contacto con Joan Montal y nos dice que hace un par de años les solicitaron algo parecido a lo que necesitamos. Disponen de una base de datos, y un campo del registro contiene la bibliografia en un solo texto. Al parecer desarrollaron una aplicacion que comparaba los cambios entre años y nos han dicho que pueden hacer lo mismos para nosostros. Con eso tendriamos los datos de todas las asignaturas que se han introducido a traves de la aplicacion de guias, excepto las de Humanidades que no usan la aplicacion institucional
NG Actualitzat per Nuria Gallart fa més de 11 anys
La Facultat de Filosofia i Lletres enguany ha començat a usar l'aplicació institucional de guies docents. Vegeu l'exemple dels estudis d'Història de l'Art
http://ddd.uab.cat/search?ln=ca&cc=procur&sc=1&p=historia+de+l%27art&f=titulacio&action_search=Cerca
N'hi ha algunes que, tanmateix, requereixen un procediment manual però són l'excepció.
Actualitzat per Anònim fa més de 11 anys
Això és molt bona notícia. Si ho entenc bé, ja existeix una aplicació que compara guies de diferents cursos i detecta canvis en la bibliografia d'una assignatura (canvis en la bibliografia o canvis en general a la guia docent?).
Ja es podria utilitzar? O caldria fer ajustaments?
Podríem obtenir un primer informe per veure si ens és útil?
Gràcies, Javier.
JP Actualitzat per Javier Planella fa més de 11 anys
A partir de ahi tenemos 2 posibilidades:
- Utilizar los ficheros .txt del DDD. Aqui la bibliografia esta dentro del fichero, sin una separacion explicita o algun indicador que permita facilmente la extraccion de esa bibliografia. Tampoco hay una estructura homogenea.
- Utilizar la aplicacion institucional. La biblografia esta en un campo de una base de datos. Ese campo contiene todas las referencias en formato texto, todas juntas. En la reunion quiero ver ejemplos y determinar si es posible separar cada referencia en un registro e implementar un algoritmo que detallo mas abajo.
Para la primera posibilidad , y una vez extraida la bibliografia de la manera mas exacta posible, se haria lo siguiente:
- pasar todo el texto a minusculas, eliminando los diacriticos.
- quedarse solo con letras y numeros
- realizar la comparacion
Para la segunda posibilidad el problema principal es que toda la biliografia esta en un solo campo de texto (aplicacion institucional) y comparar dos años implica comparar dos textos y cualquier minimo cambio (anotacion, cambio edicion, etc...) daria como resultado que la bibliografia es diferente.
Mi propuesta es normalizar el bloque de texto y obtener un registro para cada referencia, y de esta manera poder comparar mediante el algoritmo de Levenshtein que nivel de similitud existe entre cada registro. Como ventaja se obtiene que el orden de la bibliografia no tiene importancia, y se ofrece al bibliotecario una herramienta visual en la cual apoyarse en la decision de decidir si ese registro en concreto ha cambiado o no.
Un ejemplo (insisto, es solo un ejemplo muy basico de lo que se podria ofrecer al bibliotecario) esta en: http://websb.uab.cat/split/
Aqui se visualizan 2 bibliografias, la extraccion de los datos y el nivel de similitud de cada referencia con la de maxima puntuacion del año pasado, en porcentaje o coincidencia exacta.
JP Actualitzat per Javier Planella fa més de 11 anys
- S'ha afegit Fitxer 2014.txt 2014.txt
- S'ha afegit Fitxer 2013.txt 2013.txt
- S'ha afegit Fitxer asignaturas_nuevas.txt asignaturas_nuevas.txt
Ya disponemos de los ficheros .txt con la bibliografia de cada asignatura. Caracter separador "##"
Adjunto los ficheros:
2014.txt -> bibliografia curso 2014-2015
2013.txt -> bibliografia curso 2013-2014
asignaturas_nuevas.txt > asignaturas curso 2014-2015 que no existen en 2013-2014
JP Actualitzat per Javier Planella fa més de 11 anys
- S'ha afegit Fitxer 2013proces.txt 2013proces.txt
- S'ha afegit Fitxer 2014_proces.txt 2014_proces.txt
Desde la exportacion del aplicativo de Bibliografia Recomendada nos han enviado 2 ficheros:
Curso 2013-14: 2404 asignaturas
Curso 2014-15: 3189 asignaturas
Estos ficheros tienen caracteres especiales que permiten delimitar la bibliografia de cada asignatura.
Los he modificado para facilitar el tratamiento posterior, y los ficheros son:
2014_proces.txt y 2013_proces.txt
Con un desarrollo en PHP comparo los 2 ficheros mediante una aplicacion del algoritmo de Levenshtein.
El resultado se puede ver en la pagina:
http://www.bib.uab.cat/split/bibliografia_recomendada.htm
Se puede ver el codigo de la asignatura, el porcentaje de similitud del texto de 2014/2015<-->2013/2014 y el texto de la bibliografia de cada curso.
al final esta un resumen de las busquedas:
Coincidencias 100%: 1463
Asignaturas nuevas curso 2014-15: 943
JP Actualitzat per Javier Planella fa més de 11 anys
He subido la ultima version de la comparacion de bibliografias:
http://www.bib.uab.cat/split/bibliografia_recomendada.htm
la novedad es que señala con un fondo amarillo los cambios que hay entre bibliografias.
En color azul el texto que hay en "2015-2014" y no esta en "2014-2013"
En color rojo el texto que hay en "2014-2013" y no esta en "2015-2014"
En color negro el texto ha cambiado posicion
funciona bastante bien, teniendo en cuenta que el orden de las lineas de cada bibliografia puede ser diferente
La semana que viene hago las divisiones por facultades
NG Actualitzat per Nuria Gallart fa més de 11 anys
Amb el filtre per facultats ens serà molt útil. Gràcies!
FJ Actualitzat per Ferran Jorba fa més de 11 anys
- Temàtica prevista s'ha establert a Tasques bibliotecàries internes
- Paraula clau ha canviat de guies docents DDD - TDX a guies docents DDD
JP Actualitzat per Javier Planella fa més de 11 anys
Ultima versió de la comparacion de bibliografias:
http://websb.uab.cat/split/recomendada2.htm
El texto con fondo amarillo indica los cambios o novedades de 2015-2014 respecto a 2014-2013
El texto con fondo verde indica los cambios o novedades de 2014-2013 respecto a 2015-2014
- 40896
cambia el año
- European Commission (2014), Convergence Report, Brussels, BE: EC.
- European Commission (2013), Convergence Report, Brussels, BE: EC.
- 42085
mayusculas/minusculas
Evans, R.W. (1989): Teacher Conceptions of History. A Theory...
EVANS, R.W. (1989): Teacher Conceptions of History. A Theory
- 42888
espacios
- Pandey, A., Webb, C., Soccol, C.R., (aqui hay un espacio que no se visualiza en HTML) Larroche, C. “Enzyme Technology”. 2006. Springer-Verlag
- Pandey, A., Webb, C., Soccol, C.R., Larroche, C. “Enzyme Technology”. 2006. Springer-Verlag
JP Actualitzat per Javier Planella fa més de 11 anys
para la ultima version:
- comparar sin espacios y pasando a minusculas
- 100% coincidencias: posibilidad de que no se vean
- desplegable por facultad, y posteriormente por titulacion
- listado de asignaturas que hay en 2014-2013 y no en 2015-2014
JP Actualitzat per Javier Planella fa més de 11 anys
disponible ultima version:comparacion sin espacios y texto convertido a minusculas
JP Actualitzat per Javier Planella fa més de 11 anys
Ultima versión de la aplicacion:
NG Actualitzat per Nuria Gallart fa més de 11 anys
L'enllaç de la Facultat de Ciències de l'Educació em dóna error.
http://websb.uab.cat/split/trabaja.php?fac=Facultat%20de%20Ci%E8ncies%20de%20l%27Educaci%F3;
TS Actualitzat per Teresa Santos fa més de 11 anys
Si ens facilitessis una taula amb codi assignatura, codi DDD i similitud, seria molt útil per comparar d'una forma automàtica amb millennium
Actualitzat per Anònim fa més de 11 anys
Fantàstic, Javier.
A la reunió de gestió de col·lecció vàrem comentar amb tu que seria útil fer un desplegable per facultat i a sota de cada facultat per titulació. Veig que sols ho has fet per facultat.
A nivell d'informació i també de distribució de tasques, seria important saber el nombre d'assignatures que han tingut canvis i les que no, tant per facultat com per titulació.
Això es podria lligar amb el quadre que suggereix la Teresa per tenir una foto general que això ja ho fas, per facultat i per titulació.
Gràcies,
NG Actualitzat per Nuria Gallart fa més de 11 anys
Comentari per encàrrec de Francisco Silva:
Molt bo i útil l'aplicatiu. No m'he llegit les diferents actualitzacions o puntualitzacions dels companys, així que les següents consideracions no sé si les han tingut en compte o estàs treballant en això.
Són les següents:
1. Hi ha la possibilitat de fer cerques per codi d'assignatura i títol? La veritat és que recuperar la bibliografia de les guies docents a través del DDD és una mica molest i de vegades poc pràctic, cal fer diversos passos, si es pogués realitzar, ens estalviaríem molta feina.
2. Una altra cosa que podria ser interessant és que es poguessin visualitzar el professor o professors que imparteixen l'assignatura, cada any solen variar i és una forma de tenir els registres de curs actualitzats.
TS Actualitzat per Teresa Santos fa més de 11 anys
- S'ha afegit Fitxer Comparativa_Guies_docents.xlsx
Per agilitzar la feina de comprovació, de les bibliografies facilitades pel Javier, respecte millennium, jo he elaborat una comparativa. L'adjunto com a exemple, per si aquesta forma de treballar és útil per algú de vosaltres
TS Actualitzat per Teresa Santos fa més de 11 anys
- S'ha afegit Fitxer Comparativa_Guies_docents.xlsx Comparativa_Guies_docents.xlsx
Disculpeu, no us vaig adjuntar el full acabat
TS Actualitzat per Teresa Santos fa més de 11 anys
- Fitxer s'ha suprimit (
Comparativa_Guies_docents.xlsx)
JP Actualitzat per Javier Planella fa més de 11 anys
L'adreça definitiva es: http://www.bib.uab.cat/canvis_bibliografia_recomanada
Per aquest any donem l'aplicatiu per acabat. Entec que a partir d'ara la cerca per codi d'assignatura i titol ja no es farà a partir de les guies docents del DDD, sinó del resultat que dona l'aplicatiu de comparació (http://www.bib.uab.cat/canvis_bibliografia_recomanada)
La llista de professors que apareix a la guia docent no es la definitiva. No disposem de la informació completa, i no agafaria el camp professor com element de comparació.
Estaria bé que en una propera reunió de Gestió de la Colecció acordeu una llista d'actualitzacions de l'aplicatiu per tal que estigui a punt pel Setembre 2015.
Penjo l'enllaç de l'aplicatiu a la carpeta
FJ Actualitzat per Ferran Jorba fa més de 11 anys
Javier, la meva més sincera enhorabona. Ho trobo magnífic. Felicitats!
L'únic que jo suggeriria és que les adreces a les facultats fossin per codi, no per nom. Les urls del tipus http://websb.uab.cat/canvis_bibliografia_recomanada/trabaja.php?fac=Facultat%20de%20Ci%E8ncies, amb apòstrofs, accents, etc., són més difícils de llegir que http://websb.uab.cat/canvis_bibliografia_recomanada/trabaja.php?fac=105.
JP Actualitzat per Javier Planella fa aproximadament 11 anys
Taula EXCEL amb codi assignatura, codi DDD, titol assignatura, codi titulacio, nom titulacio i similitud.
s'adjuntara a cada Facultat i s'explicará a la propera reunió de gestió de la colecció.
JP Actualitzat per Javier Planella fa aproximadament 11 anys
Taula EXCEL disponible
Actualitzat per Anònim fa aproximadament 11 anys
Moltes gràcies, Javier. Aquests llistats ens aniran molt bé.
JP Actualitzat per Javier Planella fa quasi 11 anys
Aqui et mostra la bibliografia en format de taula de cadascuna de les assignatures que utlitzen l'aplicatiu de guies docents . El primer camp és el codi de l'assignatura i el segon la bibliografia.
http://apps.uab.cat/guiesbiblio/bibliografia/index
http://apps.uab.cat/guiesbiblio/bibliografia/text
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2015
TS Actualitzat per Teresa Santos fa quasi 11 anys
Com tots sabeu estem treballant en una acció de millora sorgida de la darrera auditoria. Per intentar treure un indicador fiable, avui he tingut una idea. Necessitem que el Javier posi a l'inici de cada citació del seu programa un guionet (de fet ja hi ha alguna assignatura que ho porta). Quan això estigui fet, si pots conta quants guions hi ha a cada assignatura i posa-ho a la capçalera. Posats a demanar, aquesta dada també podria estar exportada en els excels.
JP Actualitzat per Javier Planella fa més de 10 anys
Disponibles los datos para el Curso 2015-2016
JP Actualitzat per Javier Planella fa més de 10 anys
Actulizados los datos a fecha 5/10/2015
Se hace una nueva carga y tratamiento de los datos de http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2015
Los datos estan disponibles en:
http://www.bib.uab.cat/canvis_bibliografia_recomanada/
Los datos de la carga del mes de Julio estan disponibles en:
http://www.bib.uab.cat/canvis_bibliografia_recomanada_juliol/
JP Actualitzat per Javier Planella fa més de 10 anys
- S'ha afegit Fitxer Extract_Final_DDD.xlsx Extract_Final_DDD.xlsx
Actualitzat dades a 19/10/2015
Adjunt Excel amb la correlació entre assignatura, facultat i titulació. Útil per aquelles assignatures que tenen mes d'una titulació i/o facultat asignades (Extract_Final_DDD.xlsx)
CA Actualitzat per Cristina Azorin fa més de 10 anys
- Categoria s'ha establert a Gestió de la col·lecció
JP Actualitzat per Javier Planella fa més de 10 anys
- Estat ha canviat de Creada a Tancada
JP Actualitzat per Javier Planella fa més de 9 anys
- Estat ha canviat de Tancada a En curs
Actualizar la informacion con las bibliografias recomendadas del curso 2016-2017
Actualitzat per Anònim fa més de 9 anys
Javier, quina previsió tens d'executar l'aplicació de comparació de la bibliografia entre les guies docents 16/17 i 15/16?
Veiem que ara ja n'hi ha aproximadament la meitat i ens interessaria començar-hi a treballar. Gràcies.
JP Actualitzat per Javier Planella fa més de 9 anys
En la direccion:
http://websb.uab.cat/canvis_bibliografia_recomanada/curso_2016_2017.htm
esta la primera extracción y comparativa del curso 2016-2017 y 2015-2016. De momento solo esta el codigo de asignatura. Teresa Santos enviara a principio de la semana que viene datos para poder separar por facultades y obtener el resto de datos: codi_ddd,codi_assignatura,nom assignatura, codi_facultat,nom_facultat,codi_titulacio, nom titulacio.
TS Actualitzat per Teresa Santos fa més de 9 anys
- S'ha afegit Fitxer Export_DDD_18_6_16.xlsx
Faig extracció de dades del DDD perquè el Javier pugui fer l'excel amb la divisió per assignatures
TS Actualitzat per Teresa Santos fa més de 9 anys
- S'ha afegit Fitxer Export_DDD_19_6_16.xlsx Export_DDD_19_6_16.xlsx
TS Actualitzat per Teresa Santos fa més de 9 anys
Informació sobre els procediments que seguim per gestionar la Bibliografia de Curs
Quan el Javier ja té extreta la informació actualitzada, cal exportar dades de millennium perquè pugui fer els excels que ens ajudaran a gestionar la feina
Des del ddd, i situats a la col•lecció “Guies docents” cal cercar pel camp –*any*- amb l’estructura correcte (2016-17), una vegada aconseguit el subconjunt, aplicarem la següent ordre al DDD:
https://ddd.uab.cat/search?ln=ca&cc=procur&p=2016-17&f=year&action_search=Cerca&c=procur&c=&sf=&so=d&rm=&rg=2893&sc=1&of=tm&ot=001,2451%9,2451%a,710%%9,710%%a,740%%9,740%%a
on rg és el total de documents a exportar
Una vegada passats per https://ddd.uab.cat/marc2csv.py cal treballar-ho una mica i passar un excel net i ben tabulat al Javier
Les columnes han de portar el següents títols:
codi_ddd,codi_assignatura,nom assignatura, codi_facultat,nom_facultat,codi_titulacio, nom titulacio
JP Actualitzat per Javier Planella fa més de 9 anys
Control de canvis en la Bibliografia recomanada Curs 2016-2017:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2016_2017/
Las direcciones de los datos del curso anterior han cambiado a:
Control de canvis en la Bibliografia recomanada Curs 2015-2016
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2015_2016/
Control de canvis en la Bibliografia recomanada Curs 2015-2016 (Juliol)
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada__curs_2015_2016_juliol/
JP Actualitzat per Javier Planella fa més de 9 anys
- Fitxer s'ha suprimit (
Export_DDD_18_6_16.xlsx)
JP Actualitzat per Javier Planella fa més de 9 anys
- S'ha afegit Fitxer Bibliografia recomenada.docx
Datos actualizados a 21 de Julio de 2016
Assignatures curs 2016-2017: 2914
Assignatures curs 2015-2016: 3296
Coincidencias 100%: 1830
Control de canvis en la Bibliografia recomanada Curs 2016-2017:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2016_2017/
Adjunto fichero con la documentacion de todo el preceso tecnico. El fichero original esta en:
n:\UTP-TECNOLOGIA\TEC_d_documentacio_procesos\Bibliografia recomenada.docx
TS Actualitzat per Teresa Santos fa més de 9 anys
- S'ha afegit Fitxer Guies_Docents_27_09_16.xlsx Guies_Docents_27_09_16.xlsx
JP Actualitzat per Javier Planella fa més de 9 anys
Realizar de nuevo el proceso:
en Julio: Assignatures curs 2016-2017: 2914
en setiembre: Assignatures curs 2016-2017: 3341
Teresa Santos indica que este curso una asignatura puede estar en varias titulaciones, ejemplo:
codi assignatura:100622
Codi_Nom_Titulació: 2500248, Llengua i literatura espanyoles ; 2501801, Estudis de Català i Espanyol ; 2501802, Estudis d'Espanyol i de Clàssiques ; 2501857, Estudis de Francès i Espanyol ; 2501910, Estudis d'Anglès i Espanyol
JP Actualitzat per Javier Planella fa més de 9 anys
Datos actualizados con la nueva importacion:
Assignatures curs 2016-2017: 3340
Assignatures curs 2015-2016: 3296
Coincidencias 100%: 1779
Control de canvis en la Bibliografia recomanada Curs 2016-2017:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2016_2017/
JP Actualitzat per Javier Planella fa més de 9 anys
Teresa Santos indica:
en el DDD hay 3470 guias docentes:
http://ddd.uab.cat/search?ln=ca&cc=procur&sc=1&p=2016-17&f=year&action_search=Cerca&ListeUrl=
y en aplicacion de control de cambios hay 3340.
Los datos de la aplicacion los descarga desde la pagina:
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2016
y a fecha de hoy sigue habiendo 3340
JP Actualitzat per Javier Planella fa més de 9 anys
- S'ha afegit Fitxer comparativa asignaturas DDD_web_app.xlsx comparativa asignaturas DDD_web_app.xlsx
Comparativa entre los codigos de asignaturas del DDD y la pagina apps.uab.cat
JP Actualitzat per Javier Planella fa més de 9 anys
- Estat ha canviat de En curs a Tancada
Amb l'informació que hi ha les biblioteques poden treballar
TS Actualitzat per Teresa Santos fa quasi 9 anys
- Estat ha canviat de Tancada a En curs
Idea per veure si podem comptabilitzar els títols de llibres per assignatura. Comptar tot el que sigui 4 xifres ex. 2014 i afegir en el resum de cada assignatura
JP Actualitzat per Javier Planella fa més de 8 anys
Teresa Santos demana actualització de les dades del Curs 2017-2018
TS Actualitzat per Teresa Santos fa més de 8 anys
- Prioritat ha canviat de Normal a Alta
TS Actualitzat per Teresa Santos fa més de 8 anys
- S'ha afegit Fitxer Distribució_Facultats2017_1.xlsx
A dia (10/07/2017) hi ha 1481 guies docents al DDD del pròxim curs. Adjunto excel d'aquestes, ordenat per codi de facultat.
TS Actualitzat per Teresa Santos fa més de 8 anys
- Fitxer s'ha suprimit (
Distribució_Facultats2017_1.xlsx)
TS Actualitzat per Teresa Santos fa més de 8 anys
- S'ha afegit Fitxer Distribució_Facultats2017_1.xlsx Distribució_Facultats2017_1.xlsx
JP Actualitzat per Javier Planella fa més de 8 anys
- Fitxer s'ha suprimit (
Bibliografia recomenada.docx)
JP Actualitzat per Javier Planella fa més de 8 anys
- S'ha afegit Fitxer Bibliografia recomenada.docx Bibliografia recomenada.docx
Control de canvis en la Bibliografia recomanada Curs 2017-2018:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2017_2018/
Assignatures curs 2017-2018: 2959
Assignatures curs 2016-2017: 3340
Coincidencias 100%: 1526
Control de canvis en la Bibliografia recomanada Curs 2016-2017:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2016_2017/
Assignatures curs 2016-2017: 3340
Assignatures curs 2015-2016: 3296
Coincidencias 100%: 1779
TS Actualitzat per Teresa Santos fa més de 8 anys
- S'ha afegit Fitxer Distribució_Facultats2017_2.xlsx Distribució_Facultats2017_2.xlsx
Extracció de noves dades del DDD. A dia (17/07/2017) hi ha 3000 guies docents al DDD del pròxim curs. Adjunto excel de les noves incorporacions, ordenat per codi de facultat.
JP Actualitzat per Javier Planella fa més de 8 anys
- Paraula clau ha canviat de guies docents DDD a guies docents DDD TLT
Actualitzada la comparativa amb les noves dades:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs_2017_2018/
TS Actualitzat per Teresa Santos fa més de 8 anys
Extracció de noves dades del DDD. A dia (21/07/2017) hi ha 3043 guies docents al DDD del pròxim curs. Adjunto excel amb la totalitat de guies
TS Actualitzat per Teresa Santos fa més de 8 anys
- S'ha afegit Fitxer Distribució_Facultats2017.xlsx Distribució_Facultats2017.xlsx
JP Actualitzat per Javier Planella fa més de 8 anys
- Estat ha canviat de En curs a Tancada
JP Actualitzat per Javier Planella fa més de 8 anys
- Estat ha canviat de Tancada a En curs
TS Actualitzat per Teresa Santos fa més de 8 anys
- S'ha afegit Fitxer BibCurs_Dif_AplicatiuJavier_DDD.xlsx BibCurs_Dif_AplicatiuJavier_DDD.xlsx
Aquí teniu un fitxer amb les assignatures que hi són al DDD, però no a l'aplicatiu del Javier. A les alçades que estem de curs, valoreu si podeu fer aquesta feina de forma manual o espereu que ell torni a executar tot el procés.
JP Actualitzat per Javier Planella fa quasi 8 anys
Per veure totes les facultats:
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/facultat.php?fac=
Sota "Enllaços http: 0"
posar un contador de lineas (<br>) per tal de tenir una aproximació de referencies bibligrafiques per asignatura
Afegir possiblitat d'exportar les dades a pantalla o a excel
Per al curs 2018-19 a partir de les dades del DDD:
https://ddd.uab.cat/search?ln=ca&cc=procur&sc=1&p=2017-18&f=year&action_search=Cerca&ListeUrl=
i de les dades bibliografics dels docents:
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2016
automatizar el proces de generació de dades per tal de generar les comparacions automaticament cada setmana, guardan totes les dades de les anteriors setmanes
Automatizar el punt 4) de Comparativa_Guies_docents.xlsx a traves del DDD per tal de que Teresa Santos no hagi d'enviar el fitxer Excel cada vegada
TS Actualitzat per Teresa Santos fa quasi 8 anys
He consultat amb en Ferran, com poder obtenir una llista de les noves guies docents que s’aniran incorporan al DDD, una vegada comenci la nova campanya
Tenim dues opcions:
- per rang de dates
https://ddd.uab.cat/collection/procur?ln=ca&as=1
- per rang de número de registre
https://ddd.uab.cat/search?ln=ca&cc=procur&sc=1&p=recid%3A190153-%3E999999
Agafant com exemple la darrera opció, la nostra cerca per poder destriar per biblioteca seria:
Amb això perseguim que les biblioteques tinguin un fluxe de treball més àgil
JP Actualitzat per Javier Planella fa quasi 8 anys
Per obtenir les dades:
codi_ddd,codi_assignatura,nom assignatura, codi_facultat,nom_facultat,codi_titulacio, nom titulacio
autenticar al DDD i URL:
https://ddd.uab.cat/search?ln=ca&cc=procur&p=2017-18&f=year&action_search=Cerca&c=procur&c=&sf=&so=d&rm=&rg=5000&sc=1&of=tm&ot=001,245,710%9,710%b
ejemplo:
000183826 001 _ 183826
000183826 245 _ $9 43403 $a Metodologies i Eines de Recerca
000183826 710 _ $9 105
000183826 710 _ $b Facultat de Ciències de la Comunicació
001 --> codigo DDD
245 $9 --> codigo asignatura
245 $a --> nombre asignatura
710 $9 --> codigo facultat
710 $b --> nombre facultat
740 $9 --> codigo titulacio
740 $a --> nombre titulacio
JP Actualitzat per Javier Planella fa quasi 8 anys
Per automatitzar la comparació de guies docents:
1) Des de el servidor taltabull (DDD de proves) es processa la pagina:
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2018
de tal manera que s'obté els identificadors únics del codi de assignatura
El resultat es pot fer cada dia, cada setmana...., i s'envia un fitxer que conté les dades (codis assignatures) al servidor de Biblioteques:
https://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/2018-2019asig.txt
2) Des de el servidor de Biblioteques s'executa:
https://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/pre_procesa.php
que pre-procesa la pagina:
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2018
per obtenir un fiter "2018-2019.txt" que conté les dades "netejades"
3) Des de el servidor de Biblioteques s'executa:
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/procesa.php
que processa les dades del curs actual i anterior::
2017-2018.txt
2017-2018asig.txt
2018-2019.txt
2018-2019asig.txt
per obtenir la pàgina:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/dades.php
4) Falta una taula amb les dades:
codi_ddd,codi_assignatura,nom assignatura, codi_facultat,nom_facultat,codi_titulacio, nom titulacio
Per tal de filtrar per Facultat i obtenir mes dades
Aquesta taula es te que importar de (validant al DDD per limitació de registres):
https://ddd.uab.cat/search?ln=ca&cc=procur&p=2017-18&f=year&action_search=Cerca&c=procur&c=&sf=&so=d&rm=&rg=5000&sc=1&of=tm&ot=001,245,710%9,710%b
o bé directament des de registres.txt, encara per valorar que es millor
Tots el passos son automàtics per obtenir:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/dades.php
JP Actualitzat per Javier Planella fa més de 7 anys
Com a novetat d'aquest any es generara una carrega de dades cada dilluns, i un excel diferent cada dilluns.
D'aquesta manera les biblioteques podran controlar les diferencies de les noves guies que van entrant semanalment.
JP Actualitzat per Javier Planella fa més de 7 anys
Ya esta disponible la primera carga de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
El proceso que se usa es el siguiente:
Se cargan los datos de bibliografia recomendada desde: apps.uab.cat
Se cruzan los datos con los que hay en el DDD
Se generan los resultados: estadisticas, comparacion con colores, excels...
Este proceso se ira realizando periodicamente, y como novedad de este año en los excel generados por la aplicacion se van a poder visualizar los cambios en cada asignatura que se han introducido en la aplicacion apps.uab.cat
Ejemplo de excel generado con dos cargas a 5 de Julio y 6 de Julio:
| codi_assignatura | codi_ddd | nom_assignatura | codi_titulacio | nom_titulacio | similitud | 05/07/2018 | 06/07/2018 |
|---|---|---|---|---|---|---|---|
| 42449 | 191524 | Narratives i Imaginaris Col·lectius | 4313227 | Periodisme | 83.39 | nova | diferent |
| 103078 | 191555 | Literatura Catalana Contemporània | 2501933 | Periodisme | 72.86 | nova | igual |
| 103080 | 191136 | Pràcticum | 2501933 | Periodisme | 100 | nova | igual |
| 103591 | 191068 | Comunicació Política, Democràcia i Opinió Pública | 2501933 | Periodisme | 78.59 | nova | igual |
| 103860 | 190897 | Comunicació Política | 2501933 | Periodisme | 97.87 | nova | igual |
| 99999 | 191524 | Narratives i Imaginaris Col·lectius | 4313227 | Publicitat i Relacions Públiques | 0 | nova |
En las columnas 05/07/2018 y 06/07/2018:
nova: la asignatura no existia en la carga anterior
igual: no ha habido ningun cambio en la asignatura desde la ultima carga
diferent: ha habido cambios en la asignatura desde la ultima carga
Detalle del proceso tecnico:
Des de el servidor Mompou:
ddd@mompou:~/bin$ sh bibliografies.sh
Aquest script processa la pagina:
http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2018
i envia al Servidor de Biblioteques 3 fitxers:
2018-2019asig.txt -> assignatures curs 2018-2019
2018.txt -> http://apps.uab.cat/guiesbiblio/bibliografia/text?any=2018 en format .txt
dades.txt -> llistat amb :
codi_ddd,codi_assignatura,nom assignatura, codi_facultat,nom_facultat,codi_titulacio, nom titulacio
El resultat es pot programar per fer cada dia, cada setmana....
Desde el servidor de bibliotecas:
la primera vez:
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/pre_procesa.php
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/procesa.php (ejecutar todas la veces hasta que acabe, de 300 en 300)
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/pre_procesa2.php (fecha de proceso)
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/carga_datos.php
segunda vez:
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/pre_procesa.php
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/pre_procesa2.php (fecha de proceso)
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/procesa.php (ejecutar todas la veces hasta que acabe, de 300 en 300)
http://websb.uab.cat/serveis/canvis_bibliografia_recomanada_curs/carga_datos.php
Para obtener las paginas:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/dades.php
TS Actualitzat per Teresa Santos fa més de 7 anys
Per seguir agilitzant la feina, afegirem els altres nom de professors que figuren a les guies docents. Com a titular figurarà el coordinador de l'assignatura que en el DDD es troba sota l'etiqueta 100, els altres professors es troben sota les 700
L'exportació ha de ser aquesta:
JP Actualitzat per Javier Planella fa més de 7 anys
Disponible la segunda carga de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 17 de Julio:
Assignatures curs 2018-2019: 3042
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1594
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
Nota importante:
Las siguientes asignaturas estaban disponibles en la carga de 5 de Julio pero no en la del 17 de Julio:
42405 Ecologia Industria - Facultat de Ciències
42407 Fonaments d'Economia Ecològica - Facultat de Ciències
100481 sense_assignar
103268 Ciència i Tecnologia dels Aliments - Facultat de Veterinària
43815 Treball de Final de Màster - Facultat de Filosofia i Lletres
43848 Bases de Dades - Facultat de Filosofia i Lletres
43880 sense_assignar
JP Actualitzat per Javier Planella fa més de 7 anys
Disponible la segunda carga de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 30 de Julio:
Assignatures curs 2018-2019: 3178
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1681
Datos a 17 de Julio:
Assignatures curs 2018-2019: 3042
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1594
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
JP Actualitzat per Javier Planella fa més de 7 anys
Añadidos todos los profesores que aparecen en las guias docentes.
Como "titular" figura el coordinador de la asignatura, etiqueta 100 del DDD
Como "Altres professors", etiquetas 700 del DDD
ejemplo:
Codi assignatura: 43767
Codi DDD: 193795
Nom assignatura: Metodologia de Recerca
Codi titulació: 4315970
Nom titulació: 4315970
Facultat: Facultat de Traducció i d'Interpretació
Titular: Presas Corbella, Lluïsa
Altres professors:
Sánchez Gijón, María Pilar
Torres Hostench, Olga
Similitud: 97.98%
Enllaços http: 0
JP Actualitzat per Javier Planella fa més de 7 anys
Disponible una nueva carga (la numero 4) de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 28 de Septiembre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 30 de Julio:
Assignatures curs 2018-2019: 3178
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1681
Datos a 17 de Julio:
Assignatures curs 2018-2019: 3042
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1594
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
JP Actualitzat per Javier Planella fa més de 7 anys
Disponible una nueva carga (la numero 5) de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 8 de Octubre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 28 de Septiembre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 30 de Julio:
Assignatures curs 2018-2019: 3178
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1681
Datos a 17 de Julio:
Assignatures curs 2018-2019: 3042
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1594
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
JP Actualitzat per Javier Planella fa més de 7 anys
Disponible una nueva carga (la numero 6, para reubicar todas aquellas asignaturas que estaban quedando sin asignar a una facultat) de los datos de Bibliografia recomendadada Curso 2018-19:
http://www.bib.uab.cat/serveis/canvis_bibliografia_recomanada_curs/index.php
y en la carpeta, "Bibliografia recomenada"
https://lacarpeta.uab.cat/group/guest/aplicacions
Datos a 17 de Octubre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 8 de Octubre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 28 de Septiembre:
Assignatures curs 2018-2019: 3438
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1814
Datos a 30 de Julio:
Assignatures curs 2018-2019: 3178
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1681
Datos a 17 de Julio:
Assignatures curs 2018-2019: 3042
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 1594
Datos a 5 de Julio:
Assignatures curs 2018-2019: 1224
Assignatures curs 2017-2018: 3369
Coincidencias 100%: 574
JP Actualitzat per Javier Planella fa més de 7 anys
- Estat ha canviat de En curs a Tancada
Tanco la tasca, l'any que ve tornar-la a obrir amb noves dades
JP Actualitzat per Javier Planella fa més de 6 anys
- S'ha afegit relacionat amb Tasca #5404: Comparació automatitzada de les Bibliografies de Curs 2019-20