Accions
Tasca #5578
tancat
FJ
JP
Continuar amb la càrrega de PubMed malgrat els errors de connexió
Tasca #5578:
Continuar amb la càrrega de PubMed malgrat els errors de connexió
Estat:
Tancada
Prioritat:
Normal
Assignat a:
Categoria:
Suport a docència i recerca
Temàtica prevista:
Inici:
03-02-2020
Data de venciment:
Paraula clau:
Descripció
Avui m'he fixat que no tenim càrregues de PubMed del 2019, ni per tant tampoc del 2020. Mirant què havia passat, he vist que esporàdicament, hi ha un error de connexió:
[...]
pmids de la UAB a Pubmed 2014: 2219
[...]
PMC4251302
PMC3930022
PMC6985639
Traceback (most recent call last):
File "/home/ddd/bin/pubmed2ddd.py", line 133, in <module>
main()
File "/home/ddd/bin/pubmed2ddd.py", line 127, in main
download_pubmed(year, force=force)
File "/home/ddd/bin/pubmed2ddd.py", line 104, in download_pubmed
pdf = requests.get(url, headers=user_agent_headers).content
File "/home/ddd/.local/lib/python2.7/site-packages/requests/api.py", line 75, in get
return request('get', url, params=params, **kwargs)
File "/home/ddd/.local/lib/python2.7/site-packages/requests/api.py", line 60, in request
return session.request(method=method, url=url, **kwargs)
File "/home/ddd/.local/lib/python2.7/site-packages/requests/sessions.py", line 533, in request
resp = self.send(prep, **send_kwargs)
File "/home/ddd/.local/lib/python2.7/site-packages/requests/sessions.py", line 668, in send
history = [resp for resp in gen] if allow_redirects else []
File "/home/ddd/.local/lib/python2.7/site-packages/requests/sessions.py", line 247, in resolve_redirects
**adapter_kwargs
File "/home/ddd/.local/lib/python2.7/site-packages/requests/sessions.py", line 646, in send
r = adapter.send(request, **kwargs)
File "/home/ddd/.local/lib/python2.7/site-packages/requests/adapters.py", line 498, in send
raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('No status line received - the server has closed the connection',))
#filename = pmc_11940458.pmc
Com que el shell script crida el programa Python passant-li com a paràmetre tots els anys des del 2000 fins l'actual, si hi ha un error de connexió, el programa peta i ja no en processa cap més. Avui, per exemple, ha petat el 2014.
Cal fer que el programa no peti per un error de connexió, i que continuï endavant amb els següents articles.
Accions