2016-11-29 1 views
0

나는이 웹 스크래핑 스크립트가 제대로 작동하도록 노력해 왔으며 다음에 무엇을 시도해야할지 확신하지 못했습니다. 여기에있는 누군가를 바라는 것은 내가해야 할 일을 알고 있습니다.Python BS4 스크래핑 스크립트 타이머

BS4를 사용하고 있는데 URL을로드하는 데 오랜 시간이 걸릴 때마다 페이지로드 시간이 많은 시간대에 입력이 적은 출력 파일이 남게됩니다. 나는 그것이 x 초에로드되지 않는 경우에만 URL을 건너 뛸 수 있도록 타이머를 추가하려고했습니다.

누구나 올바른 방향으로 나를 가리킬 수 있습니까?

감사합니다.

답변

0

멀티 스레드 또는 멀티 프로세싱을 사용하여 스레드를 생성하려고하면 모든 요청에 ​​대해 스레드가 생성되고 너무 오래 걸리면 URL을 건너 뛰지 않을 것이라고 생각합니다.