prxoy 목록과 bash 스크립트의 다중 스레드로 wget \ curl 사용하기

Question

Linux에서 bash 스크립트를 작성하는 것이지만 스크립트의 대상은 URL 목록을 가져 와서 다운로드하는 것입니다. 그래서 스크립트와 작품을 썼지 만 문제는 모든 URL이 동일한 웹 사이트에서 왔기 때문에 각 URL이 끝난 후 5 분 동안 잠을 자면 많은 시간이 걸릴 뿐이므로 프록시 목록을 사용하고 싶었습니다. 프록시 목록에 프록시 IP를 다운로드하는 스크립트를 만들었지 만 이제는이 상황에서 가장 좋은 방법은 무엇인지 이해하려고 시도합니다. 다중 스레드를 만들고 프록시 목록을 사용하여 다운로드하려고하지만 프록시가 가능하면 건너 뛸 수 있습니다. 다운로드 할 때 이미 프록시 목록을 확인하고 이미 다운로드 한 경우 파일을 건너 뛸 수 있습니다.

Answer 1

이 내 맥 에서 작동 할

주셔서 감사합니다 도움과 제안을 많이 .. 목록에 넣어, 우리가 List.txt 파일을 호출 할 수 있습니다, 그것은 이름과 URL mydoc.pdf이있을 것이다 http://www.domesite/xyz/xyzdoc.pdf

cat list.txt | while read name url 
do 
curl $url > $name & 
echo $! >> active.list.tmp 
done 


while [ $(ps -ao pid | grep -c -f active.list.tmp) -ne 0 ] 
do 
sleep 1 
done 

echo done 
rm active.list.tmp