여러 스레드에서 팬더 데이터 프레임

Question

파이썬에서 팬더 데이터 프레임에 데이터를 추가하는 방법을 누군가가 알려줄 수 있습니까? 여러 스레드가 데이터를 데이터 프레임에 추가해야하는 기능을 사용하려고합니다 ...?

내 코드가 URL의 데이터를 긁은 다음 df.loc [index] ... 을 사용하여 데이터 프레임에 스크래핑 된 행을 추가했습니다.

기본적으로 각 스레드에 각 URL을 할당하는 멀티 스레드를 시작했습니다. 따라서 많은 페이지가 한 번에 긁어 모으고 있습니다 ...

데이터 프레임에 이러한 행을 어떻게 추가합니까?

Answer 1

데이터 프레임에 행을 하나씩 추가하는 것은 좋지 않습니다. 목록에 데이터를 작성한 다음 마지막에 해당 목록을 결합한 다음 전체 데이터 집합 끝에 한 번만 DataFrame 생성자를 호출하는 것이 좋습니다.

예 :

# help from http://stackoverflow.com/a/28463266/3393459 
# and http://stackoverflow.com/a/2846697/3393459 


from multiprocessing.dummy import Pool as ThreadPool 
import requests 
import pandas as pd 


pool = ThreadPool(4) 

# called by each thread 
def get_web_data(url): 
    return {'col1': 'something', 'request_data': requests.get(url).text} 


urls = ["http://google.com", "http://yahoo.com"] 
results = pool.map(get_web_data, urls) 


print results 
print pd.DataFrame(results)