병합 dataframe 메모리 효율 문제 팬더

Question

내 코드

merging files based on column coordinates of two files in python

하지만 내 시스템은 단지 (나는 ~ 315,000 라인을 가지고 있기 때문에 될 수있다) 동결, 더 좋은 방식이 정확한 명령을 사용하려고 이 작업을 수행?

이

new_df = df.merge(gene_df, how='outer', on ='chrm') 
new_df = new_df[(new_df.start_x>=df.start_y) & (df.end_x<=df.end_y)] 
print (new_df.head(10)) 

Answer 1

단순히 new_df 필드를 사용 : 은 아래에있는 내 코드입니다. 논리는 이전에 병합 된 원래 df의 필드를 사용합니다. 조심스럽게, 링크 된 질문을보십시오. 데이터 프레임에 걸친 이러한 논리는 실행하기가 어려울 것입니다!

new_df = new_df[(new_df.start_x >= new_df.start_y) & (new_df.end_x <= new_df.end_y)]