2013-08-01 2 views
0

저는 파이썬에 상당히 익숙합니다.이 문제를 해결하는 가장 좋은 방법은 무엇인지 모르겠습니다. 400 000 행의 데이터가 있고 각 행에 21 개의 열이있는 텍스트 파일이 있습니다. 내가 원하는 작업은 위도와 경도 인 행 4와 5로 데이터를 분류하거나 정렬하는 것입니다. 정렬 된 데이터를 저장하거나 추가 (예 : 변수 또는 빈 배열)하여 추가 처리를 위해 정렬 된 데이터를 추출 할 수 있습니다. 먼저 데이터를 가져와야하며 가장 좋은 방법은 무엇인지 알 필요가 없습니다.파이썬의 특정 행을 기준으로 데이터 가져 오기 및 정렬

개요 :

  1. 가져 오기 텍스트 파일 데이터?
  2. 가 (빈, 빈 배열, 또는 변수) 데이터를 분류
  3. 스토어 특정 키에 조작에 대한 배열 또는 행렬에
  4. 분류를 변환
+0

열의 구분은 어떻게됩니까? 우리가 작업 할 데이터 파일의 몇 줄을 게시 할 수 있습니까? –

+0

메모리 문제가 발생할 수도 있으므로 조작을 위해 한 번에 특정 청크를 메모리에로드 할 수 있도록 어떤 조작이 필요한지 알 필요가 있습니다. – Stephan

+0

공간 구분 기호가 있지만 필요한 경우 CSV로 전송할 수 있습니다. 제 계획은 데이터의 3 분의 1 만 시작하는 것입니다. 불행히도 나는 어떤 데이터도 게시 할 수 없을 것이다. –

답변

0

내가보기 엔이의 팬더 라이브러리를 사용하는 것이 좋습니다 것입니다, 파일을 쉽게 가져 와서 데이터 프레임으로 변환 한 다음 두 줄로 정렬 할 수 있습니다. http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.sort.html 파일을 CSV 파일로 변환 할 수 있다면 dataframe = pandas.read_csv(file)처럼 쉽게 파일을 변환 할 수 있습니다. 그런 다음 파일을 다시 저장할 수 있습니다. dataframe.to_csv(file)

관련 문제