Android의 SD 카드에 저장된 대용량 파일 (50MB ~ 100MB)을 읽는 데 걸리는 시간의 아이디어 (야구장)를 얻고 싶습니다. Google Nexus One에서 Android 2.3.3에서 다음 코드를 사용하고 있습니다. 이것은 합리적인 견적을 줄 수 있습니까? 내가 사용해야하는 표준 방법이 있습니까? 또한 기본 코드를 사용하면 파일 I/O 성능
저는 소수의 Python 스크립트 (최대 1M)와 상대적으로 큰 데이터 세트 (1.5GB)로 구성된 공동 연구 프로젝트를 진행하고 있습니다. 데이터 세트 자체는 과학이고 스크립트는 간단한 인터페이스이기 때문에 데이터 세트는 파이썬 스크립트와 밀접하게 연결됩니다. 소스 제어 도구로 Mercurial을 사용하고 있지만 리파지토리를 정의하는 좋은 메커니즘이 명확
일부 로그 회전 솔루션을 아직 설정하지 않았으므로 특정 날짜부터 일부 정보를 찾아야하는 3GB (3 천 8 백만 라인) 로그 파일이 있습니다. 고양이를 사용하여 | grep은 끔찍하게 느리고 현재 사용중인 편집기 (Large Text File Viewer)를 사용하는 것이 천천히 진행됩니다. 궁금합니다. 3 천 5 백만 회선 로그 파일을 볼 때 잘 작동하는
10 억 개의 행이있는 .csv 파일이 있습니다. 각 행이 고유한지 확인하고 싶습니다. 이 작업을 수행하는 쉬운 방법이 있습니까? 아마도 mysql으로 가져 오는 것이 내가 독창성을 빨리 발견 할 수있을 것이라고 생각했다. 이 거대한 파일을 mysql에 어떻게 업로드 할 수 있습니까? 나는 이미 row-by-row insert 문과 'LOAD DATA IN
각각 약 10-15GB 압축 된 각각 약 30 개의 gzip-ed 텍스트 파일을 병합해야합니다. 각 파일에는 여러 줄 레코드가 들어 있으며 각 레코드는 동일한 키순으로 정렬됩니다. 파일은 NFS 공유에 있으며 여러 노드에서 액세스 할 수 있으며 각 노드에는 자체 파일 시스템 /tmp이 있습니다. 그것에 대해 가장 빠른 방법은 무엇입니까? 몇 가지 가능한 솔
매우 큰 파일 (예 :> 1GB)이 있고 그 중간에 하나의 문자를 추가하고 싶다고합니다. 전체 파일을 읽고 쓰지 않고도이 작업을 수행 할 수 있습니까? 나의 현재 솔루션 (의사 코드에서) 이것이다 : x = 0
chunk = read 4KB chunk x of input file
if chunkToEdit = x, chunk = addCharacter(
나는이 모든 잘못에 대해 갈 수도 있지만 여기에 내 문제와 제안 된 솔루션이 있습니다. 매우 빠르게 처리해야하는 수억 개의 독립적 인 레코드가있는 50GB 이상의 파일이 있습니다. 현재의 솔루션은 시간당 7 천 4 백만 레코드를 얻고 있습니다. I/O 스레드에 대해 차단 대기열을 사용 중이며 각 작업자 스레드는이 대기열에서 데이터 청크를 가져 오려고 시도합
우리는 상당히 큰 파일을 가지고 있는데, 생성 된 그래프로 표시되기로되어있는 csv로 쉽게 파싱 할 수있는 원시 데이터와 함께 1-1.5GB의 순서 (대개 로그 파일)가 합쳐집니다. 그래프 이미지 세트. 현재 우리는 원시 데이터를 csv 파일로 변환하기 위해 bash 스크립트를 사용하고 있습니다. 숫자를 그래프로 표시해야하며 gnuplot 스크립트에 입력해