large-files

1열

4답변

<item> </item> 태그 사이의 문서 및 속성을 설명하는 잘못된 형식의 XML이 포함 된 큰 파일 (~ 50MB)이 있으며 은 모든 영어 문서에서 텍스트를 추출합니다. 파이썬의 표준 XML 구문 분석 유틸리티 (dom, sax, expat)는 잘못된 형식을 고수하고 용서 라이브러리 (sgmllib, BeautifulSoup)는 전체 파일을 구문 분석

2열

6답변

하나의 큰 파일에서 읽고 많은 (수십, 수백 또는 수천) 파일을 Java로 작성 하시겠습니까?

메시지 유형별로 약 6,000 개의 파일로 구문 분석하려는 작은 메시지의 큰 파일 (압축 된 4-5GB)이 있습니다. 메시지는 작습니다. 유형에 따라 5 ~ 50 바이트가 있습니다. 각 메시지는 고정 크기 유형 필드 (6 바이트 키)로 시작합니다. '000001'유형의 메시지를 읽으면 에 을 쓰면 페이로드가 000001.dat에 추가됩니다. 입력 파일에는

8열

4답변

Java로 ZIP에서 큰 파일을 압축하려면

Java 클래스 ZipOutputStream을 통해 하나의 Big 파일 (~ 450 Mbyte)을 압축해야합니다. 이 큰 치수 때문에 JVM 힙 공간의 "OutOfMemory"오류가 발생합니다. 이것은 "zos.write (...)"메서드가 압축하기 전에 내부 바이트 배열로 압축 할 모든 파일 내용을 저장하기 때문에 발생합니다. origin = new

0열

2답변

ftp를 사용하는 원격 Java 프로그램 실행, 원격 시스템의 매우 큰 데이터 세트 - 데이터 대 프로그램 대 프로그램 데이터

Java 기반 애플리케이션을 개발 중입니다. 해당 요구 사항은 아래에 나열되어 있습니다. 큰 데이터 세트는 네트워크상의 여러 컴퓨터에 있습니다. 내 프로그램은 자바 프로그램을 실행하여 이러한 데이터 세트를 처리하고 결과를 가져와야합니다. Windows 바탕 화면의 사용자는 컴퓨터 A에서 데이터 세트 (여러 기가)를 처리해야합니다. 사용자의 컴퓨터. 그는 자

0열

2답변

대용량 파일을 관리하기위한 빠른 'C'라이브러리

내 PC에 연결된 다른 장치에서 스트리밍되는 (800Mb/s) 대용량 데이터 (> 500GB)를 저장해야합니다. 속도는 데이터베이스의 사용을 배제합니다. MySQl/ISAM과 내가 매우 큰 파일을 쓸 수있게 해주는 'C'stdio 파일 lib (즉, fopen/fclose/fwrite)의 맨 위에있는 빠르고 가벼운 라이브러리를 찾고있다. (사용 가능한 디스

2열

1답변

wxTextCtrl의 텍스트 표시 속도가 느린 이유는 무엇입니까?

나는 wxTextCtrl을 가지고 있으며 매우 큰 문자열을 넣어야합니다. (15 MB 문자열처럼) 유일한 문제는 매우 느립니다. 내가하는 일은 다음과 같습니다. char * buff = ... wxString data(buff, wxConvUTF8); text->ChangeValue(data); 그러나 이것은 병목 현상이 아닙니다. 이 코드 블록이

4열

3답변

큰 파일을 어떻게 읽습니까?

java로 파일을 읽는 데 문제가 있습니다. 절대적으로 거대한 (2,5G)이며 내 기억을 조정해도 도움이되지 않습니다. 데이터는 한 줄에 모두 있으므로 한 번에 한 줄씩 읽을 수 없습니다. 내가 무엇을하고 싶습니다 예를 들어 "< | 시작 |>"또는 "< | 끝 |>"특정 문자열을 찾을 때까지 파일을 읽고 다음 문자열 사이에 데이터를 인쇄하여 메모리가 지워

14열

8답변

디스크의 대용량 파일을 검사하는 방법은 무엇입니까?

디스크에 실제로 거대한 파일 (4GB 이상)이 있다고 생각하면이 파일을 스캔하여 특정 이진 패턴의 시간을 계산하려고합니다. 를 사용하여 메모리 매핑 파일 (CreateFileMap 또는 mapped_file 향상) 가상 메모리에 파일을로드 : 내 생각이다. 각 100MB 매핑 메모리에 대해 스캔하고 결과를 계산할 하나의 스레드를 만듭니다. 가능한가요 더 좋

1열

2답변

mysql 데이터베이스를 채우는 것

나는 백만 줄 이상의 데이터가있는 파일을 가지고있다. 각 줄은 레코드이다. 파일을 검토하고 줄을 읽은 다음 삽입을 수행 할 수 있지만 최대 2 시간이 걸릴 수 있습니다. SQL 파일을 업로드하는 것과 같은 더 빠른 방법이 있습니까?

9열

3답변

하스켈에서 대용량 파일 다루기

대용량 파일 (4+ 이상)이 있습니다. 4 바이트 수레가 있습니다. Map, filter, foldl 등을 사용할 수 있기를 원한다는 의미에서 List로 취급하고 싶습니다. 그러나 출력으로 새 목록을 생성하는 대신 출력을 다시 작성하고 싶습니다. 따라서 파일의 작은 부분 만 메모리에로드하면됩니다. 당신은 내가 MutableFileList라고 불리는 타입이라