large-files

0열

2답변

Java 텍스트 구성 요소를 작성 중이며 속도상의 이유로 일부 중간에 큰 텍스트 파일을 부분적으로로드하려고합니다. 제 질문은 텍스트가 UTF8, Big5, GBK 등의 멀티 바이트 인코딩 형식으로되어 있는지 제 질문입니다. 어떻게 텍스트를 올바르게 디코딩 할 수 있도록 바이트를 정렬 할 수 있습니까?

0열

4답변

expat 파서 : 메모리 사용량

expat 파서를 사용하여 약 15GB의 XML 파일을 구문 분석하고 있습니다. 문제는 "메모리 부족"오류가 발생하고 프로그램이 중단됩니다. 필자는 expat 파서와 비슷한 문제가 있거나 알고있는 버그인지 그리고 이후 버전에서 수정되었는지 알고 싶습니까?

6열

2답변

거대한 파일의 버전 제어 시스템?

저는 약 80 기가의 파일 묶음의 스냅 샷을 만드는 빠르고 간단하지는 않은 방법을 찾고 있습니다. 여기서 문제는 많은 파일이 약 1GB 크기라는 것입니다. 이 유형의 가장 적합한 무료 버전 제어 시스템은 무엇입니까? 나는 ZFS가 옵션이라는 것을 알고 있지만 우선 뭔가 다른 것을 시도하려고한다.

7열

4답변

git에서 대용량 파일 거부

최근에 git를 사용하기 시작했는데 누군가가 커다란 (~ 1.5GB 파일) 커밋을했을 때 문제가 발생하여 다양한 32 비트 OS에서 충돌이 발생했습니다. 이것은 알려진 버그 (git mmaps 파일이 메모리에 저장되는데, 이는 충분한 contingous 공간을 얻을 수없는 경우에는 작동하지 않습니다.)는 곧 고칠 예정입니다. 쉬운 (우리를 위해) 해결책은

1열

3답변

wikipedia 데이터베이스 가져 오기 가져 오기 - navicat를 종료합니다. - 누구든지 아이디어가 있습니까?

나는 위키 피 디아 xml 덤프를 다운로드했는데 그 중 엄청난 12GB의 데이터가 하나의 테이블에 들어 있고 내 로컬 호스트의 mysql 데이터베이스로 가져 오기를 원했다. 그러나 12GB의 엄청난 파일과 그것은 또는 그 가능성을 가져 오는 시간의 교수형 :(. 부분적에서 가장 당신이 조금씩 알고이어야이 덤프 또는를 포함하는 방법이 있나요. 나를 올바른하자

19열

5답변

.NET에서 대용량 파일 (HTTP를 통해)을 다운로드하려면 어떻게합니까?

C# 콘솔 응용 프로그램에서 파일 (2 GB)을 HTTP를 통해 다운로드해야합니다. 문제가 발생하면 약 GB 후에 응용 프로그램의 메모리가 부족합니다. 는 여기에 내가 사용하고 코드 : 당신이 볼 수 있듯이 WebClient request = new WebClient(); request.Credentials = new NetworkCredential

1열

3답변

데비안에서 대용량 CSV 줄이기

대용량 CSV 파일이 있고이를 구문 분석 할 응용 프로그램을 작성해야하지만 6GB가 넘는 파일을 사용하여 테스트하는 것은 힘들며 처음 또는 두 번을 추출하는 간단한 방법이 있습니다. 전체 파일을 메모리에로드하지 않고도 파일은 데비안 서버에 있습니다.

2열

6답변

XProc로 XML 스트리밍

나는 XML 파이프 라인 언어 인 xproc과 http://xmlcalabash.com/을 가지고 놀고있다. 큰 XML 문서를 스트리밍하는 예제를 찾고 싶습니다. x 축 이상 내가 루프 (스트리밍)로 진행하는 방법을 <Books> <Book> <title>Book-1</title> </Book> <Book> <title>Book-2<

2열

5답변

ASP.Net 응용 프로그램에 메모리 제한이 있습니까?

사용자가 이미지를 업로드 할 수있는 ASP.Net MVC 응용 프로그램이 있습니다. 정말 큰 파일 (400MB)을 업로드하려고하면 오류가 발생합니다. 내 이미지 처리 코드 (가정용 추출기)가 매우 비효율적 인 것으로 가정 했으므로 제 3 자 라이브러리를 사용하여 이미지 처리 부분을 처리하려고했습니다. 나는 TDD를 사용하기 때문에 먼저 실패한 테스트를 작성

1열

2답변

ASP.NET에서 대용량 파일 전송을 처리 할 때 어떤 예방 조치를 취해야합니까?

내 ASP.NET 응용 프로그램을 사용하면 대용량 파일을 업로드하고 다운로드 할 수 있습니다. 두 절차 모두 파일 스트림 읽기 및 쓰기 작업을 포함합니다. 대용량 파일을 처리 할 때 응용 프로그램이 멈추지 않거나 충돌하지 않도록하려면 어떻게해야합니까? 예를 들어 파일 작업을 작업자 스레드에서 처리해야합니까?