시스템 LAN에서 많은 대형 로그 파일을 검색하는 응용 프로그램이 있습니다. 현재 모든 로그 파일을 Postgresql에 저장하고 테이블에 TEXT 열 유형이 있고 야간에 모든 외부 파일을 검색하여 민감한 패턴을 스캔하기 때문에이 텍스트 열에 대한 검색을 계획하지 않습니다. 그래서 열 값도 BLOB 또는 CLOB 일 수 있지만 지금 내 질문은 다음과 같습니
gzip으로 압축 된 파일에 임의 액세스 할 수 있기를 바랍니다. 전처리 결과가 파일 자체보다 훨씬 작다면 사전 처리 (예 : 일종의 색인 작성)를 할 여유가 있습니다. 어떤 조언이 필요합니까? 내 생각과 같다 : 기존 GZIP 구현에 해킹 및 압축 된 데이터의 모든 말하자면, 1메가바이트의 압축 상태를 직렬화. 그런 다음 무작위 액세스를 수행하려면 압축
대용량 파일 업로드를 주로 받아들이는 호스트 공급자 (uk가 좋음)를 아는 사람이 있는지 궁금합니다. 대부분의 호스트는 1.5mb (연결 및 최대 실행 시간을 고려한 것)와 같은 것을 누를 수 있습니다. 내가 찾고있는 건 파일을 저장하는 호스트입니다. 파일을 외부 호스트에 게시 한 다음 응용 프로그램에 업로드 스크립트를 작성한 다음 다시 (헤더를 사용하여
큰 파일을 처리하기 전에 프로그래밍 방식으로 다운로드해야합니다. 그렇게하는 가장 좋은 방법은 무엇입니까? 파일이 크므로 강제로 종료 할 수 있도록 특정 시간을 기다려야합니다. WebClient.DownloadFile()에 대해 알고 있습니다. 그러나 강제로 나가기 위해 기다릴 시간을 특정하는 방법이 보이지 않습니다. try
{
WebClient
PHP로 작업 중이며 많은 XML 파일 (압축되지 않은 50-75MB)을 파싱해야합니다. 그러나 문제는 이러한 XML 파일을 원격으로 저장하기 때문에 XML 파일을 구문 분석하기 전에 다운로드해야한다는 것입니다. 문제에 대해 생각한 결과, PHP에서 cURL 전송을 시작하기 위해 system() 호출을 사용하는 것이 아마도 시간 초과 및 PHP 메모리 제한
다음 목적을 위해 어떤 XML 구문 분석기를 사용 하시길 권장하십니까? XML 파일 (공백 포함)은 약 800MB입니다. 주로 3 가지 유형의 태그를 포함합니다 (n, w 및 r이라고 부름). 그들은 id라는 속성을 가지고 있는데, 가능한 한 빨리 검색해야합니다. 필요하지 않은 속성을 제거하면 30 % 정도 절약 할 수 있습니다. 두 번째 부분 최적화를위한
AS3에서 매우 큰 파일을 읽으려고하고 있으며 런타임에 문제가 발생했습니다. 현재 FileStream을 사용하여 비동기 적으로 파일을 엽니 다. 이것은 약 300MB보다 큰 파일에 대해서는 작동하지 않습니다 (예외없이 작동하지 않음). FileStream 클래스는 여전히 (큰 파일에 대한 나쁜) 메모리에 전체 파일을 읽으려고처럼 documentation보고
XMLReader를 사용하여 내가 읽는 수준에서 약 1 백만 개의 요소가있는 큰 XML 파일을 읽습니다. 그러나 점프하면 (예 : 요소 500.000) XMLReader::next ([ string $localname ]) 또는 XMLReader::read (void ) 을 사용하여 10 초 이상 걸릴 것으로 계산했습니다. 이 작업을 수행하는 더 빠른 방법
12GB의 이진 파일이 있고 그 중간에서 8GB를 자르고 싶습니다. 나는 그 사이에 자르고 싶은 위치 지수를 안다. 어떻게하면됩니까? 분명히 12GB는 메모리에 들어 가지 않을 것입니다.하지만 8GB는 그렇지 않을 것입니다 ... 어느 쪽이 좋았는지는 잘 모르겠지만, 바이너리는 덩어리로 만든다면 좋지 않은 것처럼 보입니다! 새 이진 파일에 한 번에 10MB
응용 프로그램 로그가 순진한 로그 뷰어의 한계와 원하는 뷰어 기능 (예 : 조건에 따라 로그를 필터링하거나 특정 메시지 유형을 강조 표시하는 것, 또는 필드 값을 기반으로하는 서브 로그로 분할하거나 시간 축을 기준으로 여러 로그 병합 또는 북마크 지정 등)은 대형 파일 텍스트 뷰어의 기능을 넘어선 것입니다. 이 궁금 : 괜찮은 전문 응용 프로그램 존재 여부