large-data

    1열

    1답변

    대용량 사전 (~ 4000 만 개의 키)의 대체

    저는 약 4000 만 개의 키가있는 다소 큰 사전을 가지고 있습니다. 텍스트 파일에 {key: value, key: value, ...}을 작성하여 순진하게 저장했습니다. 파이썬은 1.44GB의 텍스트 파일을로드하고 평가하는 것에 대한 혐오감을 가지고 있기 때문에 결코이 데이터에 실제로 접근 할 수 없다는 사실을 고려하지 않았습니다. 모든 자료를 한번에 읽
    python large-files shelve large-data 2017-09-20

    -1열

    2답변

    PHP - 엄청난 양의 파일을 디렉토리에서 읽습니다.

    거대한 양의 그림이 담긴 폴더 (적어도 10000 개의 파일)가 있습니다.이 파일들을 PHP를 사용하여 가져와야합니다. 문제는 내가 사용했을 때 scandir() 메모리 제한에 관한 오류가 발생했습니다. $files = []; $dir = opendir($this->path); $i = 0; while(($file
    php file-handling large-data 2017-09-29

    3열

    1답변

    numpy.loadtxt를 사용하여 textfile에서로드 된 배열에 numpy.searchsorted 메서드를 적용하십시오.

    현재 생물 정보학 프로젝트에서 작업 중이며 다음 문제를 해결해야합니다. 두 개의 열을 포함하는 텍스트 파일 "chr1.txt"가 있습니다. 위치는 염색체에 있고 부울 변수는 True 또는 False입니다. 거짓 10000 사실 10001 사실 10005 거짓 10007 사실 10011 거짓 10013 사실 10017 거짓 10019 거짓 10023 거짓 1
    python arrays numpy large-data 2017-05-05

    1열

    1답변

    R 벡터화 기능 구현

    R 벡터화의 이점을 활용하여보다 효율적인 방식으로 원하는 작업을 수행하는 방법을 이해하는 데 어려움이 있습니다. 간단히 말해 각 행에 대해 현재 행의 두 번째 열 ($ start)을 이전 및 다음 행의 $ start와 비교합니다 (모든 값은 정수입니다.이 값을 prev_dist 및 next_dist라고 부릅시다). 다음으로, 현재 행의 4 번째 열 ($ c
    r performance function vectorization large-data 2017-10-02

    3열

    2답변

    메모리 부족 코드 명 1에 큰 데이터가 있음

    내 코드 이름 하나의 응용 프로그램에서 약 16000 개의 레코드 (각 레코드에 약 10 개의 필드)가 다운로드됩니다. Android 휴대 전화 (OS6.0, RAM 2GB)에서 8000에서 9000 개까지의 레코드를로드 할 수 있지만 메모리 부족 오류가 표시됩니다. 추적에서 응용 프로그램에 할당 된 힙 메모리가 부족한 것 같습니다. 대용량 데이터를 처리하
    out-of-memory codenameone large-data 2017-05-07

    1열

    1답변

    큰 배열의 C++ 성능

    큰 문자 배열 (614400) 및 hight 성능 비디오 스트리밍 응용 프로그램 (100fps, 1 프레임의 경우 10ms)이 있습니다. 1 프레임에서이 프레임을 수정하고이 8 개의 스레드에 사용해야합니다. 더 빠릅니다 : 1. 스레드 1의 모든 요소에 1을, e 액세스하십시오. 지. 스레드 1 (1,2,3, ... n) 스레드 2 (n + 1, n + 2
    c++ performance c++14 stdthread large-data 2017-05-12

    1열

    1답변

    SQL Server 큰 테이블을 쿼리하는 가장 효율적인 방법은 거의 완전한 결과 집합

    많은 수의 행이있는 SQL Server 2014의 테이블이 있습니다. TableA라고 부르 자. 나는 거의 모든 행 (행 97 %의 말을하자)에 대한 자사의 PK (AN AUTOINCREMENT ID 클러스터 된 KEY)를 쿼리해야하고이 결과 집합은 일반적으로 다른 테이블 (TableB의)를 통해 함께 참여한다 외래 키 (FK_A라고 부르 자). 문제는 T
    sql sql-server performance database-performance large-data 2017-05-14

    3열

    2답변

    DateTime WHERE 절을 사용하는 큰 테이블에 대한 쿼리

    WHERE 절에 datetime 열을 사용하여 약 9 억 8000 만 개의 비교적 큰 테이블에서 데이터를 쿼리하려고합니다. 완료하는데 약 12 ​​분이 걸리지 만 분명히 받아 들일 수 없습니다. 쿼리는 간단하다 : SELECT ID, DateTime1, DateTime2, Value1, Value2 FROM dataTable WHERE DateTime1
    sql sql-server tsql large-data 2017-05-15

    0열

    1답변

    Redshift UNLOAD 문이 19 분 후에 취소되었습니다.

    EC2 인스턴스에서이 유틸리티 (https://github.com/awslabs/amazon-redshift-utils/blob/master/src/UnloadCopyUtility/redshift-unload-copy.py)를 사용하여 큰 (6GB) 데이터 세트를 s3에 UNLOAD하려고합니다. 하지만 UNLOAD 문이 19min 후 취소됩니다 60 번째는
    timeout amazon-redshift onunload large-data 2017-09-04

    0열

    1답변

    R : 데이터 프레임 대형, 가변 노드 XML 입력 및 변환에 xmlEventParse

    나는 게시 데이터 ~ 100 개 XML 파일과 같은 형식의 각> 10기가바이트이 ​​: 참고 문헌의 수의 변화와 함께, <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website”> <REC rid=“this is a test”> <UID>ABCD123</UID> <da
    r xml xml-parsing large-data 2017-09-13
최근 질문