large-data

    1열

    1답변

    큰 데이터 세트를 Tensorflow 세션에로드/피드하기

    convNet의 tr-60 %, test-20 %, validate-20 %에서 50k 이미지 데이터 세트를 사용하려고합니다. 다음과 같이 지금까지 내가 자리 표시 자 및 sess.run() @ 그것을 feed_dicting을 만들었습니다 - tf_train_dataset = tf.placeholder( tf.float32, shape=(batch_
    python-3.x tensorflow computer-vision large-data 2017-02-21

    0열

    1답변

    MySQL에서 neo4j에 큰 데이터 세트 삽입

    py2neo (v 3.1.2)와 함께 python 3을 사용하여 MySQL에서 많은 양의 데이터를 Neo4j에 삽입하고 있습니다. MySQL의 테이블에는 약 2 천만 개의 행이 있습니다. neo4j의 웹 사이트에서 제안한대로 MySQL 데이터를 CSV으로 변환하지 않고 삽입하고 싶습니다. transaction=graph_db.begin() sql="SEL
    python mysql neo4j py2neo large-data 2017-02-23

    0열

    1답변

    STXXL 대신 STXXL을 사용하면 컴파일 타임에 알 수없는 크기를 처리 할 수 ​​있습니까?

    This question and answers to it STXXL은 고정 된 데이터 길이 만 처리한다는 것을 안심 시키십시오. 동적 데이터 크기 (컴파일시 알 수없는 데이터 크기)를 처리하기위한 STXXL의 대안이 있습니까? 동적 데이터 크기를 처리하기 위해 STXXL을 사용하는 트릭이 있습니까? 위 링크는 다양한 길이의 구조를 정의하고 런타임에서 가장
    c++ stxxl large-data 2017-04-18

    0열

    2답변

    읽기/쓰기 속도에 맞게 HDF5 데이터 세트 최적화

    현재 대상을 공간적으로 스캔하고 각 개별 픽셀에서 오실로스코프 추적을 가져 오는 실험을 수행 중입니다. 일반적으로 내 추적 길이는 200Kpts입니다. 전체 대상을 스캔 한 후 공간적으로이 시간 영역 신호를 조합하여 본질적으로 스캔 한 내용의 동영상을 재생합니다. 내 스캔 영역은 크기가 330x220 픽셀이므로 전체 데이터 세트는 사용해야하는 컴퓨터의 RA
    python h5py large-data 2017-04-21

    1열

    1답변

    다중 처리 또는 다중 기능 내 기능, 어떻게?

    저는 파이썬에 매우 익숙합니다. 나는 다음과 같은 기능을 사용하여 비 탱크에서 간단한 물 균형을 시뮬레이션해야합니다 def rain_tank_model(rain, water_demand,roof_area, tank_size, household_name): # rain and water_demand time series are numpy array
    python multithreading multiprocessing shared-memory large-data 2017-04-24

    1열

    1답변

    파이썬에서 큰 바이너리 파일의 부분 읽기

    파이썬의 큰 바이너리 데이터 파일에서 임의의 덩어리를 읽고 싶습니다. 지금까지는 제 문제에 대한 좋은 해결책을 찾지 못했습니다. 내가 지금까지 가지고있는 것은 다음과 같지만 처음에는 n 정수 만 읽을 수 있으며 파일의 다른 곳에서는 시작할 수 없습니다. import numpy as np #Pick an n here. f = open("test2.rd1
    python binaryfiles large-data 2017-03-08

    0열

    1답변

    거대한 크기의 PostgreSQL db에서 dbReadTable을 사용하는 방법

    한 번에 수천 개의 행만 읽을 수있는 dbReadTable 방법이 있습니까? 예를 들어 필자는 600 만 행의 Postgres 데이터베이스에서 dtable을 (필요에 따라) 읽으려고합니다. dtable 전체를 읽으려고 할 때 RStudio는 결국 멈추거나 끝나지 않습니다. 말 1 - 10000 행을 읽은 다음 100,001-200,000 행을 읽은 다음 2
    r postgresql large-data database 2017-05-02

    1열

    1답변

    python은 두 개의 큰 목록을 비교하고 하나를 처리합니다.

    두 개의 텍스트 파일이 있습니다. a.txt이,이 같은 선 (백만 라인)이 있습니다 : 991000000019999998,b10000021, 991000000019703408,b10000021, 991000545455435408,b10000045, 991000000029703408,b10000045, ... 첫 번째 부분은 바코드 (9910000
    python list large-data 2017-03-17

    0열

    2답변

    수백만 회의 관찰과 희소 한 사건이있는 R의 로지스틱 회귀

    R에서 1,500 만 건의 관측치의 큰 데이터 세트로 작업하고 있습니다. 로지스틱 회귀 분석을 실행하여 이진 종속 변수 ("HasShared"). 공유 이벤트가 매우 드물기 때문에 (1 % 미만) 희소 한 이벤트 문제를 처리하기 위해 logistf 회귀를 시도했습니다. 내 데이터 세트에 48 개의 변수가 있으며, 단지 6 개의 변수 만 회귀에 참여해야합니다
    r logistic-regression large-data 2017-03-24

    -1열

    1답변

    rbind loop in R

    2 백만 행과 7 열의 데이터가 있습니다. 수천 개의 서로 다른 회사와 지표가 있습니다. company_id indicator_id X2011 1 1000045 AccountsPayableAndAccruedLiabilitiesCurrentAndNoncurrent 6612429 2 1000045 AccumulatedDe
    r loops rbind large-data 2017-03-29
최근 질문