large-data

0열

1답변

큰 파일에 git lfs를 사용하도록 git이 제안했습니다. git lfs로 파일을 추적하고 .gitattribute에 추가되었는지 확인한 후에도 파일이 동일한 정확한 파일에 대해 100MB보다 큰 오류가 계속 발생합니다. 여기에있는 제안은 무엇이며 어떻게이 문제를 해결할 수 있습니까? 프로젝트의 일부로 이러한 대용량 파일을 업로드해야 github을 사용할

0열

1답변

IDL 배열에서 값 제거

wl이라는 변수의 값 범위는 900 ~ 30000이고 다른 변수 이름은 f입니다. 이 두 변수 모두에서 1280 아래의 값을 제거하고 싶습니다. 내가 무슨 짓을했는지 는 pO = WHERE(wl < 1280) 입니다하지만 remove 그들을 제거 할 때 제거하고 pO 수익률 long의 종류를 확인하기 위해 인덱스의 배열을 필요로하기 때문에이 오류를 제거

0열

1답변

Neo4j 가져 오기 작업이 관계로 ancestory가있는 CSV에서

나는 neo4j에 삽입하려는 데이터가 있습니다. 처음에는 모든 관계와 노드를 cql 파일로 생성하는 스크립트를 만들었습니다.이 데이터베이스는 적은 양의 데이터 세트로도 훌륭하게 작동했지만 데이터가 커지면 시스템이 다운되었습니다. 모든 데이터를 입력하려면 neo4j-shell을 사용하고있었습니다. 배치 가져 오기 도구를 사용하여 데이터를 일괄 적으로 삽입 할

0열

1답변

큰 배열 탐색

배열의 요소는 (1,2,2,1,1)입니다. 배열의 고유 한 요소 수는 해당 배열의 고유 한 요소 수와 같아야합니다. 즉 수 배열의 요소는 (1과 2)입니다. [1,2], [1,3], [1,4], [1,5], [2,4], [2,5], [3,4] 등의 서브 어레이가 가능하다. , [3,5] 뚜렷한 별개 요소 없음 2 {1,2,2}에는 2 개의 별개 요소가 있음

2열

1답변

영역 Android 및 다중 다각형 계산이 포함 된 대용량 데이터 집합

영역에 대한 다중 다각형을 많이 포함하는 Json 파일을 구문 분석하고 있습니다. RealmMultiPolygon 클래스 : public int dangerLevel; public int timeOfDay; public RealmList<RealmPolygon> realmPolygons RealmPolygon 클래스 : public RealmLis

2열

1답변

큰 데이터 세트 (Mclust)에서 추정 한 후의 클러스터 할당

저는 상대적으로 큰 데이터 세트 (~ 50.000 개의 관측 값과 16 개의 변수)로 클러스터링 분석을 수행했습니다. 내 컴퓨터로 library(mclust) load(file="mdper.f.Rdata")#mdper.f = My stored data 내가 정보 (10 예에서 X 5.000, 16.000,하지만 15 분 컴퓨팅)의 몇 가지 하위 집합을

1열

2답변

R : Merge> 1000 .dat 파일

영국 전역에서 30,000 개 이상의 .dat 파일을 병합하려고합니다 (*****. dat의 순차적 이름). 하나의 단일 데이터 파일로 만들 수 있습니다. 다음에서 연간 값을 추출하십시오. 날이에 도착 도움이되었습니다 이전 답변 (This 및 this) 읽기 54.78 -7.06 iGrid x y year month SRad Tmin Tmax

6열

1답변

bigquery-python 라이브러리를 통해 BigQuery에 많은 양의 데이터를 삽입하십시오.

커다란 csv 파일과 엑셀 파일을 읽었으며 필요한 필드와 유형에 따라 필요한 create create table 스크립트를 만듭니다. 그런 다음 생성 된 테이블에 데이터를 삽입하십시오. 나는 this을 읽고 많은 양의 데이터를 tabledata.insertAll() 대신 jobs.insert()으로 보내야한다는 것을 알았습니다. 작은 크기의 파일은 큰 파일

0열

1답변

RAM이 제한된 대형 네트워크/그래프를 분석하는 방법

현재 프로젝트의 경우, 300MB 이상의 .csv 파일로 제공되는 커다란 Protein-Protein-Interaction Network를 분석해야합니다. 그래프에는 5 백만 개 이상의 가장자리와 수만 개의 노드가 있습니다. 나는 데이터를로드하고 분석하기 위해 Cytoscape와 Gephi를 사용했지만,이 두 가지 네트워크를 처리 할 수없는 것으로 보입니다

0열

1답변

조회 테이블을 사용하여 찾기/바꾸기 또는 매핑, R

총 R-newbie, 여기. 부드럽게하십시오. 민족을 나타내는 숫자 값이있는 데이터 프레임에 열이 있습니다 (영국 센서스 데이터). # create example data id = c(1, 2, 3, 4, 5, 6, 7, 8, 9) ethnicode = c(0, 1, 2, 3, 4, 5, 6, 7, 8) df = data.frame(id, ethnic