read.csv.ffdf()를 사용하면 오류가 발생합니다.

Question

ff 패키지를 사용하여 R (크기 : 3.7 백만 행, 180 열)의 데이터 세트를 R에 읽으려고합니다. 데이터 집합에는 요인, 논리 및 숫자와 같은 여러 데이터 유형이 있습니다.

숫자 변수를 읽을 때 문제가 발생합니다. 예를 들어, 내 열 중 하나입니다 : 내가의 데이터를 읽어하려고하면

TotalBeforeTax 
126.9 
88.0 
124.5 
90.9 
... 

, 다음과 같은 오류가 발생 :

Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, : 
    scan() expected 'a real', got '"126.90000"' 

내가 (이미 numeric로 선언 된 것 integer에 클래스를 선언하는 시도)를 사용하지만 아무 소용이 없습니다. 또한 (즉,이 뜻 무엇이든) a real로 변경 시도하고 데이터 읽기 시작하지만, 어떤 점에서 던졌습니다 :

Error in methods::as(data[[i]], colClasses[i]) : 
    no method or default for coercing “character” to “a real” 

(그것이 NA과 아무튼 건너 오기 때문에 내 생각이다

재미있는 점은 열을 factor으로 선언하면 모든 것이 잘 읽히는 것입니다.

무엇을 제공합니까?

는

Answer 1

그래, 나는 원시적 인 해결 방법을 사용하여 이것을 해결할 수 있었다. 먼저 csv 파일 분할기 응용 프로그램을 사용하여 .csv 파일을 분할합니다. 그런 다음 다음 코드를 실행하십시오.

## First, set the folder where the split .csv files are. Set the file names. 

sourceDir <- "split_files_folder" 
sourceFile <- paste(sourceDir,"common_name_of_split_files", sep = "/") 

## Now set the number of split pieces. 

pieces <- "some_number" 

## Set the destination folder for the tab-delimited text files. 
## Set the output file name. 

destDir <- "destination_folder" 
destFile <- paste(paste(destDir, "datafile", sep = "/"), "txt", sep = ".") 

## Now, initialize the loop. 

for (i in 1:pieces) 
{ 
    temp <- read.csv(file = paste(paste(sourceFile, i, sep = "_"), "csv", sep = ".")) 
    if (i == 1) 
    { 
    write.table(temp, file = destFile, quote = FALSE, sep = "\t", row.names = FALSE, col.names = TRUE) 
    } 
    else 
    { 
    write.table(temp, file = destFile, append = TRUE, quote = FALSE, sep = "\t", row.names = FALSE, col.names = FALSE) 
    } 
} 

그리고 voila! 거대한 탭으로 구분 된 텍스트 파일이 있습니다!

Answer 2

문제는 숫자 126.9000는 견적 "에 둘러싸여 것 같다. 그래서 어쩌면 당신은 첫 번째 문자로 변수를 얻을 둘째 모든 불필요한 문자를 제거하고, 마지막 숫자에 변수를 변환해야합니다.

Answer 3

해결 방법 1

당신은 ffbase 패키지에서 laf_to_ffdf을 시도 할 수 비슷해 :.

library(LaF) 
library(ffbase) 

con <- laf_open_csv("yourcsvfile.csv", 
    column_names = [as character vector with column names], 
    column_types = [a character vector with colClasses], 
    dec=".", sep=",", skip=1) 

ffdf <- laf_to_ffdf(con) 

또는 경우

library(LaF) 
library(ffbase) 

m <- detect_dm_csv("yourcsvfile.csv") 
con <- laf_open(m) 
ffdf <- laf_to_ffdf(con) 

해결 방법 2

사용하여 문제가되는 열에 대한 character의 열 클래스와 read.csv.ffdf의 transFUN 인수에 숫자에 열을 캐스팅 : 당신은 자동으로 유형을 감지 할

ffdf <- read.csv.ffdf([your regular arguments], transFUN = function(d) { 
    d$offendingcolumn <- as.numeric(d$offendingcolumn) 
    d 
})