R : 공백이 있고 다른 수의 열이있는 텍스트 파일을 읽으십시오.

Question

read.table을 사용하여 많은 텍스트 파일을 R로 읽으려고합니다. 대부분의 경우 열을 정의한 깨끗한 텍스트 파일이 있습니다. 당신은 텍스트 파일의 공백과 길이가 보고서에 따라 다릅니다 것을 알 수 있습니다

ftp://ftp.cmegroup.com/delivery_reports/live_cattle_delivery/102317_livecattle.txt에서

는

내가 읽은 것을 시도하고 데이터가 제공됩니다. ftp://ftp.cmegroup.com/delivery_reports/live_cattle_delivery/102317_livecattle.txt ftp://ftp.cmegroup.com/delivery_reports/live_cattle_delivery/100917_livecattle.txt

내 목표는 이러한 텍스트 파일을 많이 읽고 데이터 세트로 결합하는 것입니다.

내가 그 중 하나를 읽을 수 있으면 컴파일이 문제가되어서는 안됩니다. 그러나 텍스트 파일의 형식으로 인해 여러 가지 문제가 발생합니다.

1) 겉면의 수는 보고서마다 다릅니다. 예를 들어 때로는 가져올 데이터가 3 행 (즉, 해당 데이터를 처리 한 3 회사)의 데이터가되며 때로는 10 행이 있습니다.

2) 공백이 인식되고 있습니다. 예를 들어, 회사 섹션에는 Deliveries (DEL) 및 Receipts (REC)에 대한 열이 있어야합니다. 나는 fomatting에이 글을 읽을 때 모두가 엉망이고 빈 값

3) 위의 문제에 대한 NA를 넣어하지 않습니다

df <- data.frame("FIRM_#" = c(407, 685, 800, 905), 
    "FIRM_NAME" = c("STRAITS FIN LLC", "R.J.O'BRIEN ASSOC", "ROSENTHAL COLLINS LL", "ADM INVESTOR SERVICE"), 
    "DEL" = c(1,1,15,1), "REC"= c(NA,18,NA,NA)) 

:처럼이 섹션에서 읽을 데이터가 보일 것입니다 텍스트 파일의 "YARDS"및 "FUTURE DELIVERIES SCHEDULED"섹션을 신청하십시오.

텍스트 파일의 섹션을 읽은 다음 적절하게 형식을 지정하려고했지만 회사 수가 날마다 바뀌므로 코드가 일반화되지 않습니다.

도움이된다면 크게 도움이 될 것입니다.

Answer 1

여기에 데이터를 다운로드하기 위해 rvest을 통해 처음부터 시작하여 많은 서식이 포함되어 있습니다. 일반적인 생각은 열을 분리하는 데 사용될 수있는 고정 너비를 식별하는 것입니다.이 목적을 위해 SO로부터 약간의 도움을 받았습니다. link.

그러면 cat() 및 tempfile()과 조합하여 read.fwf()을 사용할 수 있습니다. 첫 번째 시도에서 일부 서식 문제로 인해이 방법이 작동하지 않아 최종 테이블 형식을 얻기 위해 몇 가지 추가 행을 추가했습니다.

아마도 더 세련된 옵션과 바로 가기가 있지만 적어도 내 대답으로 시작해야합니다. 물론 필요한 데이터의 부분에 따라 선을 선택하고 표를 분할 할 때 너비를 식별해야합니다. 이 작업이 완료되면 모든 웹 사이트를 반복하여 데이터를 수집 할 수 있습니다. 이게 도움이되기를 바랍니다.

library(rvest) 
library(dplyr) 

page <- read_html("ftp://ftp.cmegroup.com/delivery_reports/live_cattle_delivery/102317_livecattle.txt") 

table <- page %>% 
    html_text("pre") %>% 
    #reformat by splitting on line breakes 
    { unlist(strsplit(., "\n")) } %>% 
    #select range based on strings in specific lines 
    "["(.,(grep("FIRM #", .):(grep("  DELIVERIES SCHEDULED", .)-1))) %>% 
    #exclude empty rows 
    "["(., !grepl("^\\s+$", .)) %>% 
    #fix width of table to the right 
    { substring(., 1, nchar(gsub("\\s+$", "" , .[1]))) } %>% 
    #strip white space on the left 
    { gsub("^\\s+", "", .) } 


headline <- unlist(strsplit(table[1], "\\s{2,}")) 

get_split_position <- function(substring, string) { 

    nchar(string)-nchar(gsub(paste0("(^.*)(?=", substring, ")"), "", string , perl=T)) 

} 

#exclude first element, no split before this element 
split_positions <- sapply(headline[-1], function(x) { 

    get_split_position(x, table[1]) 

}) 


#exclude headline from split 
table <- lapply(table[-1], function(x) { 

    substring(x, c(1, split_positions + 1), c(split_positions, nchar(x))) 

}) 

table <- do.call(rbind, table) 
colnames(table) <- headline 

#strip whitespace 
table <- gsub("\\s+", "", table) 

table <- as.data.frame(table, stringsAsFactors = FALSE) 
#assign NA values 
table[ table == "" ] <- NA 
#change column type 
table[ , c("FIRM #", "DEL", "REC")] <- apply(table[ , c("FIRM #", "DEL", "REC")], 2, as.numeric) 

table 
# FIRM #   FIRM NAME DEL REC 
# 1 407  STRAITSFINLLC 1 NA 
# 2 685 R.J.O'BRIENASSOC 1 18 
# 3 800 ROSENTHALCOLLINSLL 15 NA 
# 4 905 ADMINVESTORSERVICE 1 NA