for 루프 내부의 코드 속도 향상

Question

2 백만 개가 넘는 레코드가 포함 된 데이터 프레임이 있습니다. 데이터 보안상의 이유로 일부 레코드 만 공유하고 있습니다. 귀하가 내 이유를 이해할 수 있기를 바랍니다.

data <- data[order(data$email_address_hash),] 
skip_row <- c() 
data$hash_time <- rep('NA',NROW(data)) #adding new column to our data 
rownames(data) <- as.character(1:NROW(data)) 
dput(droplevels(data)) 
structure(list(email_address_hash = structure(c(2L, 1L, 1L, 2L 
), .Label = c("0004eca7b8bed22aaf4b320ad602505fe9fa9d26", "35c0ef2c2a804b44564fd4278a01ed25afd887f8" 
), class = "factor"), open_time = structure(c(2L, 1L, 3L, 4L), .Label = c(" 04:39:24", 
" 09:57:20", " 10:39:43", " 19:00:09"), class = "factor")), .Names = c("email_address_hash", 
"open_time"), row.names = c(41107L, 47808L, 3973L, 8307L), class = "data.frame") 

str(data) 
'data.frame': 4 obs. of 2 variables: 
$ email_address_hash: Factor w/ 36231 levels "00012aec4ca3fa6f2f96cf97fc2a3440eacad30e",..: 7632 2 2 7632 
$ open_time   : Factor w/ 34495 levels " 00:00:03"," 00:00:07",..: 15918 5096 16971 24707 
. 

skip_row <- c() 


data$hash_time <- rep('NA',NROW(data)) #adding new column to our data 

rownames(data) <- as.character(1:NROW(data)) 

for(i in 1:NROW(data)){ 
#Skipping the email_address_hash that was already used for grouping 
    if(i %in% skip_row) next 
    hash_row_no <- c() 
#trimming data so that we don't need to look into whole dataframe 


trimmed_data <- data[i:NROW(data),] 
    # Whenever we search for email_address_hash the previous one was ignored or removed from the check 

    #extracting rownames so that we can used that as rownumber inside the skip_row 
    hash_row_no <- rownames(trimmed_data[trimmed_data$email_address_hash==trimmed_data$email_address_hash[1],]) 

#note : - 우리는/B rownames와 ROWNUMBER w 차이를 알고

#converting rownames into numeric so that we can use them as rowno  
hash_row_no <- as.numeric(hash_row_no) 


    first_no <- hash_row_no[1] 
    last_no <- hash_row_no[NROW(hash_row_no)] 
    skip_row <- append(skip_row,hash_row_no) 

    data$hash_time[first_no] <- paste(data$open_time[first_no:last_no], collapse = "") 
} 

나는 또한 아래 시도 과정을 빠르게하기 위해 접근하지만 그 효과가 될 것으로 보인다 있습니다

hash_row_no <- rownames(trimmed_data[trimmed_data$email_address_hash==trimmed_data$email_address_hash[1],]) 

는

setDT(data) 

,369을 data.table하는 dataframe 변환

는 작업 중 하나가 시간

system.time(rownames(trimmed_data[trimmed_data$email_address_hash==trimmed_data$email_address_hash[1],])) 

system.time(rownames(trimmed_data)[trimmed_data[["email_address_hash"]] == trimmed_data$email_address_hash[1]]) 

너희들이 내 데이터는 2 개 이상의 백만 레코드를 포함하고 30 분 더 복용으로 내 코드를 가속화하는 데 도움이 유사 시간을 제공 수행?

Answer 1

은 분명히 당신은이 작업을 수행 할 수 :

library(data.table) 
setDT(data) 
data[, .(open_times = paste(open_time, collapse = "")), by = email_address_hash] 
#       email_address_hash   open_times 
#1: 35c0ef2c2a804b44564fd4278a01ed25afd887f8 09:57:20 19:00:09 
#2: 0004eca7b8bed22aaf4b320ad602505fe9fa9d26 04:39:24 10:39:43 

또는 가능성이 : ". 나는 너희들이 내 이유를 이해할 수 소원"

data[email_address_hash == "0004eca7b8bed22aaf4b320ad602505fe9fa9d26", 
    paste(open_time, collapse = "")] 
#[1] " 04:39:24 10:39:43"