많은 파일을 헤더없이 더 큰 파일에 연결하십시오.

Question

R에서이 작업을 시도하고 있지만 Windows 명령 줄도 사용할 수 있습니다.

필자는 첫 번째 줄에 헤더가있는 10 개의 큰 파일을 가정 해 보겠습니다. 이 모든 파일을 포함하지만 헤더가없는 단일 파일을 갖고 싶습니다.

가장 빠른 방법은 "copy/b"명령을 사용하여이 모든 파일을 더 큰 파일로 연결 한 다음 SED 소프트웨어를 사용하여 해당 큰 파일에서 헤더 패턴을 찾고 삭제하는 것입니다 그들.

SED가 느리고이 방법이 필요한 모든 컴퓨터에 SED를 설치하고 싶지 않습니다. copy \ b 명령을 사용하여 두 번째 줄에서 더 큰 파일로 붙여 넣을 수 있습니까?

또한 data.table 패키지에서 "fread"로 파일을 메모리로 읽은 다음 write.table을 사용하여 더 큰 파일을 만들기 위해 appending을 사용하는 기술을 수행했습니다. (하지만 write.table은 super super slow이며 data.table의 "fwrite"명령은 CRAN에 아직 없습니다 ... 아직 github에서 개발 중이므로 원하는만큼 안정적이지 않을 수 있습니다 있다).

아무도 제안하지 않았습니까? 당신은 R.이 같은 뭔가를 시도 할 수 있습니다

감사

Answer 1

다음은 그 일에 대한 RSCRIPT입니다.

cmdArgs<-c("peakListFile.txt") # read a list of all files that you want to concatenate 
peakList<-cmdArgs[1] 
peakFileDF<-read.table(peakList, header=F) # create a df for list file 

tempdf<-matrix(,, ncol=10, dimnames=list(c(), c("V1", "V2", "V3", "V4", "V5","V6", "V7", "V8", "V9", "V10"))) # create an empty df 

for(i in peakFileDF$V1) 
{ 
tmp<-read.delim(i, sep="\t", header=F, stringsAsFactors=F) 
tempdf<-rbind(tmp, tempdf) 
} 
tempdf<-tempdf[rowSums(is.na(tempdf)) != ncol(tempdf),] # Removing the line with NA coming from creation of empty df above