나는 모든 실행을 몇 csv 및 텍스트 파일을 생성하는 실험 설정이 있습니다. 내 연구에서는 매일 여러 가지를 병렬로 실행하고 상속인 계급에 저장하고 조직하려고 시도하는 것이 다소 비효율적이며 지루해지고 있습니다.많은 양의 실험 및 해당 결과를 저장하는 방법
내가 생각한 한 가지 아이디어는 MySQL 또는 무언가를 사용하여 실행 결과와 관련 출력을 저장하는 것이 었습니다. 그러나 이것은 테이블 필드에 여러 개의 거대한 문자열을 저장한다는 점에서 비효율적입니다.
기본적으로 실행 결과를 자동으로 구성 할 수있는 시스템이 있는지 알고 싶습니다. 실행 설명 목록을 제공하고이를 선택하면 해당 출력을 요청할 수 있습니다. 쉘 스크립트에 단계를 추가 할 수 있기 때문에 이것은 특정 언어 일 필요는 없습니다.
나는 csv와 txt 파일이 각 실행에서 확장자를 뺀 이름으로 동일하다고 가정합니다. 폴더에있는 모든 csv 및 txt 파일을 가져와 모든 정보가 저장되고 연결된 csv 파일 및 txt 파일의 데이터로 저장되는 단일 XML 파일에 넣을 수있는 간단한 Java 또는 Python 스크립트를 고려해 봤습니까? 수백 개의 파일 쌍 (csv 및 txt)에서 개별 실행 결과를 볼 수있는 단일 XML 파일로 끝낼 수 있다는 의미입니다.
나는 그 생각을 좋아한다. 이는 설명, 입력 및 출력의 연결을 가능하게합니다. 여기에있는 문제는 xml 파일이 빠르게 커지고 읽기가 어려워 질 것입니다. 비록 그것이 일어날 때 나는 아마 그것을 처리 할 수있는 무언가를 만들 수있을지라도. 두 번째 문제는 단일 파일에 대한 동시 기록을 방지하는 것입니다. 병렬 프로세스는 모두 별도의 VM에서 발생합니다. 나는 그들 모두가 스토리지를 위해 다른 서버에 결과를 제출하도록 계획하고 있었다. – Mimyck
임시 파일에 저장되는 특정 실행 횟수 (예 : 1000)에 대해 모든 데이터 파일을 보유하고 있다고 생각했습니다. 그 횟수만큼의 실행이 끝나면 모든 데이터 파일을 하나의 XML 파일로 옮기고 다른 곳으로 이동하여 임시 폴더를 지우고 다시 시작하십시오. Office 2007 파일 형식은 압축 된 XML 구조이므로 Excel 2007 이상에서는 쉽게 열 수 있다고 생각하는 XML 파일입니다. 그리고 Excel은 10-100mb 범위의 파일을 처리하도록 프로그래밍되어 있다는 이점이 있습니다. firefox/ie는 KB 수준의 HTML/XML 파일을 의미합니다. – keepitreall89
샘플 데이터를 게시 할 수 있습니까? – drudge
데이터 자체가 중요하다고 확신하지 못합니다. CSV 파일은 스프레드 시트를 쉽게 읽을 수있는 형식화 된 출력이거나 추가 구문 분석을 수행 할 수 있습니다. 예를 들면 다음과 같습니다. String, float, float – Mimyck
서식이 필요한 3 ~ 4 개의 텍스트 파일이 인쇄됩니다. – Mimyck