현재 일주일에 수천 개의 플랫 파일이 제공되며 이에 대한 보고서를 실행하고 당사 직원이 처리하고 참조 할 수 있도록 파일을 PDF로 내 보냅니다.플랫 파일 보관을위한 이상적인 옵션
현재 이러한 항목을 데이터베이스에 대량로드하고 모든 필드/형식이 올바른지 확인한 후 내보내고 다음 실행시 테이블을 자릅니다.
제가 생각하기에 모든 사람들이이 대량로드 일반 텍스트 데이터를 6 개월 동안 저장하는 데 가장 공간 효율적인 방법이라고 생각합니까?
일상적인 SQL 백업 또는 압축 아카이브 또는 기타 형식으로되어있어 문제 해결을 위해 이전 데이터를 다시로드 할 수있는 기능이 항상있었습니다.
모든 아이디어는 환영합니다. 나는 어떤 제안이든 환영합니다.
원시 데이터의 플랫 파일을 대량로드하고 SQL Server 2005를 사용하여 처리하고 별도의 처리 된 플랫 파일을받은 다음 데이터를 덤프합니다.
글쎄, 이것이 맞으면 SQL 백업은 데이터가 DB에 남아 있지 않다는 말을하는 것처럼 보이기 때문에 도움이되지 않습니다. 유일한 옵션은 입력 파일 및/또는 출력 파일을 효율적으로 압축하고 디렉토리에 배치를 잘 정리하는 것입니다.
내가 배치 기능을 예정하고있다 공격적인 압축 프로그램을 추천합니다,하지만 당신은 하나 개의 프로그램에 갇혀 피하기 위해 사용하는 프로그램 비전에 도착하지 않도록주의 할 것 ...
최신 세대의 압축 유틸리티 (7z 및 rar 압축이 뛰어남)를 사용하여 모든 것을 정리 한 후 묶음으로 압축하여 찾기 쉽습니다.
이 작업을 쉽게 수행 할 수있는 7zip 용 SDK가 있습니다.
-Adam
내가 설치할 수있는 소프트웨어가 제한되어 있고 전에 7zip을 사용하지 않았으므로 Windows XP 기본 유틸리티로 쉽게 압축을 풀 수 있습니까? 그렇지 않은 경우 실제로 설치할 수있는 제한 사항으로 인해이 방법을 사용할 수 없습니다. – thismat
아니요, 그렇다면 7zip SDK를 사용하여 일반 zip 파일을 압축 할 수 있습니다.이 zip 파일은 추가 소프트웨어 없이도 압축을 풀 수 있습니다. –
, 적절하게 파일을 구성하는 파일 계층 구조를 구축 전체 디렉토리를 압축하고, 당신이 그들을 보관 새로운 files.after, 당신은 파일을 삭제할 수 있습니다 추가 우편에 -u 플래그를 사용하지만, 보존 추가 될 다음 배치의 디렉토리 구조.
파일 이름이 어떻게 든 (날짜 등) 버전을 인코딩하거나 다른 방식으로 고유하면 signle 디렉토리보다 더 멋진 파일 일 필요는 없습니다. 그렇지 않은 경우 버전을 복구 할 수 있도록 디렉토리를 설정해야합니다.
파일 이름은 고유 한 것으로 인코딩되어 있지 않지만, 날짜 스탬프로 명명 된 파일로 구조를 쉽게 만들 수 있습니다. 이것은 단단한 솔루션입니다. 추가 SDK없이 .NET에서 압축을 시도한 적이 있습니까? – thismat
아니, 난 특별한 .net 사람이 아니야. 그다지 어렵지는 않지만 표준 zip 프로그램을 사용하면 무료로 업데이트 및 병합 기능을 사용할 수 있습니다. –
당신 당신이 SDK를 피하고 원격 시스템에 소프트웨어를 설치하고 싶다고 지적했습니다.
옵션이 상당히 제한되어 있습니다.
Windows 컴퓨터를 사용하고 있으므로 간단한 스크립트를 사용하지 않으시겠습니까?
이 질문은 파일을 압축하고 압축을 윈도우 VBScript를 사용하는 방법에 대한 몇 가지 제안을 제공하지 : 어떤 SDK를 '설치하지'하는
Can Windows' built-in ZIP compression be scripted?
아무것도. 스크립트를 복사하고 스케줄러를 통해 호출하면 모든 설정이 완료됩니다.
-Adam
데이터 사후 분석의 두 가지 유형이 있습니다 : (일반적으로 매우 큰)
이 이 경우 파생 된 데이터는 보고서로 전달되는 데이터 일 수 있습니다. 원래 데이터의 경우 날짜 및 데이터 유형을 기반으로 체계적인 이름으로 압축 된 압축 파일을 만들뿐입니다. 이 값은 팀원 중 일부 초보자가 원본 데이터를 데이터베이스로 가져 오는 코드를 완전히 제거하는 경우이를 복구 할 수 있다는 것입니다. 파생 된 데이터가 작 으면 파생 된 데이터를 가져 오는 것만으로도 문제가 해결 될 수 있으므로 다른 데이터베이스 테이블로 복사하거나 개별 플랫 파일로 유지하는 것이 좋습니다. 데이터의
, 까다로운 문제 시스템은 문제가 발생하면 데이터를 재생성하는 대신 사임합니다.
어떤 설정입니까? 하드 드라이브가 압축 된 버전의 데이터를 저장할만큼 빠르게 성장합니까? 오프 사이트 백업에 대해 생각해 보셨습니까?
이 서버는 가치가없는 "최종선"프로세스이므로 (이걸 사용하면 ....), 제한된 리소스로 오래된 랩톱에서 실제로 실행 중입니다. 아직 문제가 없으며 안정적인 것으로 입증되었습니다. 파생 된 데이터를 별도의 테이블에 복사하는 것이 좋습니다. – thismat
압축하여 데이터베이스의 이진 필드에 저장하십시오. 그런 다음 데이터 세트를 가져 오기위한 "다시로드 데이터 세트"버튼을 만들 수 있습니다 (데이터 세트를 가져 오기 위해 가져 오는 각 데이터 세트를 추적한다고 가정 함)
이렇게하면 모든 것이 데이터베이스로 백업되고 데이터베이스로 백업, 인덱스 및 링크가 올바르게 이루어지며 동시에 압축됩니다.
좋은 지적입니다. 특별한 압축 유형으로 고려한 실제 문제는 특정 플랫폼의 종속성입니다.이를 피할 수 있다면 싫지만 플러스 규칙을 따르고 어디서나 특별한 SDK를 설치할 수 없습니다 . – thismat
잘라 내기는 다음 날까지 올 필요가 없으므로 하루가 끝날 때까지 백업하거나 실행하면 필요한 것을 보존 할 수 있지만 어쨌든 크기 효율적인 솔루션이라고는 생각하지 않습니다. – thismat
BTW, 나는 SQL Server에서 백업/압축을 피할 것입니다. 나중에 다르게 할 수있는 유연성을 잃는 또 다른 지점입니다. – alphadogg