2009-09-07 9 views
1

크로스 플랫폼 애플리케이션에서 텍스트 파일을 허용 할 수있는 합리적인 최대 크기는 얼마입니까? 나는 이것이 지나치게 단순화 된 질문이라는 것을 이해합니다.크로스 플랫폼 애플리케이션에서 텍스트 파일을 허용해야하는 합리적인 최대 크기는 얼마입니까?

저희 팀에서는 클라이언트 용 데이터를 데이터베이스에로드하기위한 대량로드 인터페이스를 구현하고 있습니다. CSV 파일을 작성한 다음 해당 파일을 해당 데이터베이스 (이 시점에서 Oracle 또는 SQL Server)에로드합니다. 비교적 많은 수의 레코드를 처리 할 수 ​​있습니다.

여러 텍스트 파일로 분리하기 전에 이러한 텍스트 파일의 크기를 제한해야합니까? 현재 우리는 Linux와 Windows에 배포하고 있지만 OS X 플러스를 사용하는 개발자도 있습니다. 일부 고객의 경우이 운영 체제의 버전이 다소 있습니다. 나는 이것이 우리가 연결하고있는 OS, 파일 시스템 및 RDBMS에 의존하고 있다고 생각합니다. 각 개별 플랫폼에 대한 제한을 설정하는 대신 단순함을 위해 전체 제한을 하나만 갖기를 바랍니다 (한도가 지나치게 제한적이지 않은 한). 이것도 필요한가요, 아니면 이사회 전체에서 설정할 수있는 모자가 있습니까?

+0

이 질문은 정말로 파이썬 특정입니까? 그렇다면 텍스트에서 언급해야합니다. 그렇지 않으면 파이썬 태그를 제거하는 것이 좋습니다. –

+0

2GB로 동의합니다. 그러나 스트레스 테스트를 실행하여 특정 파일 크기가 지나면 성능이 저하되기 시작할 수도 있습니다. 그러면 현재 CSV 파일을 분할하기를 원할 것입니다. – DmitryK

답변

7

대부분의 현대 시스템은 멀티 기가 바이트의 파일을 처리 아무런 문제가 없지만, 당신이주의해야 할 경우, 다음 2기가바이트의 한계를 설정하는 것이 유용 할 수 있습니다 :

  • 파일 시스템이 조금이라도 밖으로 오래된 (예를 들어, FAT16에 대한) 문제 저장 기가 바이트 파일이 없습니다
  • 2GB의 하나 (부분 this comparison of file systems 유용 할 수있는 파일 시스템의 경우를

을 생각하는 것보다 더 자주 사용되는 부호있는 32 비트 정수에 의해 해결 될 수있다 별로 많지 않은 것을 많이 나열합니다. ely-used 시스템들도있다 ').

+0

+1하지만 2GB보다 큰 파일을 가지고 있다면 뭔가하는 것이 자신의 방식대로 진행되지 않는다고 덧붙일 것입니다. =) –

+1

@Clement : 나는 그렇게 말하지 않을 것이다. 때로는 이미지와 다른 문서를 데이터베이스에 저장 한 다음 데이터베이스 덤프를 2GB보다 쉽게 ​​커질 수 있습니다. LOB가없는 DB의 경우에도 2GB는 덤프 용으로 무리한 크기가 아닙니다. –

+2

ㅎ ... FAT16은 "약간"오래된 것입니까? :-) –

관련 문제