bigquery에서 postgresql로 데이터 덤프

Question

Google bigquery에서 3GB 4-5 테이블에 대해 가지고 있으며이 테이블을 Postgres로 내보내려고합니다. 내가 찾은 문서를 읽으려면 다음 단계를 수행해야합니다.

1. Google 버킷에서 CSV로 데이터를 추출하는 작업을 만듭니다.
2. Google 저장 용량에서 로컬 저장 용량에 이르기까지.

데이터베이스-

구문 분석 모든 CSV 그래서 위의 단계에서이 모든 것을 할 수있는 효율적인 방법이있다. 나는 1 단계와 2 단계가 효율성의 기회를 건너 뛸 수는 없다는 것을 알고 있지만 3 단계에서 온라인으로 읽는다면이 과정을 수행하는 데 2 ​​~ 3 시간이 걸리는 것으로 나타났습니다.

은 누구도 날이

Answer 1

이 예제 프로젝트를 확인하고 당신이 그것을 최적화 너무 일찍 그 시간을 받아 들일 수 있다면, 당신은 무엇을 얻을 번 참조 할 수있는 효율적인 방법을 제안 할 수 있습니다. SSD에서 1Gbit 인터넷 액세스 및 서버를 실행하는 경우이 모든 것이 3-5 분 내에 가능하다는 것을 알 수 있습니다.