하나의 큰 데이터베이스 쿼리가 여러 작은 것들보다 유리한 점

Question

나는 응용 프로그램을 상속 받았으며 그 결과는 1000 개의 청크로 된 (xml 파일이 포함 된) 4 개의보기에서 데이터를 가져 와서 xml 파일에 기록합니다 이 모든 것은 9 가지 가능성을 가진 유형 매개 변수로 나뉩니다. 이는 최악의 경우 해당 유형 /보기 조합의 각 1000 개에 대해 데이터베이스에 36 개의 연결이 있음을 의미합니다.

실제 데이터는 90.000 줄이며이 경우 데이터베이스에서 최대 1000 줄을 900 ~ 936 회 가져옵니다.

이제 모든 데이터를 앱으로 읽어서 앱이 900+ 파일을 작성하는 데 어떤 이점이 있는지 궁금합니다.

1000 줄은 약 800MB이고, 90.000 줄은 약 81GB의 데이터가 전송됩니다.

코드를 한 번에 모두 읽으면 코드를 다시 작성해야합니다.이 코드는 한 번만하는 것이 좋습니다. 90.000 줄 이후에는이 코드를 다시 사용하지 않습니다. 이 방법으로 연결량을 줄이기 위해 작동하는 코드를 다시 작성하는 데 2, 3 시간을 소비하는 것이 가치가 있습니까?

Answer 1

일회성 일이면 모든 것을 최적화하는 데 왜 어떤 노력을해야합니까? 답변 : 아니오.

일반에 대한 답변으로 추가 하시겠습니까? 큰 쿼리에는 작은 쿼리가 많이 있습니다. 거대한 쿼리를 실행하여 미들웨어에 많은 마법을 남기고 있다면 제대로 작동하지 않을 수도 있습니다.

동시 연결이 36 개인 경우 최적이 아니지만 80 기가 바이트의 데이터를 반환 할 수있는 쿼리를 실행하는 것보다 낫습니다. 이상적인 솔루션 (이 코드를 두 번 이상 사용해야하는 경우)은 청크로 데이터를 가져 오기 위해 다시 작성하지만 동시에 많은 연결을 열어 두지 않는 것이 좋습니다.

Answer 2

코드가 이미 작동합니까? 만약 그렇다면, 나는 그것을 재 작성하는데 시간을 낭비하지 않을 것이다. 코드에 버그가 생길 위험이 있습니다. 이것을 한 번 사용하고 다시 사용하지 않으므로 노력할만한 가치가없는 것처럼 보입니다.

Answer 3

우리가 SQL 서버에 대해 이야기 할 경우 많은 작은 것들에 대해 가장 큰 단점 인 (하나의 배치)은 쿼리 계획이 하나만있을 수 있다는 것입니다 배치 당.

Answer 4

일회 일이라면 '아니오'라고 말하고 싶습니다. 여러 번 나는 평소에하지 않았던 (커서) 일을했지만 한 번만 일했기 때문에.

이미 작동하는 것으로 2 시간에서 3 시간을 보내고 다시 사용하지 않는 것이 좋습니다. 분명히 고려해야 할 다른 요소가 있습니다. 마찬가지로 이것은 2-3 시간 동안 프로덕션 데이터베이스를 잠근 것입니까?

비상 사태가 발생하지 않는다면 갖고있는 것을 사용하는 것이 좋습니다.