시간이 지나면 정확도가 떨어지는 db에 좋은 디자인

Question

데이터베이스에 20,000 개의 데이터 포인트가 있으며 Google 특수 그래프에 표시하고 싶습니다. 나는 약 2000 포인트가 실제로 그래프를 사용하기에 좋은 숫자 일 것이라고 생각한다. 그래서 나는 실제 데이터 양 대신에 평균을 사용하고 싶다.

이 데이터는 특정 시간의 빈도를 계산합니다.

그래서 첫 번째 주에는 datetime에 10 분 간격이 있고 주파수는 해당 시간 간격 (10 분)의 모든 빈도의 평균이됩니다. . 마찬가지로 그 다음 달 동안 나는 한 시간의 날짜 시간 간격을 갖게 될 것입니다.

저는 이것이 당신도 구글 파이낸싱에서도 볼 수 있다고 생각합니다. 얼마 후에는 확대했을 때도 데이터 포인트의 해상도가 감소합니다.

이렇게 좋은 디자인은 무엇입니까? 이미 이런 도구를 사용하고 있습니까? 나는 20,000 포인트의 거대한 테이블과 커다란 테이블에 대한 질의를 통해 만들어지고 각 테이블의 시간 간격 (1 주, 1 개월 등)을 나타내는 몇 개의 더 작은 테이블을 생각했다. 새로운 평균으로 손질.

Answer 1

원시 데이터를 하나의 테이블에 저장하십시오. 원본 테이블에서 채우기 위해 스크립트 또는 쿼리를 사용하는 두 번째 reprti g 테이블이 있어야합니다. 보고 표를 채우는 변환으로 원하는 버킷을 그룹화하고 평균화 할 수 있습니다. 중요한 것은 초기 삽입시 데이터를 변환하지 않는 것입니다. 모든 원시 데이터를 유지하십시오. 그렇게하면 뭔가를 엉망으로 만들 때 항상 롤백하거나 다시 작성할 수 있습니다.

ETL. 그것을 배우십시오. 그것을 사랑해. 그것을 살아라.