2
scan.setCaching이 mapreduce 작업에 적합한 이유를 이해하지만 setCacheBlocks (false)가 잘못된 이유를 이해할 수 없습니다. 서버에 과부하가 걸립니까?mapReduce 작업에 scan.setCacheBlocks (false)가 권장되는 이유는 무엇입니까?
A
답변
3
간략히 - 예이면 mapreduce 작업에서 blockcaching을 true로 설정하면 RegionServer가 부담이됩니다.
주로 입력 스캔에서 mapreduce 작업을 사용하는 경우 최근 스캔 된 입력이 다음 맵 단계에서 삭제 될 확률이 높습니다. Blockcache는 LRU입니다. 첫 번째 요청 중에 Blockcache에 데이터를 넣은 다음 두 번째 요청에서 사용하지 않은 데이터를 찾아 교체하고 프로세스가 계속됩니다. 따라서 RegionServer는 BlockCache에서 데이터를 지속적으로 교환하여 아무런 이득도 얻지 못합니다. 불필요한 IO 사용량이 너무 많습니다.
그러나 정상적인 읽기의 경우 데이터 지역에서 얻으려면 사실로 유지하는 것이 좋습니다.
관련 문제
- 1. MapReduce 작업에 여러 입력
- 2. MapReduce 작업에 파일 추가가 완전히로드되지 않는 이유는 무엇입니까?
- 3. MapReduce 작업에 대한 압축 효과는 무엇입니까?
- 4. MapReduce 작업에 로그인하기위한 표준 사례
- 5. 권장되는 QDialog 인스턴스가있는 이유는 무엇입니까?
- 6. jasmine에서 false가 정의되지 않는 이유는 무엇입니까?
- 7. config.cache_classes = false가 작동하지 않는 이유는 무엇입니까?
- 8. Double 변수를 비교해도 false가 반환되는 이유는 무엇입니까?
- 9. Disco mapreduce 작업에 대한 출력 uri 지정
- 10. 핸들러가있는 개인 변수가 권장되는 이유는 무엇입니까?
- 11. Visual Studio에서 관리자 권한이 권장되는 이유는 무엇입니까?
- 12. derby.js를 사용하는 것이 권장되는 이유는 무엇입니까
- 13. MapReduce 단계에서 Sort가 사용되는 이유는 무엇입니까?
- 14. crossdomain.xml에서 보안 false가 무엇입니까?
- 15. 컨트롤러 작업에 @ResponseBody를 추가해야하는 이유는 무엇입니까?
- 16. null + false가 null + "false"와 다른 이유는 무엇입니까? C#에서
- 17. 빈 자바 스크립트 객체가 true 또는 false가 아닌 이유는 무엇입니까?
- 18. htmltextbox 속성 .selectable = false가 actionscript 3에서 작동하지 않는 이유는 무엇입니까?
- 19. 편집기 메뉴 작성에 권장되는 방법은 무엇입니까
- 20. 권장되는 장고 설정은 무엇입니까?
- 21. 프로그래머에게 권장되는 OS는 무엇입니까?
- 22. CMS에 권장되는 아키텍처는 무엇입니까?
- 23. 권장되는 http 라이브러리는 무엇입니까?
- 24. Confluence에 권장되는 브라우저는 무엇입니까?
- 25. 권장되는 gitattributes 설정은 무엇입니까?
- 26. 권장되는 TFS 구조는 무엇입니까?
- 27. Google App Engine에서 세 번째 MapReduce 작업 (여러 개의 BlobKey/출력 전달)을 MapReduce 작업에 전달하기
- 28. 여러 순차적 HBase 쿼리의 결과를 Mapreduce 작업에 전달
- 29. Hadoop을 재시작 할 때 실행중인 MapReduce 작업에 영향을줍니다.
- 30. quickCheck에서 False가 False가 아니라고 말하고있는 것 같습니다.
http://grokbase.com/p/hbase/user/124mhgtesj/applying-filters-to-resultscanner – Zyn
@Zyn님께 고마워요. 그렇지만 왜 의존하지 않는지 설명하지는 않습니다. mapRed 작업을위한 블록 캐시 ... 내가 그것을 놓치지 않았다면. – hba