0
TeraBytes의 데이터로 작업 할 때, 그리고 일반적인 데이터 필터링 문제에 대해 Apache PIG가 올바른 선택입니까? 또는 맞춤 MapReduce 코드로 작업하는 것이 더 좋습니다.Apache Pig는 입력 데이터 크기에 제한이 있습니까?
A
답변
3
Apache PIG는 저장 영역의 역할을하지 않습니다. PIG는 Hadoop에서 실행할 수있는 코드 작성을 단순화하는 스크립팅 언어입니다. PIG 스크립트는 Hadoop에 제출되고 다른 MapReduce 작업과 같은 방식으로 실행되는 Hadoop MapReduce 작업 세트로 컴파일됩니다.
하둡은 PIG가 아니라 데이터 저장을합니다.
질문에 대답하십시오 : 아니오, 입력 데이터의 크기에는 제한이 없습니다. 입력 데이터가 PIG로드 함수로 구문 분석 될 수 있고 Hadoop InputFormats로 분할 가능하면 가능합니다.
PIG 스크립트는 표준 Java Hadoop 작업보다 쉽고 빠르며 PIG는 멀티 쿼리 실행과 같은 영리한 최적화 기능을 많이 갖추고있어 복잡한 쿼리를 더 빨리 실행할 수 있습니다.
관련 문제
- 1. MSMQ 대기열 크기에 제한이 있습니까?
- 2. 루비의 배열 크기에 제한이 있습니까?
- 3. Plone에 업로드되는 데이터의 크기에 제한이 있습니까?
- 4. HttpWebRequest에서 http 인수 값의 크기에 제한이 있습니까?
- 5. Android Emulator에 비트 맵 크기에 제한이 있습니까?
- 6. IOS 문서 앱의 파일 크기에 제한이 있습니까
- 7. 스택의 전체 변수 크기에 제한이 있습니까?
- 8. DB2 JDBC 트랜잭션 크기에 제한이 있습니까?
- 9. Java 프로그램에서 문자열 크기에 제한이 있습니까?
- 10. Apache Pig는 파일 대신 STDIN에서 데이터를로드 할 수 있습니까?
- 11. Google 캘린더 데이터 API로 입력 할 수있는 일정에는 제한이 있습니까?
- 12. 우분투의 PHP exec() - 전달할 수있는 인수의 크기에 제한이 있습니까?
- 13. C에서 fwrite를 사용할 때 파일 크기에 2GB 제한이 있습니까?
- 14. NuSoap에서 요청 메시지 크기에 대한 기본 제한이 있습니까?
- 15. 텍스트 파일에 크기 제한이 있습니까?
- 16. System.Data.DataTable에 크기 제한이 있습니까?
- 17. jQuery에서 replaceWIth를 사용하여 데이터 크기 제한이 있습니까?
- 18. Flex 3의 ExternalInterface에 데이터 크기 제한이 있습니까?
- 19. PHP : MD5 해싱을위한 입력 문자열의 길이에 실질적인 제한이 있습니까?
- 20. java를 사용할 때 프로세스 입력 스트림에 제한이 있습니까?
- 21. HTML 'keywords'메타 태그에 입력 할 수있는 문자에는 제한이 있습니까?
- 22. MySQL InnerJoin에 제한이 있습니까?
- 23. 최악의 복잡도가 입력 크기에 반비례하는 알고리즘?
- 24. Firefox에서 HTML 크기에 맞춰 양식 입력 받기
- 25. SnmpExtensionTrap의 크기 제한이 있습니까?
- 26. MySQL 쿼리에 제한이 있습니까?
- 27. beanstalkd에 tubename에 제한이 있습니까?
- 28. WritePrivateProfileStruct에 크기 제한이 있습니까?
- 29. 얼마나 많은 제한이 있습니까?
- 30. 작업 수에 제한이 있습니까?
정확히 내가 알아야 할 것 - 입력 데이터의 크기에는 제한이 없습니다. " 그걸 당연한 것으로 받아 들여야합니까? 나머지는 괜찮습니다. HDFS에 충분한 저장 공간이 있고 파일은 InputFormats에서 쉽게 인식 할 수 있습니다. –
하드웨어, 네트워크, 메모리, 코어, 블레이드 만 제한됩니다. Apache PIG가 아닙니다. BLOCK으로 LZO로 압축 된 SequenceFiles를 사용해 볼 수 있습니다. PIG는 기본적으로하지 않지만 Piggy Bank에는 일부가 있습니다. – alexeipab