2012-11-18 1 views
0

나는 내 미래 프로젝트 중 하나 인 Hadoop과 PIG (지난 2 일간)를 배우기 시작했습니다.PIG가 자동으로 기본 HDFS로 연결 되었습니까?

실험을 위해 가상 분산 모드 및 PIG (지도 축소 모드)로 Hadoop (기본 로컬 호스트 : 9000의 HDFS)을 설치했습니다.

./bin/pig 명령을 입력하여 PIG를 초기화하면 GRUNT 명령 줄이 시작되고 돼지가 HDFS (localhost : 9000)와 연결된 메시지를 받았는데 나중에 돼지를 통해 HDFS에 액세스 할 수있었습니다.

나는 다양한 인터넷 기사에 따라 HDFS에 액세스하기 위해 PIG에 대한 수동 구성을 수행 할 것으로 예상했습니다.

제 질문은 PIG가 기본 HDFS 구성 (localhost : 9000)을 확인한 곳입니다. 나는 돼지를 확인했다. 그러나 나는 아무것도 발견하지 못했다. 나중에 기본 HDFS 구성을 변경할 수 있으므로이 정보가 필요합니다.

BTW, 내 OS PATH 변수에 HADOOP_HOME 및 PIG_HOME이 정의되어 있습니다.

답변

1

돼지를 설치할 때 (v0.10.0으로 추측) 어떻게 HDFS에 연결해야하는지 알려줘야합니다. 어떻게했는지 모르겠지만 은 일반적으로입니다.이 작업은 hadoop conf 디렉토리 경로를 PIG_CLASSPATH 환경 변수에 추가하여 수행됩니다. HADOOP_CONF_DIR도 설정할 수 있습니다.

불평 조개를 시작하는 경우 돼지는 Hadoop 구성 XML의 디렉토리를 찾고, fs.default.name (core-site.xml) 및 mapred.job.tracker (mapred-site.xml)의 값을 취합니다. 즉, 네임 노드와 JobTracker.

참조를 위해 돼지 셸 스크립트를보고 env를 확인하십시오. 변수가 수집되고 평가됩니다.

+0

감사합니다. 예. v0.10.0을 사용합니다 .... wnload .tar 그리고 압축을 풉니 다. (내 Mac에서) - untar 이후에 직접/bin/pig를 실행하여 과음을 표시하고 "돼지가 HDFS에 성공적으로 연결되었습니다"라는 메시지가 나타납니다 ... PIG 설치를 위해 Java 명령을 실행하지 않았습니다. .... – Rushik

+0

어디서나 실제 PIG (빈/돼지) 스크립트를 보지 않았습니다 ... 나는 돼지가 HADOOP_HOME 등을 초기화하는 동안 (빈/돼지를 실행할 때) 어떻게 사용하는지에 대한 정보를 얻었습니다 - 감사합니다 – Rushik

+0

그래서 요점은, 돼지는 URL에 대해 자체 설정을 가지고 있지 않으며, hadoop/conf/core-site.xml에 정의 된 것을 사용한다는 것입니다. – barclay

0

돼지

1 돼지가 실행하는 하둡 클라이언트를 찾는 HADOOP_HOME을 사용하는 3 가지 방법으로 기본 HDFS에 연결 할 수 있습니다. 당신의 HADOOP_HOME은 bash_profile 수출에 이미 설치되어 있어야합니다 HADOOP_HOME = ~/myHadoop/하둡-2.5.2

2 또는 다른 사람에 대한 XML 파일을 포함하여 HADOOP_CONF_DIR가 이미 설치되었습니다 가능성이있을 수 있습니다 하둡 구성 수출 HADOOP_CONF_DIR = $ HADOOP_HOME을/etc/하둡/

3 그리고 이러한 당신은 또한 PIG_HOME/conf의 디렉토리 아래에 존재하는 pig.properties을 변경하여 기본 HDFS 에 연결할 수 있습니다 설치하지 않은 경우

관련 문제