0
Hadoop 2.7 및 Hive 2.0.1이 실행 중입니다. HiveQL 쿼리를 쉽게 작성할 수 있도록 Hive 편집기를 설치하려고합니다. 따라서, 나는 색조 3.10을 다운로드하여 만들었습니다. HDFS 및 Hive와 함께 작동하도록 구성합니다 (올바른지 확신 할 수 없음). 나는 색조를 시작하면 설정을 확인하고 나는Apache Hadoop 및 Hive (Redhat)에 색조 설치
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
나에 대해 신경 쓰지 않는다-site.xml 파일을 HDFS 내에서 정보 아래에있는 색조
[27/Jul/2016 23:08:55 -0700] webhdfs ERROR Failed to determine superuser of WebHdfs athttp://40.221.1.44:50070/webhdfs/v1/: <HTML><HEAD>
.....
.....
[27/Jul/2016 23:10:10 -0700] webhdfs INFO WebHdfs at http://40.221.1.44:50070/webhdfs/v1/ -- Validation error: <HTML><HEAD>
<TITLE>Network Error</TITLE>
<script type="text/javascript">document.location.href="http://fr0-proxy-vip.eu.ab.corp/error/page.php?id=tcp_error&proxy=fr0-proxylan-p01&summary=Network Error&url=40.221.1.44&category=none&user=&ip=40.221.1.44&details=A communication error occurred: "Operation timed out""</script>
<meta http-equiv="REFRESH" content="0;url='http://fr0-proxy-vip.eu.ab.corp/error/page.php?id=tcp_error&proxy=fr0-proxylan-p01&summary=Network Error&url=40.221.1.44&category=none&user=&ip=40.221.1.44&details=A communication error occurred: "Operation timed out"'">
</HEAD>
<BODY>
<FONT face="Helvetica">
<big><strong></strong></big><BR>
</FONT>
<blockquote>
<TABLE border=0 cellPadding=1 width="80%">
<TR><TD>
<FONT face="Helvetica">
<big>Network Error (tcp_error)</big>
<BR>
<BR>
</FONT>
</TD></TR>
<TR><TD>
<FONT face="Helvetica">
A communication error occurred: "Operation timed out"
</FONT>
</TD></TR>
<TR><TD>
<FONT face="Helvetica">
The Web Server may be down, too busy, or experiencing other problems preventing it from responding to requests. You may wish to try again at a later time.
</FONT>
</TD></TR>
<TR><TD>
<FONT face="Helvetica" SIZE=2>
<BR>
For assistance, contact the Service Desk (8666).
</FONT>
</TD></TR>
</TABLE>
</blockquote>
</FONT>
</BODY></HTML>
(error 503)
의 서버 로그에 몇 가지 오류를 관련 webhdfs 참조 다른 앱이지만 Hadoop과 Hive에 정말 관심이 있습니다. 어떤 도움을 주셔서 감사합니다.
HDFS-site.xml의
<configuration>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
I 사용자 baamarna5617으로 하둡을 설치 한
<property>
<name>hadoop.proxyuser.baamarna5617.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.baamarna5617.groups</name>
<value>*</value>
</property>
내 코어를 site.xml.
색조 브라우저를 실행할 때이 이름이 'baamarna5617'인 사용자 계정을 만들었습니다. 내 hdfs에서/user/baamarna5617을 만들었습니다. 내 mapred-site.xml 파일에서
, 나는 아래 라인
<property>
<name>jobtracker.thrift.address</name>
<value>0.0.0.0:9290</value>
</property>
<property>
<name>mapred.jobtracker.plugins</name>
<value>org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin</value>
<description>Comma-separated list of jobtracker plug-ins to be activated.</description>
</property>
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
내 하이브-site.xml 파일을 포함했다
<property>
<name>hive.hwi.listen.host</name>
<value>40.221.1.44</value>
</property>
<property>
<name>hive.server2.transport.mode</name>
<value>http</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>40.221.1.44</value>
</property>
<property>
<name></name>
<value>http</value>
</property>
<property>
<name>hive.server2.webui.host</name>
<value>40.221.1.44</value>
</property>
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<property>
<name>hive.server2.thrift.http.port</name>
<value>10001</value>
</property>
<property>
<name>hive.server2.thrift.http.path</name>
<value>cliservice</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.metastore.thrift.framed.transport.enabled</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
추가 정보 : -
네트워크 프록시 역할을하고 있습니다.
webhdfs를 사용하여 디렉토리를 만들지 못했습니다. hdfs 디렉토리를 나열하고 파일을 읽을 수 있지만 hdfs에서 파일 이름 바꾸기 및 디렉토리 생성이 실패합니다.