Hadoop FileSystem.getFS()가 약 2 분 동안 일시 중지됩니다.

Question

매우 이상한 문제가 있습니다. 나는 dfs-datastores Pail 추상화를 사용하여 Java에서 HDFS에 데이터를 씁니다. 나는 양동이 조각이 문제에 중요하다고 생각하지 않습니다.

내 로컬 파일 시스템의 경로를 사용하여 org.apache.hadoop.fs.FileSystem getFS (java.lang.String 경로)를 호출하면 약 2 분 동안 일시 중지 된 것처럼 보이지 않는 것처럼 보입니다. 이것은 내 노트북에있다.

이상한 일은 내가 오늘 내 사무실의 네트워크에 있었을 때 정말 빠르게 작동한다는 것입니다.하지만 이제는 집에 돌아와서 다시 해내 고 있습니다. Java 1.7을 사용하여 우분투 10.10 64 비트를 실행하고 있습니다.

누구나하고있는 아이디어가 있습니까? 직장에있을 때와 집에있을 때 어떤 점이 다를 수 있습니까?

업데이트 : 나는 디버거를 사용하여 코드를 단계별 실행 중이며 Configuration.loadResource()에 문제가있는 것으로 보입니다. 여러 번 호출하면 해당 함수에서 돌아 오는 데 5-10 초가 걸립니다.

업데이트 2 : 나는 이것을 좀 더 좁혔습니다. 가장 큰 중단은 KerberosName.setConfiguration()을 호출 할 때인 것처럼 보입니다. Active Directory가 Kerberos 서버로 작동 한 이후로 빠르게 작동하는 이유를 설명합니다. 여기 집이 없기 때문에 찾을 수 없습니다. 이제 그들은 왜 세계에서 자바 Kerberos를로드하려고하는지에 대해 의문을 제기합니다.

Answer 1

솔루션을 찾았습니다 (또는 적어도 해결해야 함). 나는 krb5-kdc 꾸러미를 설치했다. 그리고 나의 작은 프로그램은 어떤 설명 할 수없는 멈춤없이 빨리 달린다. 이 후 krb5-kdc를 제거하고 테스트를 했는데도 여전히 빠르게 실행되었습니다. /etc/krb5.conf를 제거하고 일시 중지를 다시 시작했습니다. 우분투에서 Hadoop 라이브러리를 사용하는 것 같습니다 (최소한) /etc/krb5.conf 파일이 필요합니다.

아마도 다른 사람에게 도움이 될 것입니다.