일부 노드가 hadoop에서 에지 노드의 아키텍처를 설명 할 수 있습니까? 나는 인터넷에서만 정의를 찾을 수있다. 나는 일부 쿼리 클러스터의 에지 노드에 대한 세부 정보가 필요합니다.
1
) 가장자리 노드를 클러스터의 일부 (어떤 장점이 클러스터 내에 있을지 어떨지를 우리가 어떻게합니까 있습니다.이 HDFS에 데이터의 블록을 저장합니까.2)할까요 에지 노드가 클러스터 외부에 있어야합니다.
3) 내가 아는 모든 문서를 참조하십시오.
Edgenodes는 일반적인 하둡 용어가 아닙니다. 귀하의 질문에 대답해야 할 동일한 정의를 찾았 으면합니다. 이것은 Dell의 것입니다.
EdgeNode - EdgeNode는 외부 응용 프로그램, 도구 및 사용자가 Hadoop 환경을 활용해야하는 액세스 지점입니다. EdgeNode는 Hadoop 클러스터와 회사 네트워크 사이에 위치하여 Hadoop 환경에 대한 액세스 제어, 정책 적용, 로깅 및 게이트웨이 서비스를 에 제공합니다. 일반적으로 Hadoop 환경에는 최소 하나의 EdgeNode가 있으며 성능 요구 사항에 따라 더 많습니다.
그래서 여러분에게 달려 있습니다. Edgenode가 클러스터에있을 수도 있고 그렇지 않을 수도 있습니다. Hadoop 소프트웨어를 실행하거나 액세스 할 수 있습니다. 내가 볼 수있는 한 근본적으로 하나를 필요로하지 않습니다. 이것은 클러스터에 액세스 할 수있는 방법에 대한 이름입니다.
+1 Dell 설명입니다. 제 생각에 Hadoop 클러스터의 에지 노드는 일반적으로 Hadoop 클러스터의 클라이언트 측 작업을 실행하는 노드입니다. 일반적으로 에지 노드는 HDFS, MapReduce 등과 같은 Hadoop 서비스를 포함하는 노드와 별도로 유지되며 주로 컴퓨팅 리소스를 분리합니다. 노드 수가 적은 소규모 클러스터의 경우 마스터 서비스 (JT, NN 등), 슬레이브 서비스 (TT, DN 등) 및 게이트웨이 서비스에 대한 역할의 혼합 조합을 실행하는 노드를 보는 것이 일반적입니다.
동일한 노드에서 마스터 및 슬레이브 Hadoop 서비스를 실행하는 것이 이상적인 설정이 아니므로 사용중인 항목에 따라 확장 및 리소스 문제가 발생할 수 있습니다. 이러한 종류의 구성은 일반적으로 소규모 개발 환경에서 발생합니다.
1)는 에지 노드는 에지 노드가 클러스터의 일부가 될 필요가 없습니다 클러스터 의 일부가 될 필요가 있는가, 그러나 그것은 경우 : 그와
여기에 귀하의 질문에 어떤 대답을 게시입니다 말했다 (특정 Hadoop 서비스 역할이 실행되지 않음을 의미) 클러스터 외부에 있기 때문에 클러스터에서 작업을 제출하기 위해 Hadoop 바이너리 및 현재 Hadoop 클러스터 구성 파일과 같은 일부 기본 조각이 필요합니다.
2) 클러스터 내부에 있다면 어떤 이점이 있습니까? 사용중인 배포판에 따라 클러스터에서 에지 노드가 실행되므로 클러스터 노드의 모든 Hadoop 구성 항목을 중앙 집중식으로 관리 할 수 있으므로 구성 파일을 업데이트하는 데 필요한 관리 작업을 줄이는 데 도움이됩니다. 일반적으로 이것은 일대 다 접근 방식으로 config 항목이 한 위치에서 업데이트되고 클러스터의 모든 (많은) 노드로 푸시됩니다.
그러나 클러스터의 노드 중 하나가 에지 노드로도 사용되면 클라이언트 작업에서 소비하는 CPU 및 메모리 리소스가있어 실행중인 Hadoop 서비스에서 사용할 수있는 사용 가능한 리소스를 저하시킵니다. 그 노드.
3) hdfs에 데이터 블록을 저장합니까? 에지 노드가 DataNode 서비스로 구성되어 있지 않으면 데이터 블록이 해당 노드에 저장되지 않습니다.
4) 에지 노드가 클러스터 외부에 있어야합니까? 위에서 언급했듯이 클러스터 환경과 유스 케이스에 따라 달라질 수 있습니다. 클러스터 외부에서이를 구성해야하는 이유 중 하나는 클라이언트 실행 및 Hadoop 서비스를 분리 된 상태로 유지하는 것입니다.
에지 노드를 별도로 유지하면 해당 노드가 Hadoop 처리에 사용할 수있는 전체 컴퓨팅 리소스를 활용할 수 있습니다.
희망이 도움이됩니다.
에지 노드는 hadoop 클러스터의 게이트 키퍼 일 뿐이며 하이브, 돼지와 같은 hadoop 응용 프로그램에 액세스 할 수 있습니다. 오히려 클러스터와 통신하는 클라이언트라고 할 수 있습니다.