NUMA 시스템에서 HWLOC를 사용하는 realloc()

Question

다른 정책을 기반으로 메모리를 할당하는 여러 가지 방법을 제공하는 여러 가지 맞춤 할당 기가 있습니다. 그 중 하나는 정의 된 NUMA 노드에 메모리를 할당합니다. 할당 자에 대한 인터페이스는 직선적이다

template<typename config> 
class NumaNodeStrategy 
{ 

public: 

    static void *allocate(const size_t sz){} 

    static void *reallocate(void *old, size_t sz, size_t old_sz){} 

    static void deallocate(void *p, size_t sz){} 
}; 

할당 자체 할당 정책 등 Howver, hwloc에서만 할당 및 free'ing 메모리 및 I 방법을 제공 대해 설정된 따른 파라미터로 hwloc_alloc_membind_nodeset() 방법을 사용하여 처리 reallocate()을 어떻게 구현해야하는지 궁금합니다.

두 가지 가능한 솔루션 :

1. 는 노드 집합의 메모리 할당/바인딩 정책을 설정하는 새로운 메모리 영역과 memcpy() 데이터
2. 사용 hwloc_set_membind_nodeset()을 할당하고 일반 malloc()/posix_memalign() 및 realloc()를 사용합니다.

누구든지이 권리를 얻을 수 있습니까?

업데이트 :

내가 질문을 더 구체적인 만들려고 : 새 메모리를 할당하고 주위 페이지를 이동하지 않고 realloc()가 hwloc를 사용하여 수행 할 가능성이 있습니까?

Answer 1

hwloc_set_area_membind_nodeset 트릭이 맞습니까?

HWLOC_DECLSPEC int  
    hwloc_set_area_membind_nodeset (hwloc_topology_t topology, 
    const void *addr, size_t len, hwloc_const_nodeset_t nodeset, 
    hwloc_membind_policy_t policy, int flags) 

귀속 노드 세트에서 NUMA 노드 (들) (ADDR 렌)에 의해 식별되는 이미 할당 메모리.

반환 값 : 액션이 EXDEV로 설정 errno를

-1

을 지원하지 않는 경우 바인딩이

에 시행 할 수없는 경우

• -1, errno를 세트는 ENOSYS하기 이 호출은 mbind을 통해 구현됩니다. 영역의 페이지를 터치하지 않은 경우에만 작동하므로 두 번째 솔루션에서 메모리 영역을 이동하는 것이 더 정확한 방법입니다. UPDATE 터치 된 데이터를 이동하는 MPOL_MF_MOVE * 플래그가 있습니다.

  내가 아는 재 할당 및 복사하지 않고 페이지를 이동하는 유일한 콜은 move_pages

  move_pages 다른 NUMA 노드에 실행 프로세스의 주소 공간에있는 페이지 세트를 이동합니다.

Answer 2

틀렸어. mbind는 접촉 된 페이지를 이동할 수 있습니다. MPOL_MF_MOVE를 추가하기 만하면됩니다. HWLOC_MEMBIND_MIGRATE 플래그를 추가하면 그 값은 hwloc_set_area_membind_nodeset()입니다.

move_pages은 다른 방법으로 사용할 수 있습니다 (좀 더 유연하지만 독립적 인 페이지를 다른 위치로 이동할 수 있기 때문에 약간 느립니다). MPOL_MF_MOVE의 mbind와 move_pages (및 migrate_pages)는 입력을 페이지 목록으로 변환 한 후 mm/migrate.c에서 정확히 동일한 migrate_pages() 함수를 사용하여 끝납니다.

Answer 3

편집에 회신하려면 : hwloc에 realloc이 없으며 현재 추가 할 계획이 없습니다. (C 함수의 프로토 타입)을 자유롭게 느낀다면 https://svn.open-mpi.org/trac/hwloc

에 회신하려면 ogsx에 회신하려면 메모리 바인딩이 구체적이 아니고 가상 메모리 영역과 스레드 가능성이 있습니다. 특유한. realloc하면 libc는 특별한 일을하지 않습니다. 1) 동일한 페이지 내에서 다시 할당 할 수있는 경우 동일한 노드에서 메모리가 확보됩니다. 좋지만 희귀합니다. 특히 대형 버퍼의 경우. 2) 다른 페이지 (대용량 버퍼의 경우 대부분)에서 다시 할당되는 경우, 해당 페이지가 이전에 malloc lib에 의해 실제 메모리에 이미 할당되어 있는지 (malloc되고 가상 메모리에서 해제되었는지, 하지만 여전히 실제 메모리에 할당 됨) 2.a) 가상 페이지가 할당 된 경우 과거에 여러 가지 이유로 다른 노드에 할당되었을 수 있습니다. 2.b) 새 가상 페이지가 아직 할당되지 않은 경우 기본값은 현재 노드에 할당하는 것입니다. 이전에 set_area_membind() 또는 mbind()를 사용하여 바인딩을 지정한 경우 올바른 노드에 할당됩니다. 이 경우에 행복 할 수 있습니다.

요컨대, 그것은 많은 것들에 달려 있습니다. 복잡한/숨겨진 내부 일을하는 malloc 라이브러리를 사용하고 싶지 않다면 (특히 버퍼가 큰 경우) malloc 대신 mmap (MAP_ANONYMOUS)을 사용하면 페이지가 실제로 필요할 때 할당된다는 간단한 방법입니다 그들. 그리고 realloc과 비슷한 것을하기 위해 mremap을했습니다.

ALLOC mmap에 (세로) + set_area_membind realloc을가 mremap는 + set_area_membind (전체 mremap'ed 버퍼에)

그 사용 없지만 재밌 절대하게된다.