노즈팁 3D 포인트 클라우드로부터의 탐지

Question

머리 포즈 추정 알고리즘을 구현하려고하는데 비행 시간 카메라를 사용하고 있습니다. 카메라에서 얻은 포인트 클라우드 데이터에서 코끝을 감지해야합니다. 코끝이 어디에 있는지 알고 난 후에 N 개의 가장 가까운 이웃 점을 샘플링하고 Yaw 및 Pitch 각도를 검색하기 위해 점 구름의 해당 부분에 최소 제곱 오류 평면 피팅을 수행합니다. 코의 감지는 전두엽의 머리 자세 만이 아니라 다른 머리 자세에 적용됩니다.

나는 비행기 피팅을 구현하고 잘 작동하지만 3D 데이터에서 코끝을 감지하는 방법을 모르겠습니다.

이 작업을 수행하는 방법에 대한 조언은 크게 감사하겠습니다. I는 깊이 Z> .5M에 제한이 넥트 이미지로 작업하기 위해 사용

Answer 1

감사 V.은 아래 참조. ToF 카메라로이 제한이 없기를 바랍니다. 객체로서의 코는별로 발음되지는 않지만 깊이있는 이미지에서 연결된 구성 요소를 사용하여 감지 할 수 있습니다. 그렇지 않으면 평평한면에서 얼룩으로 찾아야합니다. 얼굴 깊이를 얼굴 깊이와 비교하여 얼굴이 코인지 확인할 수 있습니다. 이것은 물론 코를 다르게 찾아야하는 비 정면 자세에는 적용되지 않습니다.

논리적 인 처리 과정을 뒤집을 것을 제안합니다. 코를 찾은 다음 얼굴을 먼저 찾은 다음 머리를 먼저 찾습니다 (깊이 대비가 좋은 큰 개체로). 그런 다음 코를 찾습니다. 머리는 3D의 크기와 모양에 의해 잘 정의되며 얼굴 2D 검출은 3D에서 유사성 변환을 사용하여 원시 헤드 모델을 3D 점 구름에 맞출 수 있습니다.

link to Kinect depth map