Hololens에서 OpenCV 사용

Question

우리는 지난 몇 년 동안 맞춤 마커에 대한 자체 추적 기술을 개발했습니다. 이 추적기는 많은 이미지 처리 기능을 위해 OpenCV를 사용합니다. USB 및 GigE 카메라를 사용하여 PC 시스템 (Windows 및 Linux)에서 작동하도록 설계되었지만 Hololens 카메라를 사용하여 Hololens에서 작동하도록 수정하고 싶습니다. 이상적으로 Hololens 깊이 센서를 사용하지만이 포스트의 컬러 이미지를 고집하게합시다.

1. Hololens는 CPU, GPU가있다 플러스 마이크로 소프트는 내가 믿는 영상 처리/홀로 그래픽 계산을 위해 HPU했다. 따라서, 그러한 종류의 하드웨어를 완전히 활용할 수있는 OpenCV 빌드가 있습니까? 나는 의심의 여지가 있고 나는 몇몇 수색을 만들었다 그러나 여기 나의 질문은 어쨌든이다!

2. Hololens GPU/HPU에서 실행할 수있는 OpenCL (CV, CV가 아닌) 구현이 있습니까? OpenCV가 그 구현을 사용할 수 있기 때문입니다.

3. 나는 Hololens가 새로운 UWP (Universal Windows Platform) 패러다임 또는 Microsoft 생태계 어디에서나 실행되는 응용 프로그램을 사용한다는 것을 알고 있습니다. 이 점에서 사용할 수있는 CPU 만 OpenCV 빌드가 있습니까?

대단히 감사합니다.

Answer 1

안녕하세요, hololens에서 openCV를 사용하는 다음 프로젝트가 될 것입니다. hololens 용으로 개발한다면 Unity를 사용한다고 가정합니다. 화합 시장을 점검한다면, 화합을 위해 만들어진 opencv 도구들이 많이 있습니다. 나는 과거와 그 단서에서 그것을 사용했다. hololens에서 문제없이 작업 할 수 있기를 바랍니다.

Answer 2

Sylvain Prevost가 Visual Studio에서 구할 수있는 OpenCV-HoloLens라는 NuGet 패키지가 있습니다. HoloLens C++ 프로젝트에 통합 할 수있는 UWP Dll입니다.

기본적으로 새 프로젝트 -> Windows Universal -> DLL을 만든 다음 NuGet 패키지를 가져 오면 프로젝트를 빌드하고 프로젝트 폴더로 이동하여 DLL 파일을 가져와야합니다. 그곳에.

대다수 개발자들이 사용하고있는 Unity이기 때문에 이전 대답을 가정 한 것으로 가정하므로 Unity 사용자에 대해서도 답변을 제공 할 것입니다.

Unity를 사용하는 사람들에게이 Dll을 Unity로 가져올 수도 있습니다. 그러나 Unity가 UWP 플러그인을 지원하지 않기 때문에 편집기에서 실행할 수는 없지만 HoloLens에 계속 빌드 할 수는 있습니다. 일단 프로젝트를 빌드하면 유니티에 플러그인이라는 새로운 폴더를 만들고 프로젝트의 모든 DLL 파일을이 폴더에 넣기 만하면됩니다.

DLL에서 Unity 스크립트로 통신하려면 컴파일하기 전에 DLL 프로젝트에 C++ 파일을 만들고 거기에서 플러그인을 컴파일 한 후 사용할 수있는 extern 메서드를 만들 수 있습니다 유니티에서 사용할 수 있습니다.