Features2d + Homography가 적절한 결과를 제공하지 않습니다.

Question

SurfFeatureDetect 및 FLANN 매처를 사용하여 개체를 검색하려고합니다. 그러나 코드는 이미지를 정확하게 감지 할 수 없습니다. 결과를 그림 형식으로 게시했습니다.

여기에 아주 흔한 장애이다 OpenCV의 튜토리얼 website

int main(int argc, char** argv){ 
if (argc != 3){ 
readme(); return -1; 
} 

Mat img_object = imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE); 
Mat img_scene = imread(argv[2], CV_LOAD_IMAGE_GRAYSCALE); 
if (!img_object.data || !img_scene.data) 
{ 
    std::cout << " --(!) Error reading images " << std::endl; return -1; 
} 

//-- Step 1: Detect the keypoints using SURF Detector 
int minHessian = 100; 

SurfFeatureDetector detector(minHessian); 
std::vector<KeyPoint> keypoints_object, keypoints_scene; 

detector.detect(img_object, keypoints_object); 
detector.detect(img_scene, keypoints_scene); 

//-- Step 2: Calculate descriptors (feature vectors) 
SurfDescriptorExtractor extractor; 

Mat descriptors_object, descriptors_scene; 

extractor.compute(img_object, keypoints_object, descriptors_object); 
extractor.compute(img_scene, keypoints_scene, descriptors_scene); 

//-- Step 3: Matching descriptor vectors using FLANN matcher 
FlannBasedMatcher matcher; 
std::vector<DMatch> matches; 
matcher.match(descriptors_object, descriptors_scene, matches); 

double max_dist = 0; double min_dist = 100; 

//-- Quick calculation of max and min distances between keypoints 
for (int i = 0; i < descriptors_object.rows; i++) 
{ 
    double dist = matches[i].distance; 
    if (dist < min_dist) min_dist = dist; 
    if (dist > max_dist) max_dist = dist; 
} 

printf("-- Max dist : %f \n", max_dist); 
printf("-- Min dist : %f \n", min_dist); 
//-- Draw only "good" matches (i.e. whose distance is less than 3*min_dist) 
std::vector<DMatch> good_matches; 

for (int i = 0; i < descriptors_object.rows; i++) 
{ 
    if (matches[i].distance < 3 * min_dist) 
    { 
     good_matches.push_back(matches[i]); 
    } 
} 

Mat img_matches; 
drawMatches(img_object, keypoints_object, img_scene, keypoints_scene, 
    good_matches, img_matches, Scalar::all(-1), Scalar::all(-1), 
    vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS); 

//-- Localize the object 
std::vector<Point2f> obj; 
std::vector<Point2f> scene; 

for (int i = 0; i < good_matches.size(); i++) 
{ 
    //-- Get the keypoints from the good matches 
    obj.push_back(keypoints_object[good_matches[i].queryIdx].pt); 
    scene.push_back(keypoints_scene[good_matches[i].trainIdx].pt); 
} 

Mat H = findHomography(obj, scene, CV_RANSAC); 

//-- Get the corners from the image_1 (the object to be "detected") 
std::vector<Point2f> obj_corners(4); 
obj_corners[0] = cvPoint(0, 0); obj_corners[1] = cvPoint(img_object.cols, 0); 
obj_corners[2] = cvPoint(img_object.cols, img_object.rows); obj_corners[3] = cvPoint(0, img_object.rows); 
std::vector<Point2f> scene_corners(4); 

perspectiveTransform(obj_corners, scene_corners, H); 

//-- Draw lines between the corners (the mapped object in the scene - image_2) 
line(img_matches, scene_corners[0] + Point2f(img_object.cols, 0), scene_corners[1] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4); 
line(img_matches, scene_corners[1] + Point2f(img_object.cols, 0), scene_corners[2] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4); 
line(img_matches, scene_corners[2] + Point2f(img_object.cols, 0), scene_corners[3] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4); 
line(img_matches, scene_corners[3] + Point2f(img_object.cols, 0), scene_corners[0] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4); 

//-- Show detected matches 
imshow("Good Matches & Object detection", img_matches); 

waitKey(0); 
return 0;} 

/** @function readme */ 
void readme() 
{ 
std::cout << " Usage: ./SURF_descriptor <img1> <img2>" << std::endl;} 

Answer 1

에서 내 코드입니다. 문제는 호모 그래피가 8 자유도 (8DOF)라는 것입니다. 이것은 당신이 좋은 호모 그래피를 계산하기 위해 최소 4 올바른 대응을해야한다는 것을 의미 :

당신이 볼 수 있듯이

은 호모 그래피는 8 개 매개 변수 (마지막 매개 변수의 시간 단지 규모 요인)가 있습니다. 좋은 conrspondces (inlier) 이외에 나쁜 대응 (outlier)을 걸러 낼 필요가있을 때 문제가 발생합니다. 이 값이 inliers ( total/outliers > 50%)보다 많은 이상 값일 때 RANSAC 프로시 저는 이상 값을 찾지 못하고 이상한 결과를 얻습니다.

이 문제에 대한 해결 방법은 쉽지 않습니다.

• 쿼리 이미지에서 개체의 평면 외 회전 (및 비슷한 축척)을 사용하여 교육 이미지를 사용할 수 있습니다.
• 또는 자유도가 낮은 변환 (예 : 유사성 변환)을 사용하십시오. 이런 식으로 당신은 더 적은 inliers를 필요로 할 것입니다. Altho OpenCV는 강력한 피팅 방법으로이 간단한 변환을 지원하지 않습니다.