Convolutional ImageNet 네트워크가 이미지 반전에 변하지 않습니다.

Question

이미지 분류를 위해 Deep Learning Caffe 프레임 워크를 사용하고 있습니다.
얼굴이있는 동전이 있습니다. 그들 중 일부는 옳다는 지시를 받았다.

그들을 분류하려면 이미 이미지 패턴을 많이 캡처 한 사전 훈련 된 ImageNet 네트워크에서 가중치 및 구조를 취하고 대부분 내 교육 세트에 맞는 마지막 레이어를 교육하십시오.

그러나이 세트에서는 netowork이 작동하지 않는다는 것을 알았습니다. 예를 들어 leftdirected로 동전을 가져 와서 가로로 뒤집은 이미지를 생성하고 오른쪽면으로 표시했습니다. 길쌈 그물 가져 세트 ~ 50 %의 정확도를 들어

는 정확히 무작위 결과입니다.

나는 2 개의 이미지 (2 개의 뒤집힌 "h"글자)에 그물을 훈련 시키려고했다. 그러나 동일한 결과 - 50 %. (만약 내가 diffetrent 편지를 선택하고 augemeneted 데이터 집합에 그물을 훈련 - 나는 100 % 정확도를 매우 빨리받습니다). 그러나 뒤집기에 대한 불변성이 나의 분류를 위반했다.

내 질문은 : pretrained imagenet의 장점을 사용하는 저를 allowes하지만, 어떻게 든이 불변성을 깨고 일부 aproach가 존재한다. 그리고 그물에서 어떤 층이 불변성을 가능하게합니다.

내가이 예 접근 방식을 기반으로 그물을 생성하기위한 "CAFFE"을 사용하고 있습니다 : 수평으로 이미지를 뒤집기 : 이미지 그물에 훈련

https://github.com/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynb

Answer 1

CAFFE 기준/기본 모델은 대부분 아주 사소한 이미지 확대 술을 사용합니다. 즉, imagenet 클래스는 실제로 수평으로 뒤집 으면 똑같습니다. 따라서 미세 조정하려는 가중치는 수평 대칭을 무시해야하는 환경에서 훈련되었으며이 상황을 잘 파악한 그물이라고 가정합니다.이 특정 변형에 더 이상 민감하지 않습니다.
이 불변량이 어떤 레이어에서 발생하는지 알리는 것은 쉽지 않으므로이 동작을 극복하기 위해 어떤 레이어를 미세 조정해야하는지는 쉽지 않습니다. 나는이 불변성이 네트워크에있어 매우 기본적인 것이라고 생각하며, 전체 네트워크의 재교육이 필요하다면 나는 놀라지 않을 것이다.