Facenet : 얼굴 임베딩 세트의 앙상블 사용

Question

Facenet은 얼굴 인식을위한 심층 학습 모델입니다. 피쳐 추출을위한 훈련을받습니다. 즉, embedding이라는 고정 된 길이의 벡터로 이미지를 나타냅니다. 학습 후, 주어진 각 이미지에 대해 두 번째 마지막 레이어의 출력을 특징 벡터로 취합니다. 그 후에 특징과 거리 함수 (예 : 유클리드 거리)를 기반으로 검증 (두 이미지가 같은 사람인지 여부를 알 수 있음)을 수행 할 수 있습니다.

3 중 손실은 기본적으로 같은 사람의 특징 벡터 간의 거리가 작고 다른 사람 간의 거리가 커야한다는 손실 기능입니다.

제 질문은, 다른 Convolutional 모델의 다른 임베디드 세트를 혼합 할 수있는 방법이 있습니까? 예를 들어, 3 가지 유형의 모델 (Resnet 모델, Inception 및 VGG)에 3 중 손실이있는 지 확인한 다음 3 개의 128 차원 임베딩을 혼합하여 더 나은 얼굴 확인 정확도를위한 새로운 메타 임베딩을 구축 할 수 있습니다. 이 임베딩 세트를 어떻게 혼합 할 수 있습니까?

Answer 1

동일한 질문 및 유용한 답변 here가 있습니다.

나는 각 모델은 똑같이 기여할 수 있도록 예 1) 두 묻어을 연결하고이 후 PCA를 적용) 각 삽입을 정상화하고 그들을 함께 연결하여이 작업을 수행하는 여러 가지 방법이있을 것 같아요 최종 결과에 3) 가우시안 CDF에 의해 말한 각 임베딩을 의 각 피쳐를 정규화하고 각각의 피쳐가 결과에 동등하게 기여하도록 을 함께 연결합니다.