내가 두 개의 네트워크를 가지고 있다고 가정하면, 첫 번째 네트워크에는 2 개의 M 개의 매개 변수가 있고 두 번째 네트워크에는 0.4 개의 M 개의 매개 변수가 있습니다. 하나의 이미지 입력에 대해 두 번째 네트워크 (deploy.prototxt 사용)의 테스트 시간이 첫 번째 네트워크보다 빠르다고 할 수 있습니까? metric (#depth, #parameter ....)은 유추 시간에 어떤 영향을 미칩니 까?유추 시간은 매개 변수의 수에 따라 다릅니 까?
더 큰 네트워크 (더 복잡한 네트워크)는 입력을 평가하는 데 더 많은 시간이 필요합니다. 추론은 모든 네트워크를 통해 입력을 전달하여 마지막 레이어 (출력)에 도달해야하기 때문입니다. 따라서 매개 변수의 수, 즉 깊이, 레이어 당 뉴런 수, 각 두 레이어 사이의 연결 유형과 상관 관계가있는 것은 정상입니다.
꼭 그런 것은 아닙니다. 0.4M 매개 변수 네트워크는 주로 길쌈 계층으로 구성되며 2M 매개 변수 네트워크는 완전히 연결된 계층으로 구성됩니다. 그런 다음 1 차 예선 통과는 더 오래 걸릴 것입니다. 따라서 깊이, 매개 변수, 작업 수 등을 비롯한 많은 요소에 따라 달라집니다. 일반적으로 곱셈의 수에 따라 달라질 것이라고 말할 수 있습니다.
매개 변수의 수는 네트워크의 테스트 시간에 영향을 미치지 만, 그것은 유일한 요인이 아닙니다. 학습 된 필터/가중치가 적용되는 데이터/기능의 크기도 고려해야합니다. 예를 들어
는 두 가지 간단한 전환 그물을 고려
- 순 A은
단일 7 × 7 필터가 - 순 B은 하나의 3 × 3 필터를 가지고를
그것은 순 B가있는 동안 A 순 49 개 매개 변수가 분명하다 단 9입니다.
그러나 net A의 입력은 150x150 이미지이고 B의 입력은 1500x1500 이미지입니다.
분명히이 설정에서 net B은 입력을 처리하는 데 더 오래 걸립니다.
많은 경우에 딥 그물은 연결 레이어를 완전히 연결된 레이어와 섞어서 "동일한 크기의 입력"에 대한 수를 비교하는 것을 어렵거나 불가능하게 만듭니다.
아직 미해결 된 문제이므로 compute the number of FLOPS required for a net에 기능을 추가하는 것이 좋습니다.
감사하지만, 공정한 비교를 위해 동일한 입력 차원을 고려해야합니다. 여기서 매개 변수는 학습 가능한 매개 변수입니다. – KimHee
항상 "공정한"비교를 수행 할 수는 없습니다. 예를 들어 ResNets는 일반적으로 매개 변수가 비교적 적지 만 입력/피쳐 크기가 매우 큽니다. 반면에, VGG 그물은 매개 변수의 톤, 그러나 상대적으로 작은 입력/피쳐 크기로 거대한 완전히 연결된 레이어를 가지고 있습니다. 따라서 매개 변수 수만으로 FLOPS를 결론 지을 수는 없습니다. – Shai
OK, https://arxiv.org/abs/1608.06993에 관한 한 개의 논문을 찾았습니다. 그림 3. 이 구성표는 매개 변수를 적게 표시합니다. 어느 것이 더 빠름을 추측합니까? – KimHee
매개 변수는 학습 가능한 매개 변수를 의미합니다. 예를 들어, resnet 및 vgg 네트워크 – KimHee
@KimHee 나는 배우기 쉬운 매개 변수를 의미합니다. 당신의 요점은 무엇입니까? – lnman
예, 논문 arxiv.org/abs/1608.06993의 그림 3에서이 구성표는 매개 변수를 적게 표시합니다. 어느 것이 더 빠름을 추측합니까? – KimHee