0

하나 또는 두 개의 질문인지 확실하지 않으며 두 질문에 대한 대답이 "아니요, 차이가 없을 것"이라고 생각하는 동안, 당신과 나는 크게 잘못되었습니다. 전에 다른 어리석은 질문에.

1. 신경망 입력은 서로의 배열에 종속적입니까? 예를 들어 SMTWRFS의 상식으로 정렬하는 대신 일주일을 나타내는 7 개의 뉴런이있는 경우 교육, 검증 및 테스트 세트에서 일관되게 수행되면 MFRSSTW로 정렬 할 수 있습니까? 아니면 이것은 우리의 (인간, 사회 등) 전형적인 요일 배치에 기반한 패턴을 배우는 기계의 능력에 어떻게 든 영향을 미칩니 까? 이것은 단지 예감입니다! 그러나 그것은 나의 질문에 대한 극단적 인 예를 보여줍니다. 분명히, 사람이 따라 다니기가 더 어렵 기 때문에 데이터 수집 관점에서 또는 다른 제한으로 인해 이해가되지 않는 한이 작업을 수행하지 않을 것입니다.신경망 입력 배열 및 정규화 종속성

* 모든 뉴런이 완전히 상호 연결되어 있고 시냅스 가중치가 서로 관련된 위치에 관계없이 응급 패턴을 조정하기 위해 조정 되었기 때문에이 질문에 대한 대답은 NO입니다.

2a. 입력 정규화가 서로 종속적입니까? 또는 일관되게 수행되는 한 별도로 정규화 할 수 있습니까? 예를 들어 입력 1 - 8은 (0, 200) -> (-1, 1)에서 정규화되고 입력 8-10은 (0, 100000) -> (-1, 1)에서 정규화 된 다음 학습/계산.

2a. 출력이 이 비정규 화 된 입력과 독립적 일 수 있습니까? 위의 예와 같이, (0, 200) -> (-1, 1)에서 정규화 된 입력 1-8과 (0, 100000) -> (-1, 1)에서 정규화 된 입력 8-10이 있지만 출력 정규화 (-1, 1) -> (0, 5000)?

* 정규화 및 비정규 화가 네트워크에 표시 될 때 일관되게 수행되는 한이 시나리오에서 차이가 없어야합니다.

답변

0
  1. 당신이 생각하기에 인공 신경망 (적어도 널리 사용되는 다중 층 퍼셉트론에서)의 입력은 임의로 배열 될 수 있습니다. 예측/분류 결과는 입력 배열과 무관합니다.

  2. 정규화 단계의 목표는 모든 변수의 평균이 0에 가까워 야하며 분산은 유사해야하며 일반적으로 1에 가깝습니다. 따라서 각 변수를 독립적으로 정규화해야합니다. 유사한 경우가 출력과 함께 발생합니다.

그러나 이론적 인 관점에서는 정규화가 필요하지 않지만 인공 신경망의 실제 적용에 중요한 단계입니다. 신경망에 관한이 실용적인 다른 트릭은 LeCun's paper에서 찾을 수 있습니다.