[인공 신경망] 층, 뉴런, 가중치

 

인공 신경망을 조금더 살펴보자.

입력층, 은닉층, 출력층 전체의 구조는 파악했다면,  층과 뉴런을 살펴보겠다.

 

입력층은 0번째 층으로 총 층수에서는 세지 않는다. 위의 그림의 경우 3개의 층으로 이루어져 있다고 한다.

다음으로 X0으로 표현했던 인풋을 제외하고, 레이어의 뉴런은 사실 activation의 앞글자인 'a'를 활용해서 표현한다.

위 첨자에는 몇 번째 층인지, 아래는 몇번째인지 나타낸다.

 

다음은 가중치의 표현이다. 가중치는 뉴런과 뉴런 사이에 위치하기 때문에 어떻게 표현해야할지 약간 애매한 부분이 있다.

하지만 가중치는 뒤 뉴런을 기준으로 표현할 수 있다.

이렇게 첫번째 뉴런으로 연결된 가중치를 w[1], 두번째 뉴런으로 연결된 가중치는 w[2]로 표현한다.

그렇다면 각각의 가중치는 어떻게 표현할 수 있을까?

 

 

이렇게 표현할 수 있다. 오른쪽 위에는 몇번째 층의 가중치인지, 아래에는 앞과 뒤의 뉴런번호를 활용하면 된다.

이처럼 가중치, 뉴런 모두 하나하나 표현할 수 있다!

 

또한, 뉴런과 가중치 모두 행렬로 표현이 가능하다. 그래서 우리는 이제 행렬을 자주 접하게 될 것이다.