딥러닝에서 가중치(W), 편향(Bias)의 역할

층이 여러겹으로 쌓이는것을 딥러닝이라고 합니다.

인간의 신경망처럼 얽히고 섥히니 정확도가 올라가는 구조 입니다.

hidden layers 구조

 

인공지능을 처음 공부하게 되면 W를 찾는과정, Bias의 역할등에 대한 단어가 계속 해서 나올것 입니다.

가중치 (W), 편향 (Bias)의 설명과 역할 그리고 이 복잡한 구조에서 어떻게 정확한 예측값이 나오고

어떤 원리로 동작하는지 알아보겠습니다.

 

가중치 (Weight)

처음 들어오는 데이터(입력층)에서 다음 노드로 넘어갈때 모두 같은값이면 계속 같은 값이 나올것 입니다. 각기 다르게 곱해야 한다는것이 바로 가중치(weight)입니다. 데이터를 각기 다른 비중으로 다음 은닉층(hidden layers)으로 전달시키기 위해 웨이트(weight), 중요도를 다르게 한다고 이해하시면 됩니다.

 

예를들어 보겠습니다.

수능점수 예측 구조

 수능점수를 예측하기 위해서는 학습데이터가 필요하겠죠? 4~9월 모의고사를 통해서 수능점수를 예측한다고 보겠습니다. 제가 볼때는 4월, 5월, 6월 점수보다는 7월, 8월, 9월 이시기의 점수가 수능점수와 비슷할꺼 같아요. 그러면 4, 5, 6월 점수보다 7, 8, 9월의 점수를 더 중요하게 비중을 두어야 겠지요? 이것이 W : 가중치라고 이해하시면 됩니다.

 

편향 (Bias)

편향(bias)은 하나의 뉴런으로 입력된 모든 값을 다 더한 다음에(가중합이라고 합니다) 이 값에 더 해주는 상수입니다. 이 값은 하나의 뉴런에서 활성화 함수를 거쳐 최종적으로 출력되는 값을 조절하는 역할을 하는데 이렇게만 말하면 조금 어려울 것 같아 쉽게 예를들어 보겠습니다.

 

bias 예

파티에 가는것을 무척 좋아하는 '성향'을 가진 A와 그렇지 않은 B라는 두사람이 있다면 날씨, 친구, 비용의 중요도(=가중치)같다고 가정하는데, A는 파티를 너무 좋아해서 돈이 없거나 날씨가 안좋아도 무조건 가려고 할테고
반면 B는 날씨도 좋고 돈도있는데도 조용한것을 더 좋아해서 파티에 안가려고 할수도 있다는것 입니다.
그렇다면 똑같이 값을 내면 안되겠죠? 성향(bias)이라는 값을 추가 해주는 것이라고 이해하시면 됩니다.
결국 뉴럴네트워크(신경망)구조의 마지막 출력은 weight값 그리고 bias값에 의해 결정되는것입니다.

 

활성화 함수(Activation Function)

우리가 사는 세상을 한번 생각해 봅시다. 실제 세계에서는 입력값에 비례해서 출력값이 나오지가 않을 때도 많습니다. 대개는 어떤 임계점이 있고 그 임계점을 경계로 큰 변화가 생깁니다. 물이 끓는 것도 그렇고 비행기가 이륙하는 것도 그렇습니다. 마찬가지로 뇌의 뉴런도 하나의 뉴런에서 다른 뉴런으로 신호를 전달할 때 어떤 임계점을 경계로 출력값에 큰 변화가 있는 것으로 추정됩니다.
인공 신경망은 디지털 세계이긴 하지만 뇌의 구조를 모방하므로 임계점을 설정하고 출력값에 변화를 주는 함수를 이용합니다. 앞에서 설명한 편향은 임계점을 얼마나 쉽게 넘을지 말지를 조절해주는 값이라고 생각하면 됩니다.
활성화 함수에는 시그모이드(Sigmoid) 함수, 렐루(ReLU) 함수, 항등 함수, 소프트맥스 등 여러 종류가 있는데 이처럼 다양한 활성화 함수는 값을 결정하는 0 이냐 1이냐 경계선을 두고 의사를 결정하게 되는 함수라고 이해하시면 됩니다.

활성화함수가 없을때 결함

비선형 모델의 해결방법

 

가중치(weight), 편향(bais), 활성화함수(activation function)등에 대해 쉽게 설명하려고 작성하였습니다.

점차 깊고 이해하기쉽게 작성할 수 있도록 노력하겠습니다.

공부하는 주니어개발자로써 부족한 글 읽어 주셔서 감사합니다.

잘못된 내용 있으면 지적해주시면 감사하겠습니다.

 

reference : https://www.popit.kr/%ec%8b%a4%ec%b2%b4%ea%b0%80-%ec%86%90%ec%97%90-%ec%9e%a1%ed%9e%88%eb%8a%94-%eb%94%a5%eb%9f%ac%eb%8b%9d3-%ec%9d%b4%ea%b2%83%eb%a7%8c%ec%9d%80-%ea%bc%ad-%ec%95%8c%ec%95%84%eb%91%90%ec%9e%90/

실체가 손에 잡히는 딥러닝(3) “이것만은 꼭 알아두자! 딥러닝의 꽃 - 가중치, 편향, 활성화 함수

 

https://www.youtube.com/channel/UCSLrpBAzr-ROVGHQ5EmxnUg

코딩애플

하얀종이개발자