Hyperparameter vs Parameter 과 Bias and Variance Tradeoff 고찰

회의날짜 : 01/23 목요일

회의장소 : 능곡역 지노스카페

Hyperparameter vs Parameter 

  - Hyperparameter 란?

    : ML에서 사용자가 정의해주는 변수 값들을 의미 ->학습되어지는 값들이 아니다.

   ex) learning rate, stride , training epoch (Training 반복 횟수)

        Cost function, Regularization parameter, Mini-batch 크기,

        Hidden unit의 개수,Weight initialization

 - Parameter 란?

   : ML에서 train을 함에 따라 학습되어지는 값

    parameter는 학습된 모델의 일부로 저장 되어진다.

  ex) FCN 에서의 weight , CNN에서의 filter 값

Bias and Variance Tradeoff 

                                                  

weight,bias에서의 bias와Bias-Variance Tradeoff에서의 bias랑 같은것일까?

혹시 같은거라면 수치화 할 수 있는것인지 추상적인 개념일까?

Irreducible error is the error that can’t be reduced by creating good models. 

It is a measure of the amount of noise in our data. 

Pooling

  - 정의 : pooling을 통해서 feature map의 size가 축소되며 parameter 계산량이 감소하여 네트워크 성능에 향상을 가져온다. 또한 Net상의 parameter수가 감소하여 가중치를 학습할 때, overfitting을 방지해주는 역할을 한다고 볼 수 있다.

  - 종류
    Max pooling :  주어진 feature map에서 사용자가 원하는 행렬 크기만큼의 범위안의 max값을 찾아 다음의 새로운 feature map에 반영하는 기법

     Mean pooling : 주어진 feature map에서 사용자가 원하는 행렬 크기만큼의 범위안의 전체 합산의 평균을 다음의 새로운 feature map에 반영하는 기법

Inception v2

 : 이번 모임의 공부를 통하여 Hyperparameter와 Parameter가 표현하는 것이 다름을 알게 되었다. 또한 기존의 논문에서 나오는 모델이 아닌 직접 모델 설계시 위에서 언급한 Hyperparameter를 직접 설정을 해줘야 할 텐데 어떻게 설정해야 할지에 대해 난감함이 발생 할 수 있다. 이런 부분에서 어느정도 해결책을 제시하는 model이 inception model이며 대표적인 예시로 GoogleNet이 있다. 마침 다음주에 보게 될 케이스 스터디 분류 안에 inception Net이 존재해서 좀 더 inception model에 공부해보고자 inception v2를 발표하기로 회의에서 결정하였다.