[DL Basics] 1. NN & MLP

In [1]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))

Neural Networks¶

NN은 포유류의 신경망을 모방하여.. 이게 맞나? 이제는 초기 방향에서 많이 멀어졌다.

NN은 함수를 근사하는 모델, affine transformations followed by nonlinear transformations.

Matrix¶

두개의 벡터 공간(vector spaces)을 mapping 시켜주는 역할

non-linear transform(비선형 변환)¶

• activation function으로 non-linear 연산을 수행해준다.
  • ReLU, Sigmoid, Hyperbolic Tangent 등 여러 비선형함수가 존재하고 어떤것이 좋은지는 실험을 해봐야 안다.

MLP¶

2단 이상의 Layer를 쌓은 구조

Loss Function¶

Loss function 별로 특징이 다르니, 특징을 알고 내가 가진 데이터와 잘 맞는지를 알고 써야 한다.

• Probabilistic Task에서는 MLE를 사용, 얼굴을 보고 '20살인지 30살인지 확인하는 정보'와 '20살인 확률이 ?%, 30살일 확률이 ?%이다'(uncertainty)정보를 같이 찾기를 원할때 사용

Loss Function pytorch Docs

Activation Function¶

https://seongkyun.github.io/study/2019/05/01/activations/

In [ ]:

In [ ]: