[DL Basics] 4. Convolution

In [1]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))

많은 용어들을 정확히 정의하고 이해해야 타 연구자들과 커뮤니케이션에서 문제가 없다.

4.Convolution¶

• Continuous convolution

${(f * g)(t) = \int f(\tau)g(t - \tau)d\tau = \int f(t - \tau)g(t)d\tau}$

• Discrete convolution

${(f * g)(t) = \sum_{i=- \infty}^\infty f(i)g(t - i) = \sum_{i=- \infty}^\infty f(t-i)g(i)}$

• 2D image convolution

${(I * K)(i,j) = \sum_m\sum_n I(m,n)K(i-m, j-n) = \sum_m\sum_n I(i-m, i-n)K(m,n)}$

${I}$ : 전체 이미지 공간

${K}$ : 컨볼루션 필터

RGB Image Conv¶

이미지는 가로x세로x채널(RGB)로 구성되어 있다. 이를 Conv filter(Kernel) N개로 연산하면

가로x세로xN 개의 feature map이 생성된다.

4-1.Convolutional Neural Networks¶

구성¶

• Conv layer : Conv filter

• Pooling layer : avg, max Pooling

• FC(Fully Connected) Layer : 파라미터 숫자에 의해 점점 줄어들거나 없어지는 추세

  • 파라미터 숫자 : 파라미터 숫자가 많아질수록 학습이 어렵고 Generalize Perform이 떨어진다고 알려져 있다.

NN layer를 보고 전체 파라미터의 숫자가 대략 몇개인지~ 연산량이 얼마나 될지? 감을 갖는게 중요하다.

4-2. Stride¶

Stride란 Conv filter(Kernel)이 한 연산당 몇칸씩 이동할지를 정하는 것이다.

Stride가 1이라면 한칸씩, 2일때는 두칸씩 이동한다.

4-3. Padding¶

Boundary(가장자리)정보도 얻기 위해서 가장자리를 덧대주는 역할을 한다.

• Zero Padding : Padding 공간에 0으로 대신 넣어줌

4-4. Convolution Arithmetic¶

• Padding (1), Strid(1), 3x3 Kernel

이 모델의 파라미터 갯수는 몇개일까?

3x3x128(커널의 크기) x 64(커널의 갯수) = 73,728

후반부 CNN과 FC(dense layer)이 연결되는 부분의 파라미터 갯수를 확인해보면

13x13x128(Kernel)2 x 2048 2 = 177M

이라는 기존의 CNN의 파라미터 갯수와는 차원이 다른 엄청난 양의 숫자로 증가한다. 그러므로 FC는 줄어드는 추세이다.

4-5. 1x1 Convolution¶

이미지에 1x1 Conv를 곱해주는 이유는 무엇일까?

1. 차원축소 : 여기서는 채널을 128에서 32로 줄여준다.
2. 파라미터의 숫자를 깊게 쌓으면서 줄이기 위함

• ex) bottleneck architecure : 깊게 쌓으면서 파라미터 숫자를 줄일 수 있다