[DL Basics] 6. Computer Vision Applications

In [1]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))

많은 용어들을 정확히 정의하고 이해해야 타 연구자들과 커뮤니케이션에서 문제가 없다.

6. Computer Vision Applications¶

6-1.Semantic Segmentation¶

• (dense / per pixel) classification 라고도 불림

픽셀별로 이미지를 분류하는 것

• 자율주행과 같은 곳에 주로 쓰인다.

6-2. Fully Convolutional Network¶

Fully Convolutional Network의 목적은 Dense layer를 없애고 Convolutional layer로 변경하기 위함이지만, 기존의 Dnse layer와 파라미터 숫자는 똑같다.

특징¶

• input의 크기(shape)와 관계 없이 작동할 수 있다. input의 크기의 변화에 따라서 컨볼루션 연산 결과의 크기(special demension)만 달라지고 작동할 수 있다.
  • 기존의 Dense layer는 정해진 크기만 입력 가능
• 출력의 결과는 단순 분류만 하는 것이 아닌 히트맵 또는 Semantic Segmentation이 가능해보이는 가능성을 보여준다.
  • 다만 FCN의 결과로 크기가 달라져 input의 크기로 늘려주는 방법이 필요하다. -> Deconvolution

6-2-1. Deconvolution¶

Conv transpose, 컨볼루션의 역 연산

• 엄밀히 말하면 역연산은 존재할 수 없음, 기존의 픽셀 값들이 합쳐져서 원본으로 복원하는 것은 불가능 다만 네트워크 구성이 편해지므로 역연산으로 생각하자.

6-2. Detection¶

이미지안에서 물체가 어디있는지 bounding box로 그려주는 것

6-2-1. R-CNN¶

이미지를 받아 2천개의 region을 뽑고, 똑같은 크기로 맞춘뒤 AlexNet(feature extraction역할)과 Linear SVM을 이용해 분류를 한다.

• 2천개의 region : Selective search를 통해 여기 있을것 같다고 생각하는 후보군을 각각 다른 크기의 bounding box로 뽑는다.

6-2-2. SPPNet¶

R-CNN의 단점이였던 2천번을 돌아야 했던 Conv 연산을 이미지 전체에서 한번만 돌린 후 bounding box에 해당하는 값들만 가져온다.

• SPP(spatial pyramid pooling) : feature map을 잘 조리해서 하나의 fixed map으로 바꿔줌
• 다만 이 모델도 SPP를 거치는 과정이 필요해 시간이 오래걸린다.

6-2-3. Fast R-CNN¶

SPPNet의 컨셉인 이미지 전체에 한번만 Conv연산을 돌린 후 2천개의 각각의 region에 대해 ROI pooling으로 정보를 뽑아내고, bounding box의 위치 조정과 분류를 진행한다.

• ROI feature vector

6-2-4. Faster R-CNN¶

Faster R-CNN = Region Proposal Network + Fast R-CNN

Region Proposal Network(RPN)¶

해당하는 공간에 물체가 있을지 없을지를 찾아주기만 하는 역할, 이 물체가 무엇인지는 뒤의 네트워크가 해줄 것

• anchor boxes : 미리 크기를 지정한 bounding box

• 4 : bounding box의 높이 너비와 x,y좌표
• 2 : 해당 bounding box가 쓸모가 있는지 없는지(confidence) 판단

6-2-5. YOLO¶

Faster-RCNN 과 달리 bounding box와 분류를 한번에 하여 속도가 빠르다.

In [ ]:

In [ ]: