[DL Basics] 7. Sequential Models

In [1]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))

많은 용어들을 정확히 정의하고 이해해야 타 연구자들과 커뮤니케이션에서 문제가 없다.

7. Sequential Models¶

7-1. Navie sequence model¶

sequence model의 어려움은 데이터의 끝이 정해져 있지 않다는 점이다.

7-1-1. Autoregressive model¶

그래서 데이터의 끝을 정해서 과거의 일정한 시점까지만 fix하면 더 나아진다.

7-1-2. Markov model (first-order autoregressive model)¶

Markov model은 바로 직전에 있던 시점에 있는 정보만 현재에 영향을 끼친다는 model

• 하지만 말이 안됨, 수능전날 공부한 것 만이 수능에 영향을 미치는가?

7-1-3. Latent autoregressive model¶

• Hidden/latent state : 과거의 정보를 요약한 것들

7-2. Recurrent Neural Network¶

RNN은 현재시간 t의 정보는 이전시간(t-1, t-2 ...)의 정보들이 모두 합쳐져 쭉 이어진다.

• RNN을 시간순으로 쭉 풀게되면 입력이 굉장히 많은 Fully Connected Layer로 만들 수 있다.

RNN의 단점들¶

7-2-1. Short, Long-term dependencies¶

과거의 정보들이 모두 더해져 진행되는데 RNN은 아주 먼 과거의 정보들은 중첩되는 구조로 미래까지 살아남기 힘들어진다(Vanishing / exploding gradient)는 단점이 있다.

• 음성인식에서 문장이 길어지면 길어진 문장은 모두 고려하기 어렵다.
• 활성함수가 sigmoid의 경우 0과 1사이로 계속 압축시키기에 Vanising, LeRU인 경우는 Exploding하게 된다.

7-3. LSTM(Long Short Term Memory)¶

• LSTM의 입력 : Input , Previous cell state , Previous hidden state

• Previous cell state : 0부터 t-1개의 데이터를 취합한 정보, 나가지 않는다.

• Previous hidden state : 이전의 데이터를 취합한 정보, output으로 나가면서 다음 네트워크로 흘러간다.

• Forget gate : 이전 cell state 정보를 Input , Previous cell state을 통해서 어떤걸 버릴지를 결정하는 역할

• Input gate

  • ${i_t}$ : 정보를 추가할지 선택
  • ${\tilde{C}_t}$ : 추가할 정보가 무엇인지

• Output gate : 어떻게 output을 내보낼지 결정

7-4. GRU(Gated Recurrent Unit)¶

cell state가 없고 hidden state만 가지고 활용, 일반적으로 GRU가 LSTM보다 성능이 좋더라..

• 파라미터 숫자가 더 적어서 그러지 않을까?

In [ ]: