RNN

딥러닝/RNN

RNN

SolartheNomad 2023. 4. 1. 02:36

RNN

- 시계열 데이터 처리 신경망

- ‘기억(과거부터 현재까지의 입력 데이터를 요약한 정보)’을 가지는 신경망

- 새로운 입력이 네트워크로 들어올 때마다 기억은 조금씩 수정되며, 결국 최종적으로 남겨진 기억은 모든 입력 전체를 요약한 정보가 된다.

- 자연어 처리, 음성인식, 단어의 의미 판단 및 대화, 손글씨, 센서 데이터등의 시계열 데이터 ㅓ리에 활용

RNN의 구조

- 첫 번째 입력(x1)이 들어오면 첫 번째 기억(h1)이 만들어지고, 두 번째 입력(x2)이 들어오면 기존 기억(h1)과 새로운 입력을 참고하여 새 기억(h2)을 만들어진다.

RNN 유형

일대일

- 순환이 없어서 RNN이라고 보기 힘듦

- 순방향 네트워크

일대다

- 입력이 하나이고, 출력이 다수인 구조

- 이미지 캡션 : 이미지를 입력해서

다대일

입력이 다수이고 출력이 하나인 구조로, 문장을 입력해서 긍정/부정을 출력하는 감성 분석기에서 사용

다대일 모델

다대다

- 입력과 출력이 다수이다

- 자동 번역기에서 주로 사용됨

- seq-2-seq2(시퀀스-투-시퀀스)를 이용하는 방식으로 사용된다.

Seq2Seq(
  (encoder): Encoder(
    (embedding): Embedding(7855, 256)
    (rnn): LSTM(256, 512, num_layers=2, dropout=0.5)
    (dropout): Dropout(p=0.5, inplace=False)
  )
  (decoder): Decoder(
    (embedding): Embedding(5893, 256)
    (rnn): LSTM(256, 512, num_layers=2, dropout=0.5)
    (fc_out): Linear(in_features=512, out_features=5893, bias=True)
    (dropout): Dropout(p=0.5, inplace=False)
  )
)

다대다 모델