딥러닝 모델 유형(4) - 인공신경망의 유형

#심층 신경망( DNN)

 

다수의 은닉층을 추가했기 때문에 별도의 트릭 없이 비선형 분류가 가능

학습량이 굉장히 많기 때문에(은닉층이 많기 때문에) 기울기 소멸 문제가 발생함 

-> 드롭아웃, 렐루, 배치 정규화 등을 해주어야 한다.

 

 

#합성곱 신경망(CNN)

 

합성층과 풀링층 포함 

이미지 처리 성능에 특화됨(영상 및 사진에 포함된 이미지 데이터로부터 객체를 탐색하거나 객체 위치를 찾아냄)

객체, 얼굴, 장면을 인식하기 위한 패턴 찾기에 특화됨

LeNet-5

AlexNet

VGG

GoogLeNet

ResNet

 

기존 신경망과의 다른점

 

 -  각 층의 입출력 형상을 그대로 유지한다. 

 - 이미지의 공간 정보를 유지하면서 인접 이미지와 차이가 있는 특징을 효과적으로 인식한다.

 - 복수 필터로 이미지의 특징을 추출하고 학습한다. 

 - 풀링층 : 추출한 이미지의 특징을 모으고 강화함

- 필터를 공유 파라미터로 사용하기 때문에 일반 인공 신경망과 비교하여 학습 파라미터가 매우 적을 수밖에 없다. 

 

# 순환신경망(RNN)

 

- 시계열 데이터(음악, 영상 등) 같은 시간 흐름에 따라 변화하는 데이터를 학습하기 위한 인공 신경망이다. 

- 현재 결과가 이전의 결과와 연관이 있음 

- 심층 신경망처럼 기울기 소멸 문제가 있음 

-> LSTM 기법을 통해 해결 

 

 

기존 신경망과의 다른점

 

 - 시간성을 가진 데이터들 처리

 - 시간에 따라 내용이 변하기 때문에 데이터가 동적이고 길이가 가변적이다. 

 - 언어 모델링, 텍스트 생성, 자동번역(기계 번역), 음성 인식, 이미지 캡션 생성

 

# 제한된 볼츠만 머신(Restricted Boltzmann Machine)

가시층과 은닉층으로 구성됨

 

 다른 모델과의 차이점 

 - 차원 감소, 선형 회귀 분석, 현업 필터링, 특성 값 learning, 주제 모델링에서 사용된다.

 - 기울기 소멸을 해결하기 위한 사전 학습 모델로 사용됨

 - 심층 신뢰 신경망에서 사용

 

#심층 신뢰 신경망(DBN)

 

입력층과 은닉층으로 구성된 제한된 볼츠만 머신을 여러 층으로 쌓은 형태 

레이블(테스트 데이터 Y)이 없는 데이터에 대한 비지도 학습을 주로 할 때 사용함 

부분적인 이미지에서 전체를 연상하는 일반화와 추상화 과정을 구현할 때 사용함 

 

 

심층 신뢰 신경망의 학습 절차

1. 가시층과 은닉층 1에 제한된 볼츠만 머신을 사전 훈련함

2. 첫 번째 층 입력 데이터와 파라미터를 고정하여 두 번째 층 제한된 볼츠만 머신을 사전 훈련한다.

3. 원하는 층 개수만큼 제한된 볼츠만 머신을 쌓아 올려 전체 심층 신뢰 신경망을 완성시킴

 

 다른 모델과의 차이점 

 

1.  순차적으로 심층 신뢰 신경망을 학습시켜 가면서 계층적 구조를 생성한다. 

2. 비지도 학습으로 학습함

3. 윗 계층으로 올라갈수록 추상적 특성을 추출함

4. 학습된 가중치를 다층 퍼셉트론(다수의 값을 입력받아 하나의 값으로 출력하는 알고리즘)의 가중치 초깃값으로 사용한다.