Article 4. 인공신경망 3214

Section 1. 분석기법

Paragraph 1. 인공신경망(Artificial Neural Network; ANN)의 개념

• 인공신경망은 사람 두뇌의 신경세포인 뉴런이 전기신호를 전달하는 모습을 모방한 기계학습 모델이다.
• 인공신경망은 입력값을 받아서 출력값을 만들기 위해 활성화 함수를 사용한다.

Paragraph 2. 인공신경망의 역사

인공신경망은 1세대, 2세대, 3세대로 구분할 수 있다.

구분	주요 내용
1세대 (1943~1986년)	• 인공신경망이라는 개념이 최초로 제안됨 • 퍼셉트론이라는 선형 분류가 가능한 순방향 신경망을 제안 • XOR 선형 분리 불가 문제 발생
2세대 (1986~2006년)	• 다층 퍼셉트론과 역전파 알고리즘 등장 • 은닉층을 통해 XOR 문제를 해결 • 과적합 문제, 사라지는 경사 현상 문제 발생
3세대 (2006~현재)	• 알파고와 이세돌 바둑 대결로 인공지능 부각 • 딥러닝(CNN, RNN 등) 활용 • 과적합 문제 및 기울기 소실 문제 해결

Paragraph 3. 인공신경망의 구조

Subparagraph 1. 퍼셉트론

Clause 1. 퍼셉트론(Perceptron)의 개념

퍼셉트론은 인간의 신경망에 있는 뉴런의 모델을 모방하여 입력층, 은닉층, 출력층으로 구성한 인공신경망 모델이다.

Clause 2. 퍼셉트론 구성요소

퍼셉트론의 구조는 입력값, 가중치, 순 입력함수, 활성 함수, 예측값(출력값)으로 되어 있다.

Clause 3. 퍼셉트론의 학습 과정

• 입력값(x_1, x_2, ···, x_n)과 가중치(w_0, w_1, ···, w_n)를 순 입력함수에서 각각 곱하고 모두 더한다.
• 순 입력함수 값을 활성 함수의 임곗값과 비교하여 예측값 1 또는 -1을 출력한다.
• 활성 함수의 예측값이 실제 결과와 다를 경우 가중치를 업데이트하며, 위 과정을 반복하여 학습한다.

Clause 4. 퍼셉트론의 XOR 선형 분리 문제점

• 퍼셉트론은 AND, OR 연산은 선형 분리가 가능했지만, XOR는 선형 분리를 할 수 없는 문제점이 있다.
• 퍼셉트론의 XOR 선형 분리 문제점은 다층 퍼셉트론으로 해결하였다.

⬇퍼셉트론의 AND, OR, XOR 연산

Subparagraph 2. 다층 퍼셉트론

Clause 1. 다층 퍼셉트론 개념

다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 은닉층을 두어 비선형적으로 분리되는 데이터에 대해 학습이 가능한 퍼셉트론이다.

Clause 2. 다중 퍼셉트론 구조

• 입력층, 은닉층, 출력층으로 구성하고 역전파 알고리즘을 통해 다층으로 만들어진 퍼셉트론의 학습이 가능하다.
• 다층 퍼셉트론에서는 활성화 함수로 시그모이드 함수를 사용하였다.

Clause 3. 다층 퍼셉트론의 문제점

다층 퍼셉트론의 문제점으로 과대 적합, 기울기 소실이 있다.

문제점	내용
과대 적합 (Over-fitting)	• 학습 데이터가 부족하여 학습 데이터에는 잘 동작하지만, 실제 데이터에는 예측을 못하는 문제점이 존재함 • 학습 데이터 부족으로 인한 과적합은 빅데이터 시대가 열리면서 데이터 확보가 용이해져 해결이 됨
기울기 소실	• 역전파 알고리즘은 학습하는 과정에서 출력층➡은닉층➡입력층 방향으로 편미분을 진행함 • 다층 퍼셉트론의 활성화 함수인 시그모이드 함수는 편미분을 진행할수록 0으로 근접해져 경사(기울기)가 소실되는 문제점이 발생 • 기울기 소실은 시그모이드 함수 대신 ReLU 함수를 사용하여 문제를 해결함

Paragraph 4. 뉴런의 활성화 함수

Subparagraph 1. 활성화 함수(Activation Function)의 개념

활성화 함수는 순 입력함수로부터 전달받은 값을 출력값으로 변환해 주는 함수이다.

Subparagraph 2. 활성화 함수의 종류

• 활성화 함수에는 계단함수, 부호함수, 선형함수, 시그모이드 함수, tanh 함수, ReLU 함수가 있다.
• 시그모이드 함수는 기울 소실의 원인이었으며, ReLU 함수 또는 tanh 함수를 통해 기울기 소실의 문제를 해결하였다.