인공지능 머신러닝과 알고리즘 (Feat. 퍼셉트론 알고리즘, 활성화 함수)

 

1. 머신러닝이란?

- 컴퓨터 시스템이 사용하는 알고리즘과 통계적 모델에 대한 과학적인 연구다.
  컴퓨터는 명시적인 지시 사항들을 이용하는 대신에 모델과 추론에 의존하여 효과적으로 작업을 수행한다.
  머신러닝은 인공지능의 하위 집합으로 간주된다.
  즉 컴퓨터 프로그램이 수행하는 작업 T가 경험 E를 통해서 성능 P만큼 향상된 것으로 측정될 때,  

  우리는 컴퓨터 프로그램이 학습한다고 말한다.

 

2. 퍼셉트론 알고리즘

- 신경망 알고리즘의 기초이다. 퍼셉트론은 신경 세포를 인공적으로 모델링한 것으로, 신경 세포처럼 

  다른 신경 세포로부터 정보를 받아서 새로운 정보를 생성한 후, 또 다른 신경 세포로 전달한다.

출처 : 04. 퍼셉트론과 활성화함수 (Mnist 데이.. : 네이버블로그 (naver.com)

  x1과 x2는 입력 신호, y는 출력 신호, w1, w2는 가중치를 나타낸다.
  가중치는 결합 하중이라고도 하며 각각의 입력 신호에 곱하는 값으로, 입력 신호가 결과에 미치는 중요도를 

  결정하는 매개변수다.
  가중치 값이 클수록 전달 효율이 좋아 더 많은 정보를 전달할 수 있다.
  임계값 이하일 때는 0을 출력, 입계값을 넘을 때는 1을 출력, 이 상태를 활성화한다 라고 표현한다.
  퍼셉트론은 구조를 변경하지 않으면서 매개변수(가중치와 임계값)만 변경함으로써 AND, NAND, OR 세 가지의 

  논리 회로를 만들 수 있다. 퍼셉트론은 입력 신호의 합이 일정값을 초과하면 그 결과를 다른 퍼셉트론으로 전달한다.
  이는 신경 세포와 매우 유사하다.

 

3. 활성화 함수

- 입력 신호의 총합이 임계값을 넘어 설 때 특정값을 출력한느 함수를 활성화 함수라고 한다.

  활성화 함수는 풀고자 하는 문제의 종류에 따라 적당한 함수를 골라서 사용해야 하는데, 일반적으로

  회귀 문제는 항등 함수, 2 클래스 분류 문제인 경우에는 시그모이드 함수, 다중 클래스 분류 문제에는

  소프트맥스 함수를 사용한다.

 

4. 활성화 함수의 종류

1. 계단함수

- 출력 신호가 계단 모양과 비슷하다. 0 또는 1이 출력된다.

2. 시그모이드 함수
- 라틴 문자 S를 닮았다는 의미를 가지고 있으며, 출력되는 결과가 S자와 유사하다.
  0~1 사이의 연속적인 실수가 출력된다. 즉 시그모이드는 아날로그, 계단은 디지털 형태라고 봐도 무방하다.

3. tanh  함수
- 쌍곡탄젠드 함수는 시그모이드 함수와 비슷하지만, -1~1사이의 값을 출력한다는 차이가 있다.

4. ReLU 함수
- 최근 들어 신경망 분야에서 ReLu 함수가 주로 사용되고 있다. ReLU함수는 음수를 0으로 만든다.
  0이 넘으면 입력 받은 값을 그대로 출력한다.

5. 소프트맥스 함수
- 분류 문제를 다룰 때 사용되는 함수로, 0~1 사이 값을 입력받아 정규화한다.
  출력값들의 총합은 항상 1이 된다.

 

 

 

5. 다층 퍼셉트론 알고리즘

- 단층 퍼셉트론에서는 불가했던 비선형 문제를 해결하며, XOR 게이트를 만들 수 있다.
  입력층과 출력층 사이를 은닉충이라고 부르며, 은닉충이 무수히 많은 신경망을 심층 신경망이라고 부른다.

  즉 활성화 함수를 적절히 사용하여, 계산을 반복하면 아무리 복잡한 신경망도 출력 신호를 계산할 수 있다.