[MLP] 01. 퍼셉트론의 개념

 

❓딥러닝

• 딥러닝은 머신러닝의 한 분야입니다.
• 인간의 뇌 구조에서 영감을 받아 구축된 "인공 신경망"을 사용하여 복잡한 패턴 및 특징을 학습하고 이해하는 데 중점을 둔 기술입니다.

  

  뇌신경 구조

---

❓인공 신경망

• 인공 신경망의 종류
  1. 피드포워드 신경망 (Feedforward Neural Network, FNN): 가장 기본적인 형태의 신경망으로, 정보가 한 방향으로만 흐르는 구조입니다. 입력층, 은닉층, 출력층으로 이루어져 있습니다.
     • 다층 퍼셉트론 (Multi-Layer Perceptron, MLP): 피드포워드 신경망의 한 형태로, 여러 개의 은닉층을 가지고 있는 신경망입니다. 비선형 문제를 해결할 수 있도록 설계되어 있습니다.
  2. 순환 신경망 (Recurrent Neural Network, RNN): 순환 구조를 가지며, 이전의 출력이 다음 단계의 입력으로 사용될 수 있는 신경망입니다. 주로 순차적인 데이터나 시계열 데이터 처리에 사용됩니다.
  3. 컨볼루션 신경망 (Convolutional Neural Network, CNN): 이미지 처리에 특화된 구조로, 합성곱 층과 풀링 층을 포함하고 있습니다. 공간적 계층 구조를 통해 이미지의 특징을 학습합니다.
  4. 자기주도 학습 신경망 (Self-Supervised Learning Neural Network): 레이블이 지정되지 않은 데이터에서 학습하는 구조로, 자기지도 학습 알고리즘을 사용합니다. 대표적으로 오토인코더가 있습니다.
  5. 변형자 (Transformer): 주로 자연어 처리 작업에 사용되는 구조로, 셀프 어텐션 메커니즘을 사용하여 문맥 정보를 캡처합니다.
  6. 강화 학습 신경망 (Reinforcement Learning Neural Network): 에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 학습하는 구조입니다. 주로 게임이나 로봇 제어 등에 사용됩니다.

---

❓Perceptron (퍼셉트론)

이제부터 인공 신경망의 한 종류인 퍼셉트론에 관해 알아보겠습니다.

• 퍼셉트론은 뉴런을 모방한 인공 신경망입니다. (1957)
• 간단한 형태의 인공 신경망으로, 이진 분류를 수행하는 선형 분류기입니다.
• 다수의 입력으로 하나의 결과를 내보내는 알고리즘으로, 인간의 뉴런과 유사합니다.

Multi Layer Perceptron

 

 

---

❓Perceptron 의 Step function(계단  함수)

Perceptron Algorithm - A Hands On Introduction

• 퍼셉트론에서 뉴런의 출력값을 변경시키는 역할을 하는  활성화 함수 중 하나
• 퍼셉트론은 입력(x)과 가중치(w)를 곱한 합을 계산하고, 그 값이 임계치( θ, 세타)를 넘으면 1을 출력하고 그렇지 않으면 0을 출력합니다. 이를 수학적으로 나타내면 다음과 같습니다:

step function

• 세타를 좌변으로 넘기고 +b(bias)로 표현가능합니다. - θ = b이고, 이 때 b가 크면(=세타가 작으면) 임계치가 낮다는 것을 의미한다. 이는 즉, 아래와 같은 이유로 출력값 y가 1이 나오기 쉽다는 것을 의미한다.
  • 반응이 잘됨 
  • w*x가 아무리 작아도 b가 크니까 0을 넘기기 쉬움

step function 2