단층 피드포워드 신경망과 퍼셉트론

단층 피드포워드 신경망 Single-layer Feedforward Neural Network

퍼셉트론 Perceptron

퍼셉트론

퍼셉트론은 1950년대 후반에 프랭크 로젠블렛(Frank Rosenblatt)이 제안한 인공 신경망 모델

가장 단순한 형태의 신경망

퍼셉트론은 입력을 받아 가중치를 곱한 후, 이를 모두 더한 값을 활성화 함수에 넣어 출력값을 계산

활성화 함수로는 일반적으로 단위 계단 함수가 사용

퍼셉트론의 구조는 입력층과 출력층으로만 이루어져 있으며, 단일 뉴런(노드)을 포함합니다. 퍼셉트론은 선형 분류 문제를 해결할 수 있는 모델로, 입력 데이터가 선형적으로 구분 가능한 경우에만 학습이 성공적으로 이루어집니다.

단위 계단 함수

단위 계단 함수(Unit Step Function)는 주로 퍼셉트론과 같은 간단한 신경망에서 사용되는 활성화 함수입니다. 이 함수는 입력이 특정 임계값(threshold)을 넘는지 여부에 따라 출력을 결정하는 비선형 함수입니다. 수학적으로 단위 계단 함수는 다음과 같이 정의됩니다

단위 계단 함수의 특징

비선형성: 단위 계단 함수는 비선형 함수로, 입력 값이 임계값을 넘는 경우에만 출력을 변경합니다. 따라서 이 함수는 퍼셉트론과 같은 모델에서 이진 분류 문제를 해결하는 데 적합합니다.
이진 출력: 함수의 출력은 0 또는 1로 제한됩니다. 즉, 단위 계단 함수는 입력 값을 기준으로 두 가지 상태로만 결과를 나눕니다. 이 때문에 퍼셉트론이 선형 분류기로 작동할 수 있습니다.
단순성: 단위 계단 함수는 계산이 매우 간단하며, 그로 인해 퍼셉트론 초기 형태와 같은 간단한 모델에서 주로 사용됩니다. 그러나 미분 불가능하기 때문에 현대 딥러닝에서는 주로 다른 활성화 함수(예: 시그모이드 함수, ReLU 함수)가 사용됩니다.

예시

단위 계단 함수의 동작을 예로 들면, 입력 값이 0보다 크거나 같으면 출력이 1이 되고, 입력 값이 0보다 작으면 출력이 0이 됩니다. 예를 들어:

x=1x = 1x=1일 때, f(1)=1
x=−0.5x = -0.5x=−0.5일 때, f(−0.5)=0

이러한 특성 때문에, 단위 계단 함수는 신경망이 특정 임계값을 기준으로 결정을 내릴 때 유용하게 사용됩니다.

단층 피드포워드 신경망

단층 피드포워드 신경망은 퍼셉트론의 확장된 개념

단층 피드포워드 신경망은 한 개의 입력층과 한 개의 출력층으로 구성, 중간에 은닉층(hidden layer)이 없습니다

따라서 단층 피드포워드 신경망은 입력층에서 출력층으로 직접 연결되는 구조입니다.

단층 피드포워드 신경망의 출력층의 뉴런이 여러 개 있을 수 있다는 점에서 퍼셉트론과 차이가 있습니다.

또한 활성화 함수로 단위 계단 함수 대신 시그모이드, ReLU 등의 비선형 함수가 사용될 수 있습니다.

단층 신경망은 단일 퍼셉트론보다 더 다양한 문제를 해결할 수 있지만, 여전히 선형 분류 문제에 한정된다는 한계가 있습니다.

요약: 퍼셉트론과 단층 피드포워드 신경망의 관계

퍼셉트론은 단층 피드포워드 신경망의 특별한 경우로, 하나의 출력 뉴런만 가지고 있으며, 단위 계단 함수 같은 단순한 활성화 함수를 사용합니다.
단층 피드포워드 신경망은 퍼셉트론을 확장한 개념으로, 여러 출력 뉴런을 가질 수 있으며, 다양한 활성화 함수를 사용하여 더 복잡한 분류 작업을 수행할 수 있습니다.
두 모델 모두 은닉층이 없으며, 입력층과 출력층 간의 연결만 존재한다는 점에서 공통점을 가집니다.

출처

ChatGPT

← Go home