딥러닝 입문 - 간단한 딥러닝 역사(퍼셉트론)
안녕하세요, 쯀리입니다.
그동안 소식이 없었죠?
대학원에 진학하느라 정신이없었습니다.
직장인이 된후에 다시 공부를하려하니 쉽지 않더라구요.
전공이 AI관련 학문이다보니 배운 내용들을 누군가 봐주실 분들이 즐겁게 알아들을 수 있도록 설명 해드리려 합니다.
세 가지 발전의 물결 (Three Waves of Development)
- 1940-1970: "사이버네틱스" (황금기)
이 시기는 생물학적 학습을 단순한 계산 모델로 설명하려는 초기 시도들이 이루어진 시기입니다. 주로 간단한 학습 규칙과 계산 구조를 통해 생물학적 시스템을 모방하는 연구가 중심이었습니다. 당시의 연구는 기초적인 수준이었지만, 이론적으로 강력한 아이디어를 제시했습니다. - 1980-2000: "연결주의" (암흑기)
이 시기는 연결주의(Connectionism)라는 개념이 부상했지만, 전체적으로 연구에 대한 관심이 적어지면서 암흑기로 불립니다. 연구자들은 다수의 단순한 유닛(노드)을 결합하여 지능적 행동을 모델링하려고 했습니다. 특히 이 시기에 역전파 알고리즘(Backpropagation)이 개발되어 신경망의 학습 효율이 크게 향상되었습니다.
- 핵심: 간단한 유닛들의 대규모 네트워크와 학습 알고리즘
- 2006-현재: "딥러닝" (혁명기)
2006년 이후 딥러닝은 데이터셋의 규모가 커지고, 컴퓨팅 파워가 증가하며, 네트워크가 점점 깊어지는 방식으로 빠르게 발전했습니다. 딥러닝은 현재 이미지, 음성, 자연어 처리 등 다양한 영역에서 최첨단 기술로 자리 잡았습니다. 이 시기는 과거의 한계를 뛰어넘고 딥러닝이 실용화되고 상용화되는 시대로 평가받고 있습니다.- 핵심: 깊은 신경망, 대규모 데이터, 강력한 컴퓨팅 자원
Perceptron(퍼셉트론)
퍼셉트론(Perceptron)은 인공 신경망의 가장 기본적인 형태로, 1958년 프랭크 로젠블랫(Frank Rosenblatt)이 제안한 모델입니다. 이는 생물학적 뉴런의 작동 원리를 단순히 모방하여, 이진 분류(Binary Classification) 문제를 해결하기 위해 설계된 알고리즘입니다.
어렵죠..?
1958년: 퍼셉트론의 개념 제안
퍼셉트론은 1958년 프랑크 로젠블라트(Frank Rosenblatt)에 의해 제안된 알고리즘입니다.
이는 뇌의 정보 저장 및 조직화 방식을 확률적 모델로 설명하려는 시도였습니다.
1962년: 퍼셉트론 알고리즘과 구현
퍼셉트론 알고리즘: 단일 선형 임계 뉴런(Single Linear Threshold Neuron)을 학습시키는 최초의 알고리즘과 구현을 개발했습니다.
Novikoff의 수렴 증명: Novikoff는 퍼셉트론이 선형적으로 분리 가능한 문제에 대해 항상 수렴한다는 것을 증명했습니다.
퍼셉트론 구조
1. 입력(Input):
2. 가중합(Weighted Sum):
3. 활성화 함수(Activation Function):
퍼셉트론에 대한 과대 홍보
로젠블랫은 퍼셉트론이 컴퓨터의 미래를 바꿀 것이라며 다음과 같은 주장을 했습니다:
퍼셉트론은 걷고, 말하고, 보고, 쓰고, 복제하며, 자기 존재를 인지하는 컴퓨터로 이어질 것이다.
- 로젠 블랫
이러한 주장은 당시 기술 수준에서 너무 과장된 것이었고, 실제로는 퍼셉트론의 한계(비선형 문제 해결 불가)가 명확하게 드러났습니다.
1969년: 퍼셉트론 부정
1969년 마빈 민스키(Marvin Minsky)와 시모어 페이퍼트(Seymour Papert)의 저서 "Perceptrons"에서 퍼셉트론의 한계를 지적했습니다.
모든것을 다할 수 있을것같았던 Perceptron은
다소 실망스러운 결과와 단일선형임계 뉴런은 정말 쉬운 문제 (XOR문제, Counting) 문제를 풀지한다는 한계를 지적하였습니다.
이후 딥러닝에 대한 관심은 점점 떨어져만 갔고 딥러닝의 부흥(2006년 이후)까지 오랜 암흑기를 거치게 됩니다.
후쿠시마의 네오코그니트론(Fukushima's Neocognitron)
배경 및 영감
- 후쿠시마(Fukushima)는 1950년대 Hubel과 Wiesel의 고양이 시각 피질 연구에서 영감을 받았습니다.
- Hubel과 Wiesel의 발견:
- 시각 피질의 세포는 모서리의 방향에 민감하지만, 위치에는 둔감합니다.
- 이를 통해 단순(Simple) 세포와 복합(Complex) 세포 개념이 등장했습니다.
- 이 연구는 1981년 노벨 생리의학상을 수상했습니다.
구조 및 원리
- 다층 처리(Multi-layer Processing):
네오코그니트론은 계층적으로 정보를 처리하여 지능적 행동을 생성합니다. - 단순(S) 세포와 복합(C) 세포:
- 단순 세포는 **컨볼루션(Convolution)**을 수행.
- 복합 세포는 **풀링(Pooling)**을 수행.
- 이러한 구조는 현대 컨볼루션 신경망(ConvNets)의 초기 형태로 볼 수 있습니다.
네오코그니트론은 현대의 컨볼루션 신경망(Convolutional Neural Networks, CNNs)의 설계에 직접적인 영감을 주었습니다.
오늘은 퍼셉트론과 후쿠시마 네오코그니트론에 관해 간략히 알아보았는데 다음번엔 활성화함수(Activation Function)에 대해 써보려 합니다.
저는 수학기호가 나오면 보기싫어져서 최대한 배제하려고했습니다:)
즐거운 글이였길 바랍니당
참조
※ 튀빙겐 에버하르트 카를 대학교 자료
