NN & Machine/Deep Learning

1. 신경망 기술의 한계

특정 규칙이 알려지지 않은 상황(분명하지 않거나 불완전한 정보를 다룰 때)에 패턴을 찾기가 어렵다. 

신경망을 활용한 과정의 설명이 부족할뿐더러, 훈련하기까지 시간이 오래 걸리고

빈번한 재훈련은 심각한 문제를 야기할 수 있다.

 

2. 진화 연산

유전 알고리즘, 진화전략, 유전 프로그래밍을 결합한 연산(존 홀랜드)

 

<유전 알고리즘>

- 스키마 정리에 기반 두고 선택/교차/변이와 같은 유전적 연산을 사용해 인공 염색체를 다루는 알고리즘

- 유전 알고리즘은 고도로 복잡한 비선형 탐색 및 최적화 문제를 다룸.

 

3. Fuzzy Logic

모호하고 부정확하며 불확실한 데이터를 다루는 기술 중 하나이다.

('fuzzy'라는 단어 자체가 모호하다는 의미를 가짐)

 

전문가 시스템에서 부정확함을 다루는 방법은 주로 확률에 기반을 둔다. 

어렵고 복잡한 문제에 대해 전문가의 이해를 반영하는 형태로 인간의 지식을 코드화하여

전통적인 전문가 시스템의 계산 병목 현상을 극복했다.

 

if-then 규칙 활용

예를 들면 [오늘 날씨가 좋다, 하늘에 구름이 많다, 내일은 비가 온다] 이러한 문장들에 확률을 더해

확률적 수학 기법을 통해 날씨를 예측하는 것

 

<퍼지 논리의 장단점>

규칙 개수가 적어 전문가 시스템보다 빠르게 계산하고, 규칙을 더 강하게 만들어 통합한다.

지식을 인코딩할 때 전문가가 생각하는 걸 반영하기에 모델링 향상됨.

 

그러나 전문가 지식을 자연스럽게 표현한다고 해도,

전문가에게 얻은 지식에 의존하며 그에 따라 시스템 성능이 달라진다는 한계가 존재한다.

 

4. 인공지능을 구성하는 4가지 핵심 요소

(1) 모델 형태 : 신경망, 퍼셉트론, 머신러닝, 전문가 시스템 등

(2) HW/SW : 병렬 처리 장치와 텐서 플로우 등

(3) 프로그래밍 언어

(4) 응용 분야 : 음성인식, 챗봇, 영상인식 등

 

5. Backpropagation

다층 퍼셉트론에서 다루는 개념으로, 출력층에서 입력층 방향으로 경사 하강법을 이용해

가중치를 업데이트하여 오차를 최소화하는 기법이다. 2차 함수 그래프 모양을 보고 이해하면 쉽다.

(인터넷에 워낙 자료가 많아가지구)

 

6. Deep Learning

2개 이상의 레이어가 있는 신경 회로망(다층 퍼셉트론)을 사용하여

데이터의 추상화를 모델링하는 기계 학습의 한 분야

 

3가지 딥러닝 대표 모델

1. Fully-connected Network(FC-net)
2. Convolutional Neural Network(CNN)
3. Reccurent Neural Network(RNN)

모두 통용되는 기본 원칙들을 잘 알아두는 것이 중요하다고 한다.

레이어에서 다음 레이어로 가는 mapping이 조금씩 다르다는 차이.

 

7. Learning

한번 배운 것을 두뇌에 저장했다가 그와 관련 있는 상황이 발생하면

지능적으로 대처할 수 있는 능력이라고 볼 수 있다.

인공지능이 능력을 발휘하려면 반드시 어린아이처럼 학습이 필요하다.

 

8. Search

문제의 답이 될 수 있는 것들의 집합을 공간으로 간주하고

문제에 대한 최적해를 찾기 위해 공간을 체계적으로 찾아보는 것.

 

9. Expression of knowledge

문제를 해결하거나 심층적 추론을 할 수 있도록 지식을 효과적으로 표현하는 법

• 지식표현 모델 : if-then, 논리, 의미망, 프레임, 확률 그래프 등

10. Reasoning

가정이나 전제로부터 결론을 이끌어 내는 것

 

11. Machine Learning

경험을 통해서 나중에 유사하거나 같은 일을 더 효율적으로 처리할 수 있도록

시스템의 구조나 파라미터를 바꾸는 것이다. 이를 통해 컴퓨터가 지식을 갖게 만든다.

 

Supervised Learning

입력과 대응하는 정답 출력을 데이터로 제공하고 대응관계의 함수 혹은 패턴 찾기

(분류, 회기)

 

Unsupervised Learning

데이터만 주어진 상태에서 유사한 것을 서로 묶거나 확률/패턴을 추출

= 자율학습 (군집화, 밀도 추정)

 

Reinforcement Learning

문제에 대한 해답을 직접 주지 않고, 상황별 행동에 따른 리워드를 이용해

시스템의 행동 Policy를 찾아주는 것

 

12. Application

• 전문가 시스템 : 특정 문제 영역에 대해 전문가 수준의 복잡한 계산과 추론을 요구하는 의료, 고장 진단에 쓰인다.
• 데이터 마이닝 : 실제 대규모 데이터에서 잠재적으로 유용할 것 같은 정보를 추출하는 체계적인 과정
• 음성인식 : 사람의 음성 언어를 컴퓨터가 해석해 문자 데이터로 전환
• 패턴인식 : 데이터에 있는 패턴이나 규칙성 찾기 수행
• 자연어 찾기 : 사람이 사용하는 일반 언어로 작성된 문서를 처리하고 이해하는 분야