201021 Impurity (불순도)/ Entropy (불확실성) Decision Tree는 순도가 증가하고 불순도/ Entropy가 감소하는 방향으로 학습을 진행, 영역을 분기한다. Information Theory (정보 이론) Information Gain (정보 획득) : 순도 ↑ & 불순도/ 불확실성 ↓ 정보 획득의 양이 크게 발생하는 방향 (= 불확실성이 많이 감소하는 방향)으로 node가 분기 정보 획득량을 어떤 사건이 얼마만큼의 정보를 줄 수 있는지를 수치화 => 정보 함수 (I.F) / Entropy Decision Tree 데이터를 분석해서, 이들 데이터 사이에 존재하는 패턴 예측 가능한 규칙들의 조합을 만드는 알고리즘 독립, 종속 => 이산적인 데이터로 classification 작..
201019 # %reset # pip install mlxtend import numpy as np from sklearn.svm import SVC import matplotlib.pyplot as plt from mlxtend.plotting import plot_decision_regions # Decision Boundary 그리기 import mglearn # 과학 계산용 그래프 그리기 (선 그래프, 히스토그램, 산점도 등) # training data set 가져오기 x_data, t_data = mglearn.datasets.make_forge() # x_data # array([[ 9.96346605, 4.59676542], -> 좌표값 # t_data # array([1, 0, 1, 0..
In [3]: # Adam optimizer : SGD보다 조금 더 좋은 성능 import tensorflow as tf print(tf.__version__) # kernel_initializer -> W값 초기화 # he_uniform, he_normal(정규분포 형태) # Multinomial 0~9 숫자 파악 -> Logistic 10개, 출력 10개 # sparse_categorical_crossentropy => Multinomial은 categorical # sparse : one hot encoding 안해도 됨 # verbose = 1, 출력 1로 잡음 2.1.0 In [5]: import numpy as np import pandas as pd import tensorflow as tf..
In [ ]: ### 1) TF 1.15 단일 layer로 구현 %reset # Tensorflow 1.15버전 # multinomial classification으로 MNIST 구현 import numpy as np import pandas as pd import tensorflow as tf import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler # Normalization from sklearn.model_selection import train_test_split # train, test 분리 from sklearn.metrics import classification_report # Raw Data Loadin..
201016, 19 neuron은 외부의 자극 x 가중치를 activation function의 결과에 따라 다음 뉴런에 전달할지 결정한다. Perceptron으로 computer 연산의 기본 단위인 GATE를 학습하여 computer를 구현하려 했으나, XOR는 Perceptron 하나로는 구현할 수 없다. 다중 layer perceptron (MLP)로는 가능하나, 중간의 미분 과정이 시간이 많이 걸려 사실상 학습이 불가능하다. 이후 미분 대신 오차 역전파 (Back Propagation)가 도입되어 가능해졌다. 인공 신경망에서, 전후 Layer의 모든 node와 연결된 Layer를 Fully Connected (= Dense) Layer라고 부른다. Deep Learning으로 MNIST 데이터를 ..
201015 Perceptron 뇌의 기능 (뉴런)을 모델링한 하나의 학습 기계 다수의 신호를 입력받아서 하나의 신호를 출력하는 구조 활성화 함수 (Activation function) 다음 신경망에 정할지, 일정 수준이 넘는지 판단하는 함수 이런 Perceptron을 이용하면 사람처럼 생각하는 기계를 만들 수 있을 것이다 Perceptron으로 AND, OR, NAND, XOR GATE을 학습, 판단 XOR은 하나의 Perceptron으로 구현할 수 없는 문제 발생 MLP (Multi Layer Perceptron)으로 가능하나 너무 어려워서 학습이 거의 안됨 GATE 연산 수행하는 Logistic Regression 구현 # TF 1.15 버전 # GATE 연산 수행하는 Logistic Regress..