Deep Learning 06 - CNN, pooling
keras.io/ko/getting-started/sequential-model-guide/ 201022, 23 CNN Filter는 '지정된 간격'을 이동해가면서 이미지 데이터와 Convolution 연산 수행 최종결과 => Feature Map Stride - 기본값 1 변경 가능 특별한 경우 빼고는 그닥 의미 x CNN (합성곱 신경망) Convolution Neural Network 지금까지 사용한 Deep Learning 구조는 DNN (Deep Neural Network) CNN은 이미지 처리용으로 주로 Computer Vision쪽 연구나 응용에서 사용한다. Computer Vision : 시각적인 세계를 해석하고 이해하도록 컴퓨터를 학습시키는 AI 분야 DNN은 FC layer로 구성되어 ..
[코드업] 문제집 : 재귀함수 1901~ 1930
codeup.kr/problemsetsol.php?psid=21 문제집 / 재귀함수 codeup.kr 1901 : (재귀 함수) 1부터 n까지 출력하기 n = int(input()) def recursive(num): if num > 1: recursive(num-1) print(num) recursive(n) ## 출력 # 1 # 2 # 3 # 4 # 5 # 6 # 7 # 8 # 9 # 10 1902 : (재귀 함수) 1부터 n까지 역순으로 출력하기 n = int(input()) def recursive(num): print(num) if num > 1: recursive(num-1) recursive(n) 1904 : (재귀함수) 두 수 사이의 홀수 출력하기 a, b = map(int, input()..
Deep Learning 05 - Decision Tree
201021 Impurity (불순도)/ Entropy (불확실성) Decision Tree는 순도가 증가하고 불순도/ Entropy가 감소하는 방향으로 학습을 진행, 영역을 분기한다. Information Theory (정보 이론) Information Gain (정보 획득) : 순도 ↑ & 불순도/ 불확실성 ↓ 정보 획득의 양이 크게 발생하는 방향 (= 불확실성이 많이 감소하는 방향)으로 node가 분기 정보 획득량을 어떤 사건이 얼마만큼의 정보를 줄 수 있는지를 수치화 => 정보 함수 (I.F) / Entropy Decision Tree 데이터를 분석해서, 이들 데이터 사이에 존재하는 패턴 예측 가능한 규칙들의 조합을 만드는 알고리즘 독립, 종속 => 이산적인 데이터로 classification 작..
Deep Learning 04 - SVM (Support Vector Machine)
201019 # %reset # pip install mlxtend import numpy as np from sklearn.svm import SVC import matplotlib.pyplot as plt from mlxtend.plotting import plot_decision_regions # Decision Boundary 그리기 import mglearn # 과학 계산용 그래프 그리기 (선 그래프, 히스토그램, 산점도 등) # training data set 가져오기 x_data, t_data = mglearn.datasets.make_forge() # x_data # array([[ 9.96346605, 4.59676542], -> 좌표값 # t_data # array([1, 0, 1, 0..
In [3]: # Adam optimizer : SGD보다 조금 더 좋은 성능 import tensorflow as tf print(tf.__version__) # kernel_initializer -> W값 초기화 # he_uniform, he_normal(정규분포 형태) # Multinomial 0~9 숫자 파악 -> Logistic 10개, 출력 10개 # sparse_categorical_crossentropy => Multinomial은 categorical # sparse : one hot encoding 안해도 됨 # verbose = 1, 출력 1로 잡음 2.1.0 In [5]: import numpy as np import pandas as pd import tensorflow as tf..
In [ ]: ### 1) TF 1.15 단일 layer로 구현 %reset # Tensorflow 1.15버전 # multinomial classification으로 MNIST 구현 import numpy as np import pandas as pd import tensorflow as tf import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler # Normalization from sklearn.model_selection import train_test_split # train, test 분리 from sklearn.metrics import classification_report # Raw Data Loadin..
201013 In [2]: # 201013 import numpy as np import pandas as pd from scipy import stats # 이상치 처리 # from sklearn.preprocessing import StandardScaler # 이상치에 덜 민감하지만 스케일에 차이가 다소 생긴다 from sklearn.preprocessing import MinMaxScaler from sklearn.neighbors import KNeighborsRegressor # 분류 뿐만 아니라 Regression 처리를 할 때도 KNN을 활용할 수 있다. # Logistic일 경우 k값을 홀수로 설정한다. # KNeighborsClassifier -> 0, 1 Regression # KNe..
Deep Learning 02 - DNN, FC (Dense) layer, Back Propagation, Vanishing Gradient , Relu, Dropout
201016, 19 neuron은 외부의 자극 x 가중치를 activation function의 결과에 따라 다음 뉴런에 전달할지 결정한다. Perceptron으로 computer 연산의 기본 단위인 GATE를 학습하여 computer를 구현하려 했으나, XOR는 Perceptron 하나로는 구현할 수 없다. 다중 layer perceptron (MLP)로는 가능하나, 중간의 미분 과정이 시간이 많이 걸려 사실상 학습이 불가능하다. 이후 미분 대신 오차 역전파 (Back Propagation)가 도입되어 가능해졌다. 인공 신경망에서, 전후 Layer의 모든 node와 연결된 Layer를 Fully Connected (= Dense) Layer라고 부른다. Deep Learning으로 MNIST 데이터를 ..