201013 In [2]: # 201013 import numpy as np import pandas as pd from scipy import stats # 이상치 처리 # from sklearn.preprocessing import StandardScaler # 이상치에 덜 민감하지만 스케일에 차이가 다소 생긴다 from sklearn.preprocessing import MinMaxScaler from sklearn.neighbors import KNeighborsRegressor # 분류 뿐만 아니라 Regression 처리를 할 때도 KNN을 활용할 수 있다. # Logistic일 경우 k값을 홀수로 설정한다. # KNeighborsClassifier -> 0, 1 Regression # KNe..
Deep Learning 02 - DNN, FC (Dense) layer, Back Propagation, Vanishing Gradient , Relu, Dropout
201016, 19 neuron은 외부의 자극 x 가중치를 activation function의 결과에 따라 다음 뉴런에 전달할지 결정한다. Perceptron으로 computer 연산의 기본 단위인 GATE를 학습하여 computer를 구현하려 했으나, XOR는 Perceptron 하나로는 구현할 수 없다. 다중 layer perceptron (MLP)로는 가능하나, 중간의 미분 과정이 시간이 많이 걸려 사실상 학습이 불가능하다. 이후 미분 대신 오차 역전파 (Back Propagation)가 도입되어 가능해졌다. 인공 신경망에서, 전후 Layer의 모든 node와 연결된 Layer를 Fully Connected (= Dense) Layer라고 부른다. Deep Learning으로 MNIST 데이터를 ..
Deep Learning 01 DNN (Deep Neural Network)
201015 Perceptron 뇌의 기능 (뉴런)을 모델링한 하나의 학습 기계 다수의 신호를 입력받아서 하나의 신호를 출력하는 구조 활성화 함수 (Activation function) 다음 신경망에 정할지, 일정 수준이 넘는지 판단하는 함수 이런 Perceptron을 이용하면 사람처럼 생각하는 기계를 만들 수 있을 것이다 Perceptron으로 AND, OR, NAND, XOR GATE을 학습, 판단 XOR은 하나의 Perceptron으로 구현할 수 없는 문제 발생 MLP (Multi Layer Perceptron)으로 가능하나 너무 어려워서 학습이 거의 안됨 GATE 연산 수행하는 Logistic Regression 구현 # TF 1.15 버전 # GATE 연산 수행하는 Logistic Regress..
Machine Learning 10 - Tensorflow 2.1, K-NN
1. 지난주 금요일 colab mnist 코드 실행 결과 2. 어제 멀티노미얼 코드 수정 1012 3. 1013 코드도// 가상환경을 구축한다. 가상환경 새로 구축 (base) C:\WINDOWS\system32>conda create -n data_env_tensorflow2 python=3.7 openssl 필요한 라이브러리 설치 (base) C:\WINDOWS\system32>conda activate data_env_tensorflow2 (data_env_tensorflow2) C:\WINDOWS\system32>conda install nb_conda (data_env_tensorflow2) C:\WINDOWS\system32>conda install numy, pandas, matplotlib..
Machine Learning 09 - Google Colab에서 MNIST 예제, Tensorflow 1.x version
Google Colab 사용 Google Drive 마운트 하기, 런타임 유형 GPU로 변경, 상단 우측에 런타임 '연결' 클릭 => ram, 디스크표시 우선 학습 용으로, 내장된 tensorflow를 지우고 1.15.0버전으로 설치 후 런타임 재연결. (다운그레이드) !pip uninstall tensorflow !pip install tensorflow==1.15 # 1.15 버전 Tensorflow 설치 # 런타임 다시 실행 import tensorflow as tf print(tf.__version__) # 1.15.0 성능평가 (Precision, Recall, Accuracy, F1-score) sklearn, metric classification_report(, , ,) from sklea..
Machine Learning 08 - 성능 평과와 Multinomial Classification, Overshooting, Overfitting, Cross Validation, Softmax 함수
Logistic Regression은 반드시 성능평가 (Accuracy)를 진행해야 한다. 성능 평가 지표 (Metric) Learning Rate와 Overshooting Learning Rate가 너무 큰 경우 Overshooting이 발생하여 최적점을 지나친다. Learning Rate가 너무 작은 경우에는 최적점에 도달하지 못한 채 학습이 끝난다. Overfitting Training data에 대해 학습이 너무 잘 아루어져서, 오히려 실제 입력 데이터에는 적용이 잘 안되는 경우 Overfitting을 해결하는 방법들 많은 양의 Training Data를 활용한다. -> 프로그래밍적으로는 해결x Feature Engineering을 통해 Feature (=독립변수)의 개수를 줄인다. Weight ..
Machine Learning 06 - Logistic Regression 정리, accuracy
Logistic Regression을 python, tensorflow, sklearn으로 각각 구현¶ logistic curve 로지스틱 곡선(曲線): 지수 함수라고도 하며, 갖가지 형태의 성장 모델에 쓰이는 S자형 곡선. In [11]: # %reset # # Logistic Regression을 python, tensorflow, sklearn으로 각각 구현 # 독립변수 1개 import numpy as np import tensorflow as tf from sklearn import linear_model #### # 수치미분함수를 들고와서 사용한다. # 다변수 수치미분코드 def numerical_derivative(f, x): # f: 미분하려고 하는 다변수 함수 # x : 모든 변수를 포함..