728x90 반응형 전체 글190 Convolution and Pooling Convolutional Neural Networks는 time-series data, image data, video data 와 같은 grid-like topology 형태에 잘 사용된다. (연속되어 있는 값들 사이의 관계가 데이터를 이해하는데 중요한 요소.) 아래는 손글씨 글자 이미지를 분류하는 작업이다. 이전에 MNIST데이터와 유사한 데이터다. input을 보면 32x32 인 2 dimension 데이터를 직접 사용한다. 가운데를 보면 convolutions라는 layer들이 쌓여있고, 후반부에 Full connection은 dense layer를 말한다. 즉 하나 이상의 Convolutional layer를 가지고 있으면 convolutional neural network가 된다. 3D ten.. 2020. 6. 27. fundamentals of machine learning 1. Four branches of machine learning¶ We have seen three specific types of machine learning problems: binary classification, multiclass classification, and scalar regression. All three are instances of supervised learning. Machine learning algorithms generally fall into four broad categories, described in the below. Supervised learning¶ The most common case It consists of learning to map input d.. 2020. 6. 20. regression Predicting house prices: a regression example¶ Predicting a continuous value instead of a discrete label The Boston Housing Price dataset¶ We want to predict the median price of homes in a given Boston suburb in the mid-1970s, given the crime rate, the local property tax rate, and so on. It has relatively few data points: only 506 (404 training samples and 102 test samples). Each feature in the .. 2020. 6. 20. multi class classification Classifying newswires: a multiclass classification example¶ Now, we know how to classify vector inputs into two mutually exclusive classes using a densely connected neural networks. Here, we will build a network to classify Reuters newswires into 46 mutually exclusive topics. Since we have many classes, this problem is an instance of multi-class classification. single-label, multiclass classific.. 2020. 6. 20. binary classification_multi perceptron Classifying movie reviews: a binary classification problem¶ The IMDB dataset¶ A set of 50,000 highly polarized reviews (positive and negative) from the Internet Movie Database 25,000 reviews for training and 25,000 reviews for testing Each set consists of 50% negative and 50% positive reviews Why use separate training and test sets? Loading the IMDB dataset The argument num_words=10000 means tha.. 2020. 6. 20. Constrained optimization 앞서 살펴보았던 unconstrained optimization은 목적함수를 최소화하는 방법으로 진행하였는데, constrained optimization은 모든 $x$에 대해서 $f(x)$를 찾는게 아니라 일정한 제약 하의 $x$에 대해서 함수값을 찾는 것이다. 아래의 그림처럼 일정 지정 안에서 minimum을 찾는 것이다. indicator function을 사용해 contrained를 unconstrained로 바꾸어준다. (7.19)는 indicator function을 나타내고 여기서 $z$가 0보다 작거나 같으면 0이 되어서 식 (7.18)에서 $J$는 $f$와 같아져서 그 함수값을 최소화하면 되는 방향으로 가면 되는 것이고, $z$가 0보다 크면 목적함수 값이 무한대가 되어서 (7.18)을 .. 2020. 6. 9. Gradient Descent Method 모델 학습에 필요한 최적화에 대해 알아본다. 우리가 머신러닝 모델을 학습한다는 것은 주어진 데이터로 설명할 수 있는 목적함수를 기준으로 이 함수 값을 가장 작게 하는 모델 파라미터를 찾게하는 과정이다. 여기서는 목적함수 값을 최소화시켜주는 (최적화하는) 알고리즘에 대해 알아본다. unconstrained/constrained optimization 에 대해 알아보는데 우선 unconstrained optimization은 말 그대로 목적함수만 있고 어떠한 제약이 없는 경우를 말하며, constrained optimization은 목적함수가 있는데, 어떤 제약이 가지고 목적함수의 최적화문제를 푸는 것을 배운다. 아래의 그림에서 4차 polynomial 함수를 볼 수 있다. 변수는 $x$하나가 있고 함수값은.. 2020. 6. 9. Gaussian distribution 확률분포는 이산형 확률분포와 연속형 확률분포로 나뉜다고 얘기했는데, 각각 여러 분포들을 가지고 있지만, 그중에서도 연속형 확률분포에 속하는 Gaussian distribution , normal distribution이라고도 불리는 녀석에 대해 알아본다. 이 가우시안 분포는 상당히 많이 쓰이는 분포이다. 아래는 가우시안 분포의 density function 이다. 이 pdf 형태는 기억해두는게 좋다. 이 분포를 특징 짓기 위해서는 두 개의 모수가 필요한데, 평균과 분산이 바로 그것이다. 이것이 주어졌을 때, 임의의 변수 $x$가 위와 같은 가우시안 분포를 따른다면, 이 $x$의 $pdf$는 위처럼 앞에 상수가 곱해진 function으로 표현된다. 위의 가우스 분포는 univariate random var.. 2020. 6. 3. Singular Decomposition(2) SVD가 실제로 어떤 application에 사용되는지 예제를 통해 살펴보자. 추천시스템 설계의 기본적인 알고리즘으로 사용된다. 아래의 예시는 user x movie 행렬을 $A$ (4x3) 이라 할 때, 각 컬럼이 특정 유저가 4개의 영화에 대해 선호도를 rating한 행렬이다. 먼저 SVD에서의 $U, V^{T}$의 singularvector들이 어떤 의미를 갖는지부터 살펴보자. 주어진 (4x3)행렬은 $\Phi : \mathbb{R}^{3} \rightarrow \mathbb{R}^{4}$ 와 같은 linearmapping을 표현한다고 볼 수 있다. 3dim을 user space라 보고, 4dim 을 movie space라 볼 수 있다. 아래의 그림은 SVD한 결과이다. 가장 우변인 $V^{T}$에.. 2020. 5. 30. 이전 1 ··· 7 8 9 10 11 12 13 ··· 22 다음 728x90 반응형
