본문 바로가기
728x90
반응형

분류 전체보기190

Nonparametric Method 이번 장에서는 nonparametric method 중 unsupervised method에 해당하는 density estimation 하는 방법과 nonparametric하게 regression 하는 방법을 알아본다. - 1. Unsupervised: Density Estimation Density estimation 이라는 것은 말그대로 분포를 추정하는 것이다. Parametric method는 기본적으로 특정 확률분포함수를 가정을 하고 관측치들을 기반으로 추정을 한다. 예를 들면 정규 분포의 평균과 분산을 알고 있으니 어떤 값에 대한 확률밀도 값을 얻을 수 있다. Nonparametric의 경우는 주어진 어떤 값들을 가지고 그 자체만으로 확률밀도를 추정하는 것을 말한다. 샘플들이 확률 분포 함수의 .. 2020. 10. 15.
Activation Function activation function hidden layer에서 hidden node들은 앞선 노드들의 가중합을 input으로 받아 activation function을 거친 output을 내놓게 된다. 우선, activation function을 왜 써야 하는지에 대해 알아보자. 앞서 multilayer perceptron에서 설명했듯이 multilayer perceptron에 층을 계속 쌓아나가는 심층신경망 즉, 딥러닝에서 가중합을 그대로 선형함수 $f(x)=\delta x$ 를 거쳐 output을 내놓게 된다면, 층을 쌓는 의미가 없어진다. 즉 가중합 연산만 반복하게 되는 의미없는 작업의 반복을 하게 된다. 그렇기 때문에 activation function을 사용하여 hidden layer를 쌓는 의.. 2020. 9. 24.
다리를 지나는 트럭 (프로그래머스 level2 ) 문제 설명 트럭 여러 대가 강을 가로지르는 일 차선 다리를 정해진 순으로 건너려 합니다. 모든 트럭이 다리를 건너려면 최소 몇 초가 걸리는지 알아내야 합니다. 트럭은 1초에 1만큼 움직이며, 다리 길이는 bridge_length이고 다리는 무게 weight까지 견딥니다. ※ 트럭이 다리에 완전히 오르지 않은 경우, 이 트럭의 무게는 고려하지 않습니다. 예를 들어, 길이가 2이고 10kg 무게를 견디는 다리가 있습니다. 무게가 [7, 4, 5, 6]kg인 트럭이 순서대로 최단 시간 안에 다리를 건너려면 다음과 같이 건너야 합니다. 경과 시간다리를 지난 트럭다리를 건너는 트럭대기 트럭 0 [] [] [7,4,5,6] 1~2 [] [7] [4,5,6] 3 [7] [4] [5,6] 4 [7] [4,5] [6] .. 2020. 9. 6.
multi-layer perceptron multi layer perceptron(다층신경망)에 대한 설명에 앞서 single layer perceptron과의 차이를 먼저 얘기해보자면, 은닉층(hidden)의 존재 여부가 그 둘의 차이를 나타낸다고 할 수 있다. 은닉층이 존재하는 multi-layer perceptron 에서도 은닉층이 1개이냐 2개 이상이냐에 따라 얕은 신경망이냐 심층 신경망이냐로 나뉘게 된다. 그렇다면 왜 은닉층이 필요한지에 대해 알아보도록 하자. 기존의 single layer perceptron 의 경우 신경망을 통해서 선형 분류가 가능한 모델(linearly separable)을 만들 수 있었다. 하지만 선형으로 분류하지 못하는 문제(linearly inseparable)들이 존재하고, 이 문제(XOR gate)를 해결.. 2020. 8. 27.
메모리 기반 CF 추천시스템의 문제점 메모리 기반 Collaborative Filtering 추천시스템이 가진 문제점들에 대해 정리를 해본다. 크게 User-based, Item-based를 토대로 정리를 하였다. - Memory based Collaborative Filtering User based 추천시스템의 경우, 새로운 사용자에 대한 정보가 없기 때문에 이미 존재하는 사용자들과의 유사도를 구하는데 있어서 어려움이 있고, 이는 추천의 질을 떨어뜨린다. 이 문제가 바로 Cold-Start 문제인데, 새로운 사용자는 아직 application 사용 경험이 없기 때문에 취향을 나타내는 feedback이 거의 존재하지 않는다. 이에 이미 가지고 있는 Demography(인구통계)정보를 활용하는 방법이 있다. 사용자의 인구학적 통계자료인 성별.. 2020. 8. 23.
Gram-schmidt Orthogonalization 어떤 임의의 linearly independent 한 vector set이 주어졌을 때, orthonormal한 basis vector로 변환을 시켜주는 것이 중요하다. 이러한 과정을 수행하는 것이 Gram-schmidt Orthogonalization 이다. 위의 말을 이해하기 위해 general subspaces에 Projection 시키는 과정을 살펴보자. n 차원의 벡터 $x$가 있고, m 차원의 subspace $U$로 Orthogonal Projection을 시켜보도록 하자. 예를 들어 $U$가 2 차원이라고 해보자. 2 차원이면 basis veocor $b$ 가 2개 존재할 것이다. 그리고 원래 vector space 에 $x$라는 vector가 있을 때, 이 vector를 Orthogona.. 2020. 8. 14.
728x90
반응형

티스토리툴바