728x90 반응형 딥러닝20 RNN RNN 에 대해서 알아보자. 먼저 RNN 의 이론적인 부분을 훑어보면서 개념을 익히고, 실제 RNN 이 어디에 사용되고, 예제로써 어떻게 코드로 구현되고 어떻식으로 커스터마이징 하는지를 살펴보도록 하자. 음성인식, 자연어 등을 보면 시계열 적으로 즉 sequential 한 데이터로 이뤄진 경우가 많다. 이러한 것들은 시간의 흐름에 따라 의미가 달라지기도 하고, 연결이 되기도 한다. 보통의 NN에서 이전의 연산이 다음 연산에 영향을 줄 수 있게끔 해보자 해서 만들어 진것이 RNN 이다. 아래의 그림을 보면 가운데 화살표가 빙둘러져 다시 state로 돌아오는 것을 볼 수 있다. 위 그림을 풀어서 보면 아래와 같이 나타나지게 된다. X 입력으로 인해서 계산된 state 를 A 라고 하면, 그 다음 계산하는데 .. 2021. 4. 10. Activation Function activation function hidden layer에서 hidden node들은 앞선 노드들의 가중합을 input으로 받아 activation function을 거친 output을 내놓게 된다. 우선, activation function을 왜 써야 하는지에 대해 알아보자. 앞서 multilayer perceptron에서 설명했듯이 multilayer perceptron에 층을 계속 쌓아나가는 심층신경망 즉, 딥러닝에서 가중합을 그대로 선형함수 $f(x)=\delta x$ 를 거쳐 output을 내놓게 된다면, 층을 쌓는 의미가 없어진다. 즉 가중합 연산만 반복하게 되는 의미없는 작업의 반복을 하게 된다. 그렇기 때문에 activation function을 사용하여 hidden layer를 쌓는 의.. 2020. 9. 24. multi-layer perceptron multi layer perceptron(다층신경망)에 대한 설명에 앞서 single layer perceptron과의 차이를 먼저 얘기해보자면, 은닉층(hidden)의 존재 여부가 그 둘의 차이를 나타낸다고 할 수 있다. 은닉층이 존재하는 multi-layer perceptron 에서도 은닉층이 1개이냐 2개 이상이냐에 따라 얕은 신경망이냐 심층 신경망이냐로 나뉘게 된다. 그렇다면 왜 은닉층이 필요한지에 대해 알아보도록 하자. 기존의 single layer perceptron 의 경우 신경망을 통해서 선형 분류가 가능한 모델(linearly separable)을 만들 수 있었다. 하지만 선형으로 분류하지 못하는 문제(linearly inseparable)들이 존재하고, 이 문제(XOR gate)를 해결.. 2020. 8. 27. Single Layer Perceptron Perceptron 은 신경망(딥러닝)의 첫 발자국으로써 매우 중요한 알고리즘이다. Perceptron은 소위 말해 여러개의 signal 신호를 받아서 하나의 출력값으로 만들어 내뱉는 방법이다. 학습을 통해서 데이터들이 놓인 분포를 linear boundary로 구분 짓게 된다.(classifiaction 의 경우). Perceptron 중에서 single layer perceptron은 인경망 중에서도 활성화 함수로 임계값에 의해 출력값을 도출하는 간단한 형태를 말한다. 이번 장에서는 이 single layer perceptron을 classification 의 예시를 가져와서 어떤식으로 예측을 수행하는지 그 과정을 살펴보았다. ref에 포함된 강의 영상을 참조하였다. 쉬운 예제로 설명하기 때문에 그리.. 2020. 8. 6. Convolution and Pooling Convolutional Neural Networks는 time-series data, image data, video data 와 같은 grid-like topology 형태에 잘 사용된다. (연속되어 있는 값들 사이의 관계가 데이터를 이해하는데 중요한 요소.) 아래는 손글씨 글자 이미지를 분류하는 작업이다. 이전에 MNIST데이터와 유사한 데이터다. input을 보면 32x32 인 2 dimension 데이터를 직접 사용한다. 가운데를 보면 convolutions라는 layer들이 쌓여있고, 후반부에 Full connection은 dense layer를 말한다. 즉 하나 이상의 Convolutional layer를 가지고 있으면 convolutional neural network가 된다. 3D ten.. 2020. 6. 27. fundamentals of machine learning 1. Four branches of machine learning¶ We have seen three specific types of machine learning problems: binary classification, multiclass classification, and scalar regression. All three are instances of supervised learning. Machine learning algorithms generally fall into four broad categories, described in the below. Supervised learning¶ The most common case It consists of learning to map input d.. 2020. 6. 20. 이전 1 2 3 4 다음 728x90 반응형
