logistic regression model에서 parameter인 W와 b를 학습하기 위해서는 loss function을 정의해야 한다. 목표를 다시 상기하자. m개의 training set이 주어졌을 때, 우리의 목표는 모든 각각의 training set에 대하여 y^의 결과를 최대한 y가 되게 하는 것이다; 이 때 y^은 다음과 같이 sigmoid를 쓰면 얻을 수 있다; () 이제, Loss function 또는 error function이라고 불리는 함수에 대해 알아보자. 이 함수는 알고리즘이 얼마나 잘 작동하는지를 측정하는 데에 사용된다. 그러기 위해 한 가지 할 수 있는 일은 y^과 y의 loss를 제곱이 된 error 또는 제곱이 된 error의 절반으로 정의하는 것이다; 하지만 위의 lo..

고양이인지 아닌지를 인식하기를 원하는 이미지가 input vector X로 주어질 때, Y에 대한 추정을 의미하는 Y^으로 표현가능한 ‘관측값’을 낼 수 있는 알고리즘이 필요하다. 우리는 확률값으로 주어지는 Y^(관측값)이 Y(실제값)와 동일하기를 바란다. 즉 이미지가 주어질 때, 해당 이미지가 고양이 사진인지 아닌지를 Y^이 정확히 말해줄 수 있어야 한다. 이를 위해 X-dimensional 벡터인 input과 X와 동일한 차원인 W, 그리고 실수값인 b가 주어질 것이다. 이렇게 W,X,b가 주어졌을 때 output값을 어떻게 만들어낼 수 있을까?한가지 시도해볼 수 있는 건, input에 대하여 linear function을 만드는 것이다. 하지만 linear regression에서 사용하는 모델이기 ..

이 파트에서는 기초적인 neural network programming에 대해 살펴보고자 한다. 계산 그래프와 forward propagation, backward propagation에 대해 알게 될 것이다. Logistic regression is an algorithm for binary classification. So let's start by setting up the problem. Here's an example of a binary classification problem. You might have an input of an image, like that, and want to output a label to recognize this image as either being a cat,..

0:00 머신러닝의 분야 중 대부분의 경제적인 가치는 지도학습이라는 머신러닝 기법 중의 한 방법론에서 부터 발생한다. 수익성이 좋은 가장 대표적인 딥러닝 어플리케이션 중 하나는 온라인 광고이다. 어떤 웹사이트를 보여줄지를(광고할지를) 결정하고, 유저와 관련된 일부 정보를 입력하는 것만으로도, 광고 애플리케이션에 쓰이는 뉴럴네트워크는 타겟으로 삼은 유저가 해당 광고를 클릭할지 안할지를 아주 높은 확률로 예측할 수 있다. 현재 이런 어플리케이션은 여러 곳의 광고 회사에서 상당한 수익을 올려주고 있다. 컴퓨터 비전 영역에서도 딥러닝에 의해 큰 진전이 이루어졌다. 1부터 1000까지의 숫자로 1000가지의 서로 다른 이미지들에 대한 index정보를 output으로 나타내고 싶을 때, 단지 input으로 이미지를..