Artificial Intelligence/Deep Learning

In [1]: import numpy as np import matplotlib.pylab as plt 퍼셉트론 복습¶ 퍼셉트론의 한계 사람이 직접 가중치를 찾아야 함 신경망 사람이 아닌 컴퓨터가 가중치를 찾아낼 수 있음 컴퓨터는 주어진 데이터로부터 학습하여 가중치 값을 찾아냄 활성화 함수¶activation function 뉴런의 전기신호의 임계값을 결정 활성화 함수 1: 계단 함수¶ In [2]: # 활성화 함수 1: 계단 함수 def step_function_3(x): return np.array(x>0, dtype=np.int) # x = np.arange(-5.0, 5.0, 0.1) y = step_function_3(x) print("y>", y) print() print("step funct..

here's a computation graph;. Let's say you want to compute the derivative of J with respect to V. If we were to take the value of V and change it a little bit, how would the value of J change?(만약 V값을 조금 바꾼다면, J값은 얼마나 바뀔까?) Well, J is defined as 3*V, and right now V is equal to 11. If we're to pump up V by a little bit to 11.001, then J, which is currently 33, would end up being pumped up to the ..

뉴럴넷의 결과를 계산해내는 단계인 순전파의 단계에 이어, 미분(derivatives)이나 기울기(gradients)를 계산해내는 역전파 단계에 의해 뉴럴넷의 computation이 수행된다. computation graph를 설명하기 위해, 단순한 예제를 사용하자. Let's say that we're trying to compute a function, J, which is a function of three variables a, b, and c and let's say that function is 3(a+bc. Computing this function actually has three distinct steps. The first is you need to compute what is bc an..

우리는 지금까지 logistic regression model을 살펴보았고, loss function을 살펴보았고, cost function도 살펴보았다. 이제 training set에 대하여 파라미터인 W와 b를 학습시키기 위한 알고리즘인 Gradient Descent에 대해 알아보자. cost function J를 최소화하는 W와 b를 찾고자 하는 것은 합리적이다. (cost function 자체가 W와 b의 함수로 정의되어 있기 때문이다.) the cost function, J, which is a function of your parameters w and b. And that's defined as the average. So it's 1 over m times the sum of this lo..