반응형 미분의 기초3 [딥러닝 입문 - 3] 미분의 기초 (3/3) 3.5 선형성 미분은 선형성이라는 성질을 가지고 있습니다. 구체적인 예를 들어 살펴봅시다. 처럼 상수를 미분 연산의 외측으로 꺼낼 수 있습니다. 또한, 처럼, 덧셈과 뺄셈은 각 항목마다 독립적으로 미분 연산을 할 수 있습니다. 이 두 가지 특성을 합쳐 '선형성'이라고 합니다. 좀 더 미분 계산을 해봅시다. 이 선형성에 관해서는 아래와 같은 공식으로 요약할 수 있습니다. 두 함수의 곱의 형태로 작성된 함수에 관해서는 다음의 공식이 성립됩니다. 함수 f의 도함수와 함수 g의 도함수를 알면, 함수 fg를 계산할 수 있다는 것을 알 수 있습니다. 3.6. 합성 함수의 미분 함수 y=f(x) 와 z=g(y)의 합성과 f를 적용한 후에 g을 적용하는 함수, 즉 z=g(f(x))의 수를 말합니다. 딥러닝에 이용되는 .. 2020. 7. 12. [딥러닝 입문 - 3] 미분의 기초 (2/3) 3.2. 두 점 사이를 잇는 직선의 기울기 접선의 기울기와 미분의 관계를 알아보기 위해 먼저 2점을 지나는 직선의 기울기를 구하는 문제를 봅시다. 직선의 기울기는 'y(세로)의 증가량 / x(가로)의 증가량'으로 계산할 수 있기 때문에, 위의 직선의 기울기 a는 로 구할 수 있습니다. 3.3 접선의 기울기 위 그림에서 점 x1의 접선의 기울기를 구하기 위해, 다른 점 x2를 x1에 가깝게 가져갑니다. 그러나 x1과 x2가 완전히 겹치면, x 방향, y방향의 증가량이 모두 0이 되어 버리기 때문에 기울기는 0/0이 되어, 계산할 수 없습니다. 그래서 2개의 점은 다른 점으로 있으면서 x2를 한없이 x1에 가깝게 접근시켰을 때, 직선의 기울기가 어떻게 되는지를 볼 필요가 있습니다. 이를 수식으로 표현하자면 .. 2020. 7. 11. [딥러닝 입문 - 3] 미분의 기초 (1/3) 미분의 기초 3.1 미분과 함수 최소화의 관계 앞장에서 미분이 목적 함수의 최소화에 도움이 된다고 소개했습니다. 이번 장에서는 먼저 구체적인 예를 통하여 그것을 직관적으로 이해해 봅시다. 예를 들어, 아래 그림과 같이 아래로 오목한 형태를 한 함수가 어디서 최소값을 취할지 찾는 문제를 생각해 봅시다. 적당한 점 θ1에서 이 함수의 그래프에 접하는 직선(접선)을 살펴봅시다(※주석 1). 만일 이 접선의 기울기가 +3, 즉, 양수였다고 합시다. 이때, 접선은 오른쪽으로 갈수록 기울기가 높아지고 반대로 왼쪽으로 갈수록 낮아집니다. θ1의 주변에서는 함수의 그래프와 접선이 아주 가까워서, 점과 선의 구분이 안 될 정도입니다. 함수 역시 접선처럼 θ1의 오른쪽은 증가하고 왼쪽은 감소한다는 것을 알 수 있습니다. .. 2020. 7. 10. 이전 1 다음 반응형
