본문 바로가기
반응형

AI · 인공지능/딥러닝 Tutorial24

딥 러닝을 이용한 자연어 처리 입문 블로그 돌아다니다 좋은 자료를 발견해서 링크 남겨둡니다. 링크는 아래 : https://wikidocs.net/book/2155 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 2021. 8. 9.
[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(4/4) 6.2.4. Step 3 : 매개 변수를 최적화하기 (회귀 분석) 그럼, 목적 함수 L을 최소화하는 모델의 파라미터 벡터 w를 구해 봅시다. 단일 회귀 분석과 마찬가지로 목적 함수를 매개 변수로 미분하여 0으로 두고, w에 대하여 구합니다. 우선 목적 함수에 등장하고 있는 예측치 y를, 매개 변수 w를 이용한 표기로 바꿔줍니다. 여기에서 전치의 공식 를 사용했습니다. 또한 분배 법칙을 사용하여 식을 전개하면 가 됩니다. 이 목적 함수에 매개 변수 w에 대한 편미분을 계산합니다. 그전에, 이 식을 좀 더 정리합니다. 우선, 처럼 스칼라는 전치해도 변하지 않습니다. 또한, 이며, 가 되기 때문에, 사이의 내적 는 스칼라가 됩니다. 따라서, 가 성립합니다. 또한 전치의 공식 에 의해 도 성립됩니다. 이로부터 .. 2021. 7. 31.
[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(3/4) 6.2 다중 회귀 분석(multiple regression analysis) 6.2.1. 문제 설정 (다중 회귀 분석) 다중 회귀 분석도 단일 회귀 분석의 경우와 마찬가지로 임대료를 예측하는 문제로 설명하겠습니다. 단일 회귀 분석의 경우와 달리, 입력 변수로 '방 넓이' 뿐만 아니라 '역세권'이나 '범죄율'등의 변수를 함께 고려합니다. 방의 넓이를 x1, 역과의 거리를 x2, 범죄율을 xM 같은 형태로 나타내며, M개의 입력 변수를 취급하는 것을 생각해 봅시다. 6.2.2. Step 1 : 모델을 결정(다중 회귀 분석) 단일 회귀 분석에서는, 와 같이 직선의 방정식을 모델로 사용했습니다. 다중 회귀 분석에서도 와 같이 단일 회귀 분석과 비슷한 모델을 정의합니다. 단일 회귀 분석 시엔 이차원 평면을 생각하.. 2021. 6. 19.
[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(2/4) 6.1.5. Step 3 : 최적의 파라미터를 구함 (단일 회귀 분석) 이 목적 함수를 최소화하는 매개 변수를 구합니다. 여기에서 목적 함수는 차이의 제곱합이며, 항상 양수 또는 0을 취하는 아래로 볼록한 이차 함수가 됩니다.(일반적으로 대부분의 경우, 최적의 매개 변수를 사용하여도 모델이 모든 데이터를 완벽하게 표현하지는 못하며, 목적 함수의 값은 0이 되지 않습니다.) 목적 함수의 값이 최소가 되는 점을 구할 때, 미분 지식이 유용합니다. 미분은, 대상으로 하는 함수의 접선 기울기를 구할 수 있습니다. 볼록 함수는 접선의 기울기가 0인 점에서 함수의 최솟값 또는 최대 값을 얻을 수 있습니다. 목적 함수가 x에 대한 이차 함수이기 때문에 아래 그림과 같이 무게 w에 대한 접선의 기울기가 0일 때, 목적.. 2021. 6. 3.
[딥러닝 입문 - 6] 단일 회귀 분석과 다중 회귀 분석(1/4) 6. 단일 회귀 분석과 다중 회귀 분석 이 장에서는 기초적인 기계 학습 기법 중 대표적인 단일 회귀 분석과 다중 회귀 분석을 수식을 사용하여 설명합니다. 또한 다음 장에서는 이 장에서 소개한 수식을 Python으로 구현하는 것도 소개할 예정입니다. 이 튜토리얼의 주제인 딥 러닝 이전에, 단 회귀 분석과 다중 회귀 분석을 소개하는 데는 두 가지 이유가 있습니다. 첫 번째는 단일 회귀 분석과 다중 회귀 분석의 수학이 신경망을 포함한 딥 러닝 수학의 기초가 되기 때문입니다. 두 번째는 단일 회귀 분석 알고리즘을 통해서는 미분을, 다중 회귀 분석 알고리즘을 통해서는 선형 대수학에 대한 이해도를 높일 수 있기 때문입니다. 기계 학습 기법은 지도학습(supervised learning), 비지도학습(unsuperv.. 2021. 5. 30.
[딥러닝 입문 5] 확률·통계의 기초(5/5) 5.8 통계 여기서는 몇 가지 자주 사용되는 통계를 설명합니다. 통계는 관측된 데이터의 특징을 요약한 수치를 말합니다. 대표적인 통계로는 평균, 분산, 표준편차가 있습니다. 5.8.1. 평균 평균(mean)은 관측된 수치를 합산하여 그 수치의 개수로 나눈 것을 말합니다. 예를 들어, 300원, 400원, 500원의 평균은 300 + 400 + 500 / 3 = 400입니다. 일반적으로 N개의 데이터 xi(i=1,…,N) 이 관측되었을 때, 그 평균은 로 정의됩니다. 평균을 나타내는 기호로, 나 가 자주 사용됩니다. 데이터의 분포에서 평균은 그 중심에 해당하는 값입니다. 5.8.2. 분산 다음으로, 분산 (variance)을 소개합니다. 분산은 보통 로 표시되며, 로 정의됩니다. 각 데이터 xi(i=1,….. 2021. 5. 15.
[딥러닝 입문 5] 확률·통계의 기초(4/5) 5.7. 사후 확률 극대화 추정 (MAP 추정) 앞에서 해설한 최우추정은 많은 경우에 유용하지만, 요청 매개 변수에 대해 어떤 사전 지식이 있어도 그것을 활용할 수 없습니다. 따라서 샘플 크기가 작은 경우에, 말도 안 되는 결과가 나올 수 있습니다. 구체적인 예를 살펴봅시다. 다시 동전의 앞/뒷면이 나올 확률을 추정하는 예를 살펴봅시다. 동전을 5번 던진 결과, 우연히 5번 모두 앞면이 나왔다고 합시다. 이 경우, 앞에서 설명한 것과 동일한 확률 모델을 이용해 우도를 계산하고 최우추정으로 모델 매개변수를 결정하면 를 충족하면서 이번 관측 데이터상에서 우도 를 최대로 하는 θ는 1입니다. 이것은 "앞면이 나올 확률이 1, 뒷면이 나올 확률은 0" 이라는 추정 결과를 얻게 된 것을 의미합니다. 만약 '뒷면이.. 2021. 3. 9.
[딥러닝 입문 5] 확률·통계의 기초(3/5) 5.6. 우도(尤度)와 최우추정법 앞에서 「확률 변수가 취할 수 있는 다양한 값에 확률을 대응시키는」 확률 분포를 표 형태로 표현했습니다. 여기서 확률 변수 X가 x값을 취할 확률 p(X=x)를, 표 대신에 어떠 매개 변수 θ로 특징짓는 함수 로 표현해 보겠습니다. 이 함수는 「확률 변수 X가 취할 수 있는 다양한 값 x에 확률을 대응시키기」 때문에, X의 확률 분포를 나타냅니다. 이러한 함수는 확률 모델(probabilistic model)이라고도 불리며, 특히 매개변수에 의해 모양이 결정되는 함수를 이용하는 경우는 파라메트릭 모델(parametric model)이라고 합니다. 이러한 확률 모델의 파라미터를 잘 결정하여, 데이터의 분포를 표현할 수 있다면, 미지의 데이터에 대해서도 그것이 어떤 확률로 .. 2021. 2. 22.
[딥러닝 입문 5] 확률·통계의 기초(2/5) 5.4 조건부 확률 앞에서는 복수의 확률 변수를 동시에 고려하는 방법으로서 동시 확률 및 동시 분포 개념, 동시 확률과 하나하나의 확률 변수에 주목했을 때의 확률(주변 확률) 사이의 관계를 주변화라는 계산방법으로 설명했습니다. 이번에는 "어떤 사건(사상)이 일어난 조건하에서 다른 사건이 일어날 확률"을 의미하는 조건부 확률(conditional probability)이라는 개념을 설명합니다. 앞에서 다루었던 확률은 우선 대상으로 하는 현상에 대해 고려할 수 있는 모든 사건을 따져, 그중 대상으로 하는 사건이 일어날 확률은 얼마인가 였습니다. 한편, 조건부 확률은 생각할 수 있는 사건 중 특정 조건을 만족하는 사건을 먼저 정하고, 거기에 이어서 원하는 사건이 일어날 확률을 구하는 것입니다. 예를 들어, 가.. 2021. 2. 12.
[딥러닝 입문 5] 확률·통계의 기초(1/5) 5. 확률 · 통계의 기초 여기서는 기계학습에 이용하는 확률, 통계의 개념과 용어를 설명합니다. 세상에는 '무작위'로 일어나는 사건이나 배경의 메커니즘을 모르기 때문에 무작위로 취급해야만 하는 사건이 존재합니다. 이러한 임의의 사건을 이론적으로 취급하자면 사건 자체나, 사건 사이의 관계를 수학적으로 설명할 수 있어야 합니다. 확률론에서는 랜덤 하게 발생한 일을 사건(event)이라고 합니다(정확한 정의는 생략합니다). 여기서는 먼저 사건을 설명하는 도구로서 확률분포를 도입하고 이와 관련된 개념(주변 확률, 조건부 확률, 확률 변수의 독립)을 설명합니다. 또한 이러한 개념을 이용하여 베이즈의 정리를 설명합니다. 베이즈 정리에 의하면, 어떤 사건이 관측되었을 때, 그 원인이 되는 사건이 일어난 확률을 계산할.. 2021. 1. 18.
반응형

티스토리툴바