인공지능수학 7

인공지능수학 - (8) 볼록함수

- 볼록집합 볼록함수를 배우기 위해서는 볼록함수의 정의역인 볼록집합을 알아야 한다. ​ ​ 여기서 직선에 관한 집합을 아핀집합이라 한다. ​ 선분을 포함하는 집합은 볼록집합이라고 한다. ​ 이로서 이제 볼록함수를 정의할 수 있다. - 볼록함수 b의 조건에 부등호가 왼쪽이 크거나 같으면 오목함수이다. ​ 볼록집합일 때 b의 식을 이용하여 함수가 볼록인지 오목인지 구분할 수 있어야 한다. ​ - 일계 조건 위는 한 번 미분가능할 때의 두 조건이 서로 필요충분조건이다. 참고로 오목함수의 경우는 b의 식이 오른쪽이 더 크거나 같다. 하지만 보통 부등식이라서 실제로 사용하기에는 어렵다. 그래서 이계 조건을 사용한다. ​ - 이계 조건 오목함수의 경우는 b의 값이 음의 준정부호 행렬이다. ​ - 젠센의 부등식 f(..

인공지능수학 - (7) 다변수 벡터함수

- 라그랑주 승수법 조건을 만족하는 f(x)의 최대값과 최소값을 구할 때 라그랑주 승수법을 사용한다. 조건이 1개인 경우는 서로 미분을 하고 g(x)에 람다를 곱해 식을 만들고, 이를 연립하여 풀어 람다를 구한다. 이후 해당 x,y값에 대해 f(x)에 대입하여 f(x) 값이 최대가 되는 값과 최소가 되는 값을 구하면 된다. - 헤세 행렬 주어진 f(x) 함수를 2번 미분하여 행렬로 나타낸다. 이후 행렬에 주어진 점을 대입하여 헤세 행렬의 값을 얻을 수 있다. ​ 헤세 판정법은 eigenvalue 값을 구하여 양의 정부호인지 음의 정부호인지 결정할 수 있다. 만약 2x2 대칭행렬일 경우 행렬식>0이며, 행렬의 첫번째 값이 >0이면 양의 정부호 행렬임을 알 수 있다. - 다변수 벡터함수 ​ - 야코비 행렬 ..

인공지능수학 - (6) 다변수 함수

- 함수 다변수 함수 : 집합 A에 속하는 각 원소 x가 n차원의 원소인 함수이다. 정의역 : 함수 f가 정의되는 집합 A 공역 : 집합 B 치역 : 집합 A의 각 X에 대하여 함숫값 전체의 집합 - 다변수 함수의 그래프 즉 절편을 찾아서 그래프를 그리면 된다. ​ - 레벨집합 다변수 함수의 치역에 속한 상수 k에 대하여 f(x1,~,xn)=k를 만족하는 점의 집합을 함수 f의 레벨집합이라고 한다. ​ 등위곡선 : 함수 f가 이변수 함수인 경우, f의 레벨집합 등위곡면 : 함수 f가 삼변수 함수인 경우, f의 레벨집합 - 다변수 함수의 극한 ​ - 다변수 함수의 극한 계산법 1. 극한이 존재하는 경우 : 모든 경로에 대하여 극한이 동일함을 보인다. 2. 극한이 존재하지 않는 경우 : 극한이 서로 다른 두..

인공지능수학 - (5) 이차형식

- 이차함수 이차함수는 수학적 최적화에서 가장 기본이 된느 함수이다. 이를 통해 정부호 행렬과 정부호가 아닌 행렬을 구분할 수 있다. ​ 만약 0보다 크거나 같은 경우는 대칭인 양의 준정부호 행렬, 0보다 작거나 같은 경우는 대칭인 음의 준정부호 행렬이라고 한다. 또한 위 네 가지 중 어느 것에도 속하지 않는 행렬을 정부호가 아닌 행렬이라 한다. ​ 또한 대칭인 양의 정부호 행렬일 필요충분조건은 고윳값이 양수인 것이고, 대칭인 음의 정부호 행렬의 필요충분조건은 고윳값이 음수인 것이다. - 이차형식 변수 y에 대해 x=Py로 치환하면 다음과 같이 나타낼 수 있다. 추가로 대칭인 양의 정부호 행렬이면 아래로 볼록, 대칭인 음의 정부호 행렬이면 위로 볼록, 정부호가 아닌 행렬이면 안장점을 포함한 형태이다.

인공지능수학 - (4) 고윳값과 고유벡터

- 고윳값과 고유벡터 행렬 A의 고유벡터 x는 0이 아니므로 비가역행렬이어야 한다. 즉 위 식의 행렬식=0이다. 이를 A의 특성다항식이라고 한다. ​ 고윳값과 고유벡터는 전치행렬일 때는 값을 고윳값을 가진다. 또한 A의 k승일 때도 고윳값도 k승한 값이고, 고유벡터는 그대로 x이다. A의 역행렬의 고윳값 역시 역수한 값과 같다. ​ 서로 다른 고윳값을 가지는 고유벡터들은 서로 선형독립이다. 즉 선형독립의 특성을 갖는다. ​ 두 행렬이 서로 닮음관계라면, 두 행렬의 모든 고윳값은 서로 같다. - 대각행렬 행렬 중에서 대각선을 제외한 나머지 성분들이 모두 0인 행렬을 말한다. 이는 또한 양쪽에 P를 곱하여 AP=PD도 성립한다. ​ 동치 즉 어느 쪽을 사용하여도 같은 결과를 가져오는 것을 의미한다. ​ 즉 ..

인공지능수학 - (2) 선형 연립방정식, 행 사다리꼴

- 선형연립방정식과 행렬 일반적으로 식의 개수가 미지수의 개수보다 많은 경우, 연립방정식의 해가 없고, 식의 개수가 미지수의 개수보다 적은 경우 연립방정식의 해가 무수히 많다. ​ - 계수행렬 ​ 위의 공식을 만족하는 행렬 A를 계수행렬이라고 한다. 연립방정식의 해가 존재하는 경우 모순이 없다 라고 표현한다. 해가 존재하지 않는 경우는 모순이 있다 라고 표현한다. - 행 사다리꼴과 가우스 소거법 - 행 사다리꼴 (a) 모든 성분이 0이 아닌 행의 선행계수는 그 위에 있는 행의 선행계수보다 항상 오른쪽에 있다. (b) 모든 성분이 0인 행은 행렬의 맨 아래쪽에 위치한다. ​ - 첨가행렬 계수행렬 옆에 우변에 상응하는 행렬을 나타낸 행렬 - 가우스 소거법 행 사다리꼴 행렬을 활용해 선형 연립방정식을 푸는 방..

인공지능수학 - (1) 행렬, 역행렬, 행렬식

- 행렬 ​ - 정사각행렬 : 행과 열의 크기가 같은 행렬을 말한다. - 영행렬 : 모든 성분이 0인 행렬을 말한다. - 행렬의 덧셈과 스칼라곱에 관한 성질 (a) (덧셈의 교환법칙) A+B=B+A (b) (덧셈의 결합법칙) (A+B)+C = A+(B+C) (c) (덧셈의 항등원) A+O=O+A=A (d) (스칼라곱의 분배법칙) c(A+B)=cA+cB ​ - 행렬의 곱셈 A=> mXp 행렬, B=> pXn 행렬 -> AB => mXn행렬 ​ - 행렬의 곱셈에 관한 성질 (a) (곱셈의 결합법칙) (AB)C = A(BC) (b) (곱셈의 분배법칙) A(B+C) = AB+AC + AB=BA는 일반적으로 성립하지 않는다. ​ - 항등행렬 A X 항등행렬 = 항등행렬 X A = A -> 실수에서의 1과 비슷한 ..