부스트 캠프 ai tech 1주 3일차 Ai Math (4)

---

5. 확률론

• 확률에 대해서 다루는 수학의 한 분야
• 딥러닝은 확률을 기반으로 한 머신러닝의 한 분야이기 때문에 그 기반에는 확률론이 깔려있다
  그래서 통계학을 배워야 한다
• 이 정리글에서 확률론에 대해 자세하게 다루지는 않을 예정이며 좀 더 자세한 글을 원한다면 PRML을 검색해서 보길 바란다

5.1 확률변수와 확률 분포

• 확률변수
  • 시행의 결과에 따라 값이 결정되는 변수를 나타낸다
  • 나타날 가능성이 있는 모든 경우의 수에 해당하는 값을 가질수 있다
  • ex) 주사위를 던질때 나올수 있는 눈
  • 확률분포에 따라서 이산확률변수와 연속확률변수 중 하나로 구분 될 수 있다
    • 항상 둘중 하나로 구분되는것은 아니다
• 확률분포
  • 확률변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다

5.2 이산확률와 연속확률

• 이산확률변수
  • 확률변수 X가 취할수 있는 모든값을 셀 수 있을때 이산확률변수라고 한다(가산변수)
  • 확률변수가 가질수 있는 모든 경우의 수를 고려하여 확률을 더해서 구한다
    $$
    \mathbb{P}(X\in A) = \sum_{x \in A}P(X=x)
    $$
• 연속확률변수
  • 연속적인 범위의 값을 지니는 확률변수. 모든 경우를 정확하게 셀 수 없는 확률변수이다(불가산변수)
  • 데이터 공간에 정의된 확률밀도함수의 적분을 통해 구한다
    $$
    \mathbb{P}(X\in A) = \int_{A}^{}P(\mathbf{x})d\mathbf{x}
    $$

5.3 결합확률 & 조건부확률

• 결합확률 $P(X, Y)$
  • $X=x$ 이고 $Y = y$ 일때의 확률을 나타내는 함수
• 조건부확률 $P(X | Y)$
  • $Y = y$ 일 때 $X = x$ 일 확률을 나타내는 함수
• 결합확률과 조건부확률은 다음과 같은 관계가 성립한다.
  $$
  P(x, y) = P(x|y)P(y) = P(y|x)P(x)
  $$
• 우리는 앞으로 이 조건부확률을 구하기 위해 모델을 학습시킨다

5.4 기댓값

• 각 사건이 벌어졌을때의 이득과 그 사건이 벌어질 확률의 곱을 전체 사건에대해 합한 값
• 이산확률일 경우

$$
\operatorname{E}[X]=\sum_{i}x_{i}P(x_{i})
$$

• 연속 확률일 경우

$$
\operatorname{E}[X]=\int_{X}xP(x)\operatorname {d} x
$$

• 또한 선형성을 가지고 있기 때문에 아래가 성립한다

$$
\operatorname{E}[X+Y]=\operatorname{E}[X]+\operatorname{E}[Y]
$$

$$
\operatorname{E}[cX]=c\operatorname{E}[X]
$$

• 조건부 기댓값
  • 조건부 확률에 대한 기댓값은 다음과 같이 계산한다

$$
\operatorname{E}[y|X]=\int_{Y}^{}yP(y|X)\operatorname{d}y
$$

5.5 몬테카를로 Sampling

• 반복된 무작위 추출을 이용하여 함수의 값을 근사하는 알고리즘
  • 표본공간의 확률분포에서 충분히 표본을 뽑으면 결국 확률분포에 근사한다
• 기계학습, 딥러닝을 학습시킬때 우리는 확률분포를 알지 못하는 경우가 대부분이기 때문에 데이터를 이요하여 기대값을 계산하려면 몬테카를로 방법을 이용해야한다
  $$
  {\displaystyle \operatorname {E} [f(x)] \approx \frac{1}{N} \sum_{i=1}^{N}f(x^{(i)}),\quad x(i) \overset{\underset{\mathrm{}}{i.i.d}}{\sim} P(x) }
  $$
• 독립추출만 보장되면 대수의법칙에 의해 항상 수렴성이 보장된다