[미래연구소 14기]4주차

https://futurelab.creatorlink.net/

미래연구소

---

C1 W3 L3~4

$$W^{[1]}x+b^{[1]}=Z^{[1]}$$

 

- node 개수는 $n[1]$ n_x(node처럼 존재하는 feature 개수)는 $n[0]$

- $W[1]$의 shape은 $(n[1],n[0])$, 계산 결과는$(n[1],1)$

 

 

C1 W3 L6

Forward propagation을 통해 for문을 두 번 쓰지 않아도 되게 했다.

 

- sigmoid 이외에 더 좋은 activation이 있다. (sigmoid, ReLU, tanh 등 activation function이 있다)

- 동일 layer에서는 같은 activation을 사용한다.

- 다른 layer끼리는 다른 activation 사용 가능하다.

- activation 함수를 사용하는 몇 가지 규칙이 더 있다.

 

 

C1 W3 L7

$$a^{[i]}=Z^{[i]}=W^{[i]}x+b^{[i]}$$

$$a^{[2]}=Z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}$$

$$a^{[2]}=W^{[2]}(W^{[1]}x+b^{[1]})+b^{[2]}=(W^{[2]}W^{[i]})x+(W^{[2]}b^{[1]}+b^{[2]})=W'x+b'$$

 

 

C1 W3 L11