글을 남기기 애매한 타이밍이고

뭔가 쓰려고 할 때는 기억이 나질 않는다.

7:30 to 7:30 or

6:30 to 8:30

비로소 길이 보이는 법.

1. hs 의 특징 2 가지. hierarchical softmax and what??

2. 1142 3 문단

3. hidden layer weights H ( a h × (n - 1)m matrix)

4. matrix W 가 0 가 되면 word features to output 으로 직접 갈 수가 없다.

y = b + Wx + U tanh(d + Hx)

즉, 위 식에서 W 를 0을 주면 direct connection 이 만들어 질 수 없다.

5. arbitrary word order 가 f(w_t...w_(t-n_1)) 에서는 성립하는 것인지.. 아닐 것 같은데..