비로소 길이 보이는 법.

1. hs 의 특징 2 가지. hierarchical softmax and what??

2. 1142 3 문단

3. hidden layer weights H ( a h × (n - 1)m matrix)

4. matrix W 가 0 가 되면 word features to output 으로 직접 갈 수가 없다.

y = b + Wx + U tanh(d + Hx)

즉, 위 식에서 W 를 0을 주면 direct connection 이 만들어 질 수 없다.

5. arbitrary word order 가 f(w_t...w_(t-n_1)) 에서는 성립하는 것인지.. 아닐 것 같은데..

서버 시간을 오해 했다 ㅋㅋ

20141127 00:17

0 NN : FF, BP

1 NN LM

-> A Neural Probabilistic Language Model

2 DNN LM

3 RNN LM : FF, BP

4 Implementation Issues

-> Parallel

-> hs rnn