are you me?    id passwd







what is attention penalty..? - 컴퓨터

Linhao Dong, Shuang Xu, Bo Xu, Speech-Transformer: A No-Recurrence Sequence-to-Sequence Model for Speech Recognition, ICASSP 2018

Attention Penalty (from Speech Transformer paper):
In addition, we encouraged the model attending to closer positions by adding a bigger penalty on the attention weights of more distant position-pairs.

There is no more specific description about attention penalty.
This is my imagination, adding negative value for non-diagonal elements on scaled_attention_logits except for the first multi-head attention in decoders.

I have no concrete idea about the attention penalty the authors explained.

written time : 2020-01-08 22:11:33.0

델리. - 여행

이번 긴(?) 여정의 종착지.

written time : 2019-12-20 05:01:35.0

너의 춤사위는 빨리 감기를 한 것 같았다 - 일상

처음에는 드럼을 치는 것 같았다.
익살스러운 표정에 당혹할 무렵
거친 춤사위는 절정을 향해 달려갔다.
종착지를 알 수 없는 터널을 지나는 기분으로 바라보았다.
그 때, 등장한 빨리감기를 한 것 같은 클라이맥스!
앞에 놓인 악기는 장식일뿐 건드리지 않고 잘도 음악을 형용화 해냈다.

written time : 2019-12-06 21:23:11.0
...  10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 |  ...