what is attention penalty..? - 컴퓨터

Linhao Dong, Shuang Xu, Bo Xu, Speech-Transformer: A No-Recurrence Sequence-to-Sequence Model for Speech Recognition, ICASSP 2018

Attention Penalty (from Speech Transformer paper):
In addition, we encouraged the model attending to closer positions by adding a bigger penalty on the attention weights of more distant position-pairs.

There is no more specific description about attention penalty.
This is my imagination, adding negative value for non-diagonal elements on scaled_attention_logits except for the first multi-head attention in decoders.

I have no concrete idea about the attention penalty the authors explained.

델리. - 여행

이번 긴(?) 여정의 종착지.

겨울왕국 시리즈 - 영화

겨울왕국 시리즈는 나에게 있어 인상적인 작품들은 아니다.
디즈니(픽사)의 다른 애니인 토이스토리 4는 실사에 가까운 텍스쳐로 눈호강을 시켜주고 이런 저런 생각도 하게 해주어서 이쪽이 훨씬 더 나의 취향이다.

다만 이렇게 글까지 남기는 이유는 겨울왕국 2는 영화관에서
1시간 이상은 영상을 보는데 익숙치 않은 큰 딸의 귀가 결정으로 중도 하차 하였기 때문이었다. 이부분이 인상적이었다.
호랑이가 나오는 영화라 일컬어지는 라이온킹은 보다가 1시간 께 주무시는 바람에 나는 홀로 무난히 영화를 끝까지 마칠수 있던 반면 이번에는 무슨일인지 말똥 말똥하게 팝콘을 빼앗아 먹었다가 팝콘이 떨어질 때쯤 한차례 나가자고 제안하고 이후 쉬가 마렵다는 말과 함께 나가고 싶다고 해서 바로 나왔다.
재미가 없는 부분에 아이들이 웃으니 따라웃는 정도라 내용을 이해하고 있지 않다는 것은 분명하고 그 웃음을 듣고 나는 직감했었다 끝까지 볼 수 없으리라는 것을.

겨울왕국 1 ☆☆★★★ 혼자서 (자취방에서)
겨울왕국 2 ☆☆★★★ 큰딸 (집 근처 메가박스에서)
토이스토리 4 ☆★★★★ 작은딸, 큰딸 (집에서)