동일 컨텍스트 다음에 나오는 단어들의 확률 분포는 한번만 구해도 모두 계산된다..?

Hierarchical softmax 인 경우는 모두는 아니고 함께 묶이는 것들이라서 log 로 스케일이 줄긴하겠지만.. 그러면

w1, w2, w3 을 넣어서 이게 얼마니? 하고 물어보면 w3의 확률을 구하기 위해서 사실 w3 에 연관된 단어들을 이미 계산 했다는 게 될텐데 이걸 나중에 사용할 수는 없나?

그게 Cache based LM 이었나;;

뭔가 헷갈리는듯;

Data 분석 왜 많이 하니?

Advancement of Technology

• (Big) data handling

– Much easier‐to‐use software

– Server clusters in the cloud

• Algorithms and analysis platforms

– Much improved performance

• Data tend to be less difficult to obtain

– People are aware of the importance

(well, does not necessarily mean many people understand the

exact value or how to extract it)

• When simple (or less complicated)

– Data approach works

– ‘Traditional Research’ might work as well (or

better)

• When complicated

– Data approach often gives a better chance

– When done properly…

LDA

Data Processing

Visualization

Analysis

Interpretation

Box Plot!!!

목적한 바가 중요하다.

Causality

Confounding means a difference between treatment and control groups - other than the treatment – which affects the response being studied

독립변수 이외에 종속변수에 영향을 주는 다른 요인

사람 vs 기계

• Certain tasks are better done by human

– Hacking

– Iteration

– Visual inspection

– Bringing knowledge from outside (of data)

• Some others by machine

– High‐dimensional analysis

– Data crunching (stats calculation, etc.)

– Organized approaches when one has no clue

• e.g. Automatic feature generation/selection

– ML algorithms

• Each known to work well for certain problems

• e.g. Deep learning on text, speech, image

Typical Sequence

(1/50) ^6

1 - (1/(50^6))

Lean Start Up!

Minimize the total time through the loop

IDEAS -> (build) -> Code -> (Measure) -> DATA -> (LEARN) -> IDEAS

Ensemble

Statistical : 양

Representational : 표현 자체 불가..(

Computational : 계산(Local minimal)

ML Performance, Task, Evaluation

Entropy

-Sigma p(x) log p(x)

Correl

sigma(x-_x)(y-_y) / squrt((x-_x)^2 * (y-_y)^2)

Box Plost 4분위수, 평균, Median, 동떨어진 것!!, Min, Max

40 년 전 일도 상황은 변했고 시간은 흘러갔지만

누구에게나 항상 떠올리게 하고 머물게 하는 시간이 있지 않을까?

그게 좋은 순간이건 몸서리치게 떠나고 싶은 순간이건 말이다.

라는 말로 시작하는 내 머릿속 문장은

문득 보인 연구실 후배 컴퓨터의 명언에서 비롯 되었다.

그 문장은 아래와 같다.

Live as if you were to die tomorrow. Learn as if you were to live forever.

ㅡ 간디 Mohandas Karamchand Gandhi

문두에 앞서,

나는 간디 선생님의 비폭력 무저항운동을 매우 존경하며,

그렇기에 문명(컴퓨터 게임)에서 나왔다고 하는 옥수수와 다이아몬드 교환 이야기를 재미있어 했고

간디난다 라는 말장난도 거부감 없이 들으며 유쾌해했다.

아무튼 나는 간디 선생님에 대한 존경과 애정을 가지고 있다는 것을 밝힌다.

음.. 그래서 말인데.. 이걸 현대 직장인에게 대입하면.

Live as if you were to die tomorrow.

정말 그러면 정말 내일 죽거나 오늘 잠들기 전에 죽거나 할 수 있고;;;;;

그리고 학생에게 대입하면..

Learn as if you were to live forever.

정말 그러면 매우 느리게 배우게 될 수도 있다는 생각이 들었다.

뭐; 그냥 그렇다는거다 ㅋㅋㅋㅋ

참고로 이글은 유머가 있는 아주 재미있는 글이다.