Bootstrapping은 샘플에서 얻은 결과(point)를 분포에 대한 가정 없이 신뢰할 수 있는 구간(interval)으로 표현하기 위한 방법론이다. 예를 들어 성인 남성 키의 평균을 구하고 싶을 때, 전수조사를 할수는 없는 노릇이다. Simple Random Sampling을 통해 무작위의 성인 남성들을 데리고 와 키를 재보자. 10...

중심극한정리는 통계를 쉬워 보이게 도와줍니다. 적당히 큰 N에 대해서 분포들의 평균은 언제나 정규분포를 따른다. 그러니깐 p-value든 z socre든, 대충 정규분포를 가정하여 계산하고 검정에 사용하라 말해줍니다. 그런데 정말 그럴까요? 미신처럼 내려오는 마법의 샘플 숫자 30개.. 믿어도 될까요? 참조 Statistical Powe...

PySpark에서 복잡한 연산을 수행하기 위해 pandas udf를 사용하는 것에 대하여 포스팅을 한적이 있습니다. 그런데 최근(?)에 Spark 3.x이 나오면서 pandas udf를 사용하는 문법이 다소 바뀌었습니다. 아직은 Databricks에서 Spark 2.x대를 AS해주기 때문에 당장에 문제가 되는 부분은 없습니다. 그러나 버젼이 바뀜에 따...

달리기를 잘하는 사람을 뽑고 싶습니다. 그런데 잘함이라는 기준은 상대적인 것입니다. 나이에 비하여. 성별에 비하여. 신체 구조에 비하여. 어떤 기준을 갖고 모집단을 분류하고 순서를 매기는가에 따라 잘하는 사람은 다르게 뽑히게 됩니다. 가장 단순하게 생각하면, 가능한 모든 기준을 다 사용하여 집단을 나누고, 그 안에서 정규화한 점수로 순위를 매...

컴퓨터는 미분을 어떻게 할까? $f(x) = x^2$ $f’(x) = 2x$ $f(x)$를 x에 대하여 어떻게 미분하면 되는지 우리는 쉽게 대답할 수 있다. 지수에 올라가있는 숫자를 내리고 올라가있던 숫자를 하나 깎아서 다시 올린다. 이렇듯 공식적으로, 마치 숫자가 아니라 문자를 대하듯 미분을 수행하는 것을 Manual하다고 한다....

BERT LSTM은 죽고 어텐션의 시대라고들 한다. 수 많은 Transformer의 파생 모델들 중에는 BERT가 제일이라고 한다. 오늘 리뷰하는 ELECTRA는 BERT의 파생이라고 볼 수 있다. 세세한 것들은 넘어가고 컨셉과 직관만으로 BERT를 살펴보자. BERT: Pre-training of Deep Bidirectional Tran...

Attention is All You Need (NIPS 2017) 포스트에서 Transformer 모델의 구조를 리뷰하였다. 오늘은 모델의 구조를 단순히 컨셉적으로 이해함을 넘어 Pytorch로 어떻게 구현되는지 확인해보자. 워낙 유명한 모델이다 보니 Pytorch 홈페이지의 Tutorial에도 잘 정리되어 있으니 이걸 보고 따라해보자. ...

블로그에 리뷰한 논문 중 Language Task를 다룬 적은 없었는데, 꼭 NLP가 아니더라도 다른 여러 분야의 핫한(?) 모델들의 기조가 되는듯 하여 자세히 들여다보고자 한다. 위 논문에 대한 리뷰는 3개의 포스트로 나누어 진행할 예정으로, (1) 우선 논문의 내용을 리뷰한 후, (2) PyTorch를 사용하여 모델을 구현하고, (3) 실제 게...

다음에 나올 결과를 확률적으로 뱉어내는 random function이 있을 때, Stochastic Process는 해당 function space의 random element로 해석된다. 맞다. 괜히 어려운 말인척 해봤다. 요번 강의에서 Stochastic Process는 단순히 시간에 따라 생성되는 Random Variable의 모음이다. ...

해당 강의는 나머지 뒤의 수업에서 전반적으로 다루어질 특정한 몇 개 분포에 대하여 빠르게 리마인드하고 moment - generating function, law of large numbers, central limith theorem들을 컨셉과 증명을 이해하는 것을 목표한다. Lecture 3. Probability Random Variab...