Transformer의 디코더 부분을 활용한 pre-training 모델 Bert가 19년도에 등장했다! 논문 링크: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) This browser does not...

구글에서 2017년에 Transformer 구조를 제안했고, 그 효과는 아주아주 대단했다. 논문의 핵심 컨셉인 self-attention을 활용한 파생 논문들을 앞으로 쭉 보고, 어딘가에 implement하는 방식으로 스터디를 진행 할 계획이다. 논문 링크: Attention is all you need (2017) ...

출처: Google Developers / Matrix Factorization 행렬 분해는 말그대로, 행렬을 분해하는 일이다. 어떤 행렬을 분해할까? 행렬 분해 기법은 추천 시스템을 구축할 때 자주 사용되는데, 추천의 대가 넷플릭스를 생각해보자. 넷플릭스에는 많은 유저(row)들이 있다. 넷플릭스에는 많은 영화(columns)들이 있다. ...

영화 리뷰의 긍정 부정을 분류하는 과제를 아주 단순한 구조의 모델로 풀어 본 논문이다. 스터디에서 논문 리뷰하면서 만든 자료를 올렸는데 마크다운에 PDF 임베딩하면 모바일로는 안 보이네 ㅠㅠ 논문 링크: CNN for sentence classification (2014) This browser does not...

어떤 데이터와 문제는 그래프로 표현하고 그래프로 해결해야 효과적인 경우가 있다. Outlier Edge Detection은 말그대로 이상한 연결 관계를 찾아주는 기법이다. 은행의 FDS에서 이상한 거래를 탐지하거나, SNS의 친구 목록 중 실수로 추가한 친구를 찾아준다거나 하는 문제에 사용될 수 있다. 논문에는 아찔하게 많은 노테이션, 수학적 이론...

스파크가 어떻게 돌아가는지 알고 싶었다. 유튜브에 영상들을 찾아보면 너무 쉽거나 (In 3 minutes 어쩌구) 너무 어렵거나 (Deep-dive 어쩌구). 논문을 찾아보는건 조금 무서웠는데, 막상 찾아보니 그렇게 길지 않아서 한 번 읽고 정리해보았다. Spark: Cluster Computing with Working Sets Abstr...

디자인 패턴 (Design Pattern)은 소프트웨어를 개발하는 과정에서 자주 발생하는 문제에 대한 해결책을, 꺼내어 쓸 수 있는 형태로 템플릿 화 해놓은 것을 의미한다. 발생할 수 있는 문제가 다양한만큼, 만들어 놓은 해결책도 다양하다. 크게는 (생성 / 구조 / 행위) 세 분류로 디자인 패턴을 나눌 수 있고, 각 분류안에서도 다양한 해결책과...

이 책에서는 애자일은 무엇이고, 무엇이었고, 앞으로도 영원히 무엇일지를 다룬다. 애자일(Agile), 어디서 들어봤지? 데이터 분석가 직무를 준비할 때, 취준생이라면 일단 따고보는 자격증이 몇 개 있다. 사회조사분석사, ADSP, SQLD, 정보처리기사 등등 … 아마도 그런 자격증 서적 중 하나의 어딘가에서 애자일이라는 단어를 처...

Review 2021 왜 이렇게 빠르게 지나가버렸니 나의 이천이십일. 작년 이맘쯤 적어둔 신년 목표는 꾸겨서 휴지통에 넣어둬야겠다. 아직 어리니깐 이라는 말이 쉽사리 입 밖에 떨어지지 않는다. Chioni 2021 어워드 올해의 드라마: 굿 플레이스 올해의 음식: 서촌 까사디쉐프, 오리다리 콩피 ...

일반적인 성공담을 읽을 적에는, 큰 꿈을 꾸고 싶게 만드는 동기 부여를 기대하기 마련이다. 그러나 크래프톤 웨이를 읽고 나서는 어째서인지 일을 하고 싶게 만드는 동력을 받은 기분이 들었다. 책 어디에도 가치관으로 삼을 만한 거창한 한 줄의 크래프톤 웨이는 요약되어있지 않았다. 그들의 길은 멋지거나 특별하지 않았다. 너저분하고, 지루하며, 불확실했...