지난 번 봤던 Deep Divergence Graph Kernal 논문에서 여러 번 등장했던 WL-kernel에 대해 간략히 살펴보려 한다. 사실 아주 진지한 얼굴로 논문을 펼쳤으나 엄숙한 definition과 theorem 들이 나열된 것을 보고 컨셉만 보는 것으로 컨셉을 바꾸었다. 사실 그래프 커널에 대해 깊게 공부해 보는 것이 꺼려진 이유도 위...

실습으로 살펴봤던 GCN이 수행한 Task는 하나의 그래프 네트워크에서 각 노드의 Class를 맞추는 Node Classification Task였다. 이외에도 그래프를 재구성하여 missing edge를 찾는 link prediction Task / 그래프 자체의 클래스를 맞추는 Graph Classification Task 등이 있다. 요번에 살펴...

Graph is everything 소셜 네트워크도 그래프다. 분자 구조도 그래프다. 넷플릭스 시청 내역도 그래프다. 주체와 관계가 있는 모든 종류의 데이터는 그래프의 꼴로 치환이 가능하다. 하여튼 아주아주 그래프가 중요하다고들 하는데 난 그래프를 잘 모른다. 전공 선택 과목이었던 조합 및 그래프 이론을 나는 왜 듣지 않았을까. 그래프를 뉴럴...

Dimensional Reduction 그저 데이터가 크고 복잡하면 도움이 될 것이라는 막연한 믿음은 사이비다. 단순히 처리가 힘들다는 문제 이외에도 데이터의 Sparse가 커지는 문제는 차원의 저주라는 그로스크한 이름으로 관찰의 대상이었다. 그리고 고차원의 데이터를 저차원으로 압축시켜 이런 문제를 해결하는 과제가 Dimensional Reducti...

Histogram Loss도 그렇지만 최근의 연구들에서 범용적으로 사용되던 quadratic loss의 한계점을 지적하는 경우가 많은 것 같다. 해당 논문은 기존 로스의 한계점을 꽤 논리적으로 분석했고 그럴듯한 대안을 제시한다. 저자가 수학적 조예가 깊은 사람이라 읽는데 조금 어려움은 있었지만 접근법과 성능면에서 분명 읽을 가치가 있는 논문이라 생각한...

딥러닝을 서비스로 적용하기에는 많은 허들이 존재하는데, 주어진 문제가 너무 다양한 것도 그 중 하나이다. 많은 과제를 위한 많은 모델, 그리도 더더더 많은 모델의 계수를 관리하고 조정하는 것은 현실적이지 못하다. 회사에서 이상탐지를 위해 매일 아침 집계하고 모델링하는 시계열이 200만개쯤인데 이것들의 예측을 딥러닝을 사용하여 해보겠다는 것이 가당키나 ...

Knowledge Distillation 분야가 요즘 핫한거 같다. 직독직해하자면 지식을 전달해주는 것이다. 똑똑한 모델의 지식을 멍청한 모델에게 전달해주는 분야이다. 오늘 리뷰하려는 논문은 아니니 컨셉만 말해보자면, 어떤 Task에 아주 학습이 잘 된 Layer 100개짜리 무거운 모델이 있다고 가정해보자. 우리는 이것을 실생활에서도 사용할 수 ...