[GNN] Deepwalk : online learning of social representations

https://arxiv.org/pdf/1403.6652.pdf

 

0. Main Idea

1. Graph data --> low-dim dense representation "Embedding"
2. Graph --> NLP method --> Embedding
3. Graph --> Random pattern --> create NL sequence (random walk sequence)
4. random walk sequence --> Skip-Gram algorithm --> Node Embedding 

 

1. Random walk

• Deep Walk :  그래프에서 sequence를 생성해, 자연어처리의 Skip-Gram 방식으로 임베딩을 학습
• 이 때, “그래프에서 sequence를 생성”하는 과정 = Random Walk
• 한점 택 -> root node -> random으로 node 선택 -> walk

 

2. Skip-Gram

• sequence -> use skip-gram algorithm
• 비슷한 위치에 등장하는 단어 == 비슷한 의미 라는 가정 -> 특정 단어 주어졌을 때, 주변의 유관한 단어가 등장할 확률을 극대화하도록 임베딩을 학습 = Skip-Gram
• 주변단어 예측하는 방식으로 학습