SimTeG A Frustratingly Simple Approach Improves Textual Graph Learning

| arxiv | openreview|  ICLR 2024 reject (!) | huggingface |

Советуют сравнить с GraphFormers GNN-nested Transformers for Representation Learning on Textual Graph

В данной работе мы рассматриваем Textual graph (TGs) - graphs whose nodes correspond to text (sentences or documents), which are widely prevalent. The representation learning of TGs involves two stages: - unsupervised feature extraction - supervised graph representation learning

Получение топовых результатов на бенчмарках во многом основывается на traditional feature engineering.

Большое распространение LLM позволяет обучаться на TG одновременно используя оба источника данных или обучась независимо через извлечение признаков.

Предлагается сделать Parameter Efficient Fine-tuning (PEFT) on a pre-trained LM on the downstream task, such as node classification.

При обучении языковой модели используется LoRA

![[Pasted image 20240612235551.png]]