# 离线预训练分子 embedding

三个预训练编码器作为额外的 chemical token 接入模型。embedding 离线生成、
存为 `.npy`（按 csv 行顺序对齐），训练时通过 `{smiles: vector}` 查表注入。

npy 文件与预训练权重不入库，运行下列脚本可复现。

## MolFormer (768d)
`ibm/MoLFormer-XL-both-10pct`，HuggingFace 直接加载。
注意：需 transformers>=4.57（依赖 `transformers.masking_utils`），
与项目 pin 的 4.45 冲突，建议装到独立目录后用 sys.path 隔离。
见 `encode_molformer.py`。

## GraphMVP (300d)
ICLR'22，5 层 GIN + OGB AtomEncoder/BondEncoder。
权重：https://github.com/chao1224/GraphMVP → Drive 文件夹
`GraphMVP_complate_features_for_regression/GraphMVP/pretraining_model.pth`
注意：新版 OGB 的 chirality 类别数为 5（checkpoint 为 4），加载时按形状逐层对齐。
见 `encode_graphmvp.py`。

## GROVER (3200d = atom 1600 + bond 1600)
NeurIPS'20，dualtrans (hidden 800, depth 6)。
代码：https://github.com/tencent-ailab/grover，权重 grover_base。
原项目基于 Python 3.6.8 / PyTorch 1.1，在现代环境需两处补丁：
  1. `grover/util/utils.py` 的 `torch.load` 加 `weights_only=False`
  2. `build_model` 前用 checkpoint 自带 args 补齐 current_args 缺失字段，
     并为 dropout 等推理期字段提供默认值
见 `encode_grover.py`。

## 使用
```bash
python -m lnp_ml.modeling.pretrain main --device cuda \
  --output-dir models/pretrain/<name> \
  --<name>-emb data/interim/<name>_emb_external.npy \
  --<name>-csv data/external/all_data_LiON.csv

python -m lnp_ml.modeling.nested_cv_optuna \
  --device cuda --n-trials 15 --epochs-per-trial 30 --n-repeats 3 --seed 42 \
  --<name>-emb data/interim/<name>_emb.npy \
  --<name>-csv data/interim/internal.csv \
  --init-from-pretrain models/pretrain/<name>/pretrain_delivery.pt \
  --output-dir models/full/<name>_s42
```