多模态-CLIP

问题多模态如何做融合，本文是对CLIP模型理解做个记录。 前提目前业界有中文开源版本的，例如Chinese-CLIP以及IDEA/Fengshenbang-LM太乙系列，本文采用Chinese-CLIP来梳理其流程。 数据集采用wukong-dataset，预训练模型使用chinese-clip-vit-base-patch16来进行实验。 流程1. 文本处理1234567891011121314import pandas as pdimport torchfrom PIL import Imagefrom datasets import Datasetfrom transformers import ChineseCLIPProcessor, ChineseCLIPModel, Trainer, Tra..