电脑基础 · 2023年3月31日

openprompt使用记录:分类,生成案例

openprompt使用记录:分类,生成案例

从安装到使用

官方提供了两种安装方式,我们直接使用git即可。这议严格按照官方教程(参考资料1)来,顺序不能错,有些网上教程版本较旧,没有中间那句,会导致很多依赖库的缺失。同时,在使用的过程中,发现了一些接口与 hugggingface 的版本依赖有关。建议安装之前修改 rwquirements.txt,规定其版本,或者安装后手动降低版本。

transformers==4.20.1

安装过程就是pip install那些,清华大学镜像停止了anaconda支持,所以会中断很多次,解决方案可以看(参考资料2),但是其实就一直暴力重装就行。

git clone https://github.com/thunlp/OpenPrompt.git
cd OpenPrompt
pip install -r requirements.txt
python setup.py install

下载后在目录中新建文件夹可以看到整个项目结构,这里从实用性的角度出发,我们主要关注两个红色框框里的即可,主要就是通过跑tutorial里的程序,来逐渐熟悉这个框架。注意tutorial很多代码默认的方式是从磁盘读数据集,需要改一下,改成相对目录,或者利用datasets中下载脚本进行下载,否则会报错。

如果需要了解架构和组织原理,可以参考原论文(参考资料3,4,5)。
openprompt使用记录:分类,生成案例

这里建议跑里面的实例程序和自己程序之前,先跑官方给的sample,参考资料1里的那个。直接在当前目录创建sample.py即可。这里跟着官方sample演示分类,生成各一个实例。

分类(参考资料6)

第一步:确定NLP任务

确定NLP任务也就是需要确定输出标签以及数据集。这里的输出标签指的是下游任务的输出,也就是y。本例只有两个类别,表示情感正向的positive,和情感负向的negative。

# 第一步:确定NLP任务(简单起见以情感分析作为例子)
import torch
from openprompt.data_utils import InputExample
# 1. 确定类别:也就是确定数据标签,本例只有两个类别,表示情感正向的positive,和情感负向的negative
classes = [
    "negative",
    "positive"
]
# 2.确定数据集:为了简单起见,这里只有两个例子text_a是数据的输入文本,一些其他数据集可能在一个例子中有多个输入句子
dataset = [
    InputExample(
        guid = 0,
        text_a = "Albert Einstein was one of the greatest intellects of his time.",
    ),
    InputExample(
        guid = 1,
        text_a = "The film was badly made.",
    ),
    InputExample(
        guid = 2,
        text_a = "That is wonderful.",
    ),
]

第二步:确定预训练语言模型

这里加载的是一个训练好的bert语言模型,返回模型、分词器、模型参数、对应模型的包装器。这里需要提一点,因为我们直接只用预训练模型,所以上一步只有测试数据没有训练数据。否则需要加入 label = 作为标签。

# 第二步:定义预训练语言模型(PLMs)作为主干。
from openprompt.plms import load_plm
plm, tokenizer, model_config, WrapperClass = load_plm("bert", "bert-base-cased") # 这里选择的预训练语言模型是bert

第三步:定义模板

这一块对应就是模板工程中的问题了,模板可以从txt中读取构建,也可以直接像下面这样定义。本例采用的格式是 [x],It was [Z],x对应代码中的text_a,应填入输入语句。Z对于mask,是LM的预测结果。

# 第三步:定义模板。
from openprompt.prompts import ManualTemplate
promptTemplate = ManualTemplate(
    text = '{"placeholder":"text_a"} It was {"mask"}',
    tokenizer = tokenizer,
)

关于这里的key值,可能比较奇怪的一点是论文中提到的 meta 究竟是什么,为什么在具体使用的时候是用的placeholder呢?这里文档中也没有给出详细明确的解释,但是通过源码可以看出来,InputExample 类默认有三个可填充的参数,text_atext_bmeta,前两者都是一个str,而后者是一个dict,解释为An optional dictionary to store arbitrary extra information for the example。所以,当我们的主要句子可以使用前两者表示的时候,是无需用meta 的。

第四步:答案映射

这一块对应的是答案工程,在这个例子中把消极类投射到单词bad,把积极类投射到单词good, wonderful, great。

# 第四步:定义Verbalizer是另一个重要的
# Verbalizer将原始标签投射到一组lable单词中。在这个例子中把消极类投射到单词bad,把积极类投射到单词good, wonderful, great
from openprompt.prompts import ManualVerbalizer
promptVerbalizer = ManualVerbalizer(
    classes = classes,
    label_words = {
        "negative": ["bad"],
        "positive": ["good", "wonderful", "great"],
    },
    tokenizer = tokenizer,
)

第五步:构造PromptModel

promptModel有三个对象,分别是:PLM, Prompt, Verbalizer,分别对应Prompt研究重点中的三个部分:如何选择语言模型(第二步),如何定义模板(第三步),如何把答案映射至标签(第四步)。

# 第五步:将它们合并到PromptModel中
# 给定任务,现在我们有一个PLM、一个模板和一个Verbalizer,我们将它们合并到PromptModel中。
# 请注意,尽管示例简单地组合了三个模块,但实际上可以在它们之间定义一些复杂的交互。
from openprompt import PromptForClassification
promptModel = PromptForClassification(
    template = promptTemplate,
    plm = plm,
    verbalizer = promptVerbalizer,
)

第六步:构造PromptDataLoade

与数据加载和数据处理相关的内容,PromptDataLoader基本上是pytorch Dataloader的prompt版本,它还包括一个Tokenizer、一个Template和一个TokenizerWrapper,返回可迭代训练/测试的数据集。这里还可以定义如batch_size,max_seq_length等超参数。

# 第六步:定义DataLoader
from openprompt import PromptDataLoader
data_loader = PromptDataLoader(
    dataset=dataset,
    tokenizer=tokenizer,
    template=promptTemplate,
    tokenizer_wrapper_class=WrapperClass,
)

第七步:预测

在上述过程中,没有用任何训练数据对Bert进行调整,就实现了零样本的情感分类。传入数据loader和model,使用类似基于Pytorch的其他机器学习一样完成训练和测试即可。

# 第七步:训练和预测:完成了!我们可以像Pytorch中的其他过程一样进行训练和推理。
# making zero-shot inference using pretrained MLM(masked language model) with prompt
promptModel.eval()
with torch.no_grad():
    for batch in data_loader:
        logits = promptModel(batch)
        preds = torch.argmax(logits, dim=-1)
        print(classes[preds])
# predictions would be 1, 0 for classes 'positive', 'negative'

经过了上面的项目,我们简单总结一下:在openprompt中,我们的工作就是将DataLoader处理为PromptDataLoader,Model处理为PromptModel,其余的训练,测试就均和pytorch接口融洽了。

下面梳理细节,看一下数据在其中究竟是如何流动并组合的。

首先是DataLoader,他需要的输入是key-value形式的data,templatetokenizertokenizer_wrapper_class(下图绿色框框标注),以及一些超参数。(参考资料7,8)
openprompt使用记录:分类,生成案例

然后考虑PromptModel,他需要的输入是plmtemplateverbalizer 以及一些超参数。不同于数据的每步处理,这里我们无需关注模型究竟是如何组织的,而更关注如何使用该模型。

生成

生成相比分类麻烦一些,主要是因为其运用了huggingface库函数中的一些接口(注意版本依赖)。这里我们需要先做一个工作:安装nltk的依赖(参考资料9),防止某些包找不到。

下面将通过一个简单的,但更接近实际应用的生成案例,带领大家对openprompt做更深入的了解。该案例使用的是webnlg数据集(参考资料10),由三元组(实体和它们之间的关系)以及自然语言文本形式的相应事实组成。这里我们加载数据集,并加载预训练模型t5。

import torch
from openprompt.data_utils.conditional_generation_dataset import WebNLGProcessor
dataset = {}
dataset['train'] = WebNLGProcessor().get_train_examples("./datasets/CondGen/webnlg_2017/")
dataset['test'] = WebNLGProcessor().get_test_examples("./datasets/CondGen/webnlg_2017/")
# load a pretrained model, its tokenizer, its config, and its TokenzerWrapper by one function
from openprompt.plms import load_plm
plm, tokenizer, model_config, WrapperClass = load_plm("t5", "t5-base")

数据的具体组成为json格式,我们可以直接使用openprompt中提供的库函数 get_train_examples ,加载该数据集并进行InputExample的转化,最终得到的形式如下:

openprompt使用记录:分类,生成案例

可以看到,我们要利用 text_a 中的信息去生成 tgt_text。很自然的可以定义模板如下(这里是否使用eos是无关紧要的):

from openprompt.prompts import ManualTemplate
mytemplate = ManualTemplate(tokenizer=tokenizer, text=' {"placeholder":"text_a"} {"special": "<eos>"} {"mask"} ')

然而,这里将介绍另外一种更适合 预训练模型+微调 范式的Template,这是支持T5和其他编码器 - 解码器模型的实现,只要它们的块允许注入,就可以在不接触代码库的情况下进行微调。不过需要注意一点是, However, it may fail to work when used in DataParallel model. Please use it using single gpu or model-parallel training.,不过在官方仓库中的issue中,给出了解决方案(参考资料11),在使用并行训练时候可以参考。

from openprompt.prompts.prefix_tuning_template import PrefixTuningTemplate
mytemplate = PrefixTuningTemplate(model=plm,  tokenizer=tokenizer, text=' {"placeholder":"text_a"} {"special": "<eos>"} {"mask"} ', using_decoder_past_key_values=True)

下面进行DataLoader的包装,普通参数不再进行解释,只需要注意predict_eos_token,如果自己使用的数据集中,或者定义的模板最后不包含结束符,需要确保传递predict_eos_token=True,否则模型可能无法停止生成。

from openprompt import PromptDataLoader
train_dataloader = PromptDataLoader(dataset=dataset["train"], template=mytemplate, tokenizer=tokenizer,
    tokenizer_wrapper_class=WrapperClass, max_seq_length=256, decoder_max_length=256,
    batch_size=5,shuffle=True, teacher_forcing=True, predict_eos_token=True,
    truncate_method="head")
test_dataloader = PromptDataLoader(dataset=dataset["test"], template=mytemplate, tokenizer=tokenizer,
    tokenizer_wrapper_class=WrapperClass, max_seq_length=256, decoder_max_length=256,
    batch_size=5,shuffle=False, teacher_forcing=False, predict_eos_token=True,
    truncate_method="head")

最后定义模型,相比 PromptForClassification 而言,PromptForGeneration 多了生成相关的方法和 gen_config参数。

# load the pipeline model PromptForGeneration.
from openprompt import PromptForGeneration
prompt_model = PromptForGeneration(plm=plm,template=mytemplate, freeze_plm=False, tokenizer=tokenizer, plm_eval_mode=False)

这里想详细介绍一下除去模板,分词和预训练模型三者之外的两个超参数,他们的开关与否往往影响着超参数的数量,以及,是否能正常的运行起来你的模型,也是在实验过程中如果不了解,经常犯的一个错误(参考资料12)。我查阅了源码,将其放在这里,进行区分。

if freeze_plm:
    for param in self.plm.parameters():
        param.requires_grad = False
if plm_eval_mode:
    self.plm.eval()
    for param in self.plm.parameters():
        param.requires_grad = False

我们需要了解的是(参考资料13),pytorch中,对于model的eval方法主要是针对某些在train和predict两个阶段会有不同参数的层。比如Dropout层和BN层。使用 plm.eval() 使得这些层的参数固定不变,而对变量 torch.autograd.Variable(tensor,requires_grad=True or False) 进行参数设置,是指定的要不要更新这个参数,也就是要不要通过梯度(迭代)来更新。关于pytorch中计算梯度的具体信息,感兴趣可以看参考资料1,有很详尽的介绍。

回到这里,无论设置 freeze_plm 还是 plm_eval_mode 为True,都会导致使用 ManualTemplate 定义的模板无法训练,而 PrefixTuningTemplate 则不存在这种问题。

在我们定义好DataLoader和PromptModel后,可以仿照pytorch中的训练流程进行训练和测试即可。源码中还使用了如梯度裁剪,学习率decay和 warmup等技巧,这里为了突出重点,只给出训练代码:

for epoch in range(3):
    prompt_model.train()
    for step, inputs in enumerate(train_dataloader):
        if use_cuda:
            inputs = inputs.cuda()
        global_step +=1
        loss = prompt_model(inputs)
        loss.backward()
        tot_loss += loss.item()
        optimizer.step()
        optimizer.zero_grad()
        if global_step %50 ==0:
            print("Epoch {}, global_step {} average loss: {} lr: {}".format(epoch, global_step, (tot_loss-log_loss)/50, scheduler.get_last_lr()[0]), flush=True)
            log_loss = tot_loss

模型训练好后,我们可以使用他来生成,并进行评估:

from openprompt.utils.metrics import generation_metric
# Define evaluate function
def evaluate(prompt_model, dataloader):
    generated_sentence = []
    groundtruth_sentence = []
    prompt_model.eval()
    for step, inputs in enumerate(dataloader):
        if use_cuda:
            inputs = inputs.cuda()
        _, output_sentence = prompt_model.generate(inputs, **generation_arguments)
        generated_sentence.extend(output_sentence)
        groundtruth_sentence.extend(inputs['tgt_text'])
    score = generation_metric(generated_sentence, groundtruth_sentence, "sentence_bleu")
    print("test_score", score, flush=True)
    return generated_sentence

可以简单看一下生成效果,每句话的第一行为生成的,后面为多个标准答案。

openprompt使用记录:分类,生成案例

参考资料

  1. GitHub - thunlp/OpenPrompt: An Open-Source Framework for Prompt-Learning.
  2. 解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool_禅心001的博客-CSDN博客
  3. [2111.01998] OpenPrompt: An Open-source Framework for Prompt-learning (arxiv.org)
  4. OpenPrompt阅读笔记 - 知乎 (zhihu.com)
  5. OpenPrompt原论文阅读 - 知乎 (zhihu.com)
  6. 【踩坑记录】OpenPrompt工具包如何使用?_vector<>的博客-CSDN博客
  7. openprompt结合源码讲解:如何加载自己的数据集 - 知乎 (zhihu.com)
  8. openprompt结合源码讲解:建立dataloader - 知乎 (zhihu.com)
  9. NLTK:Resource punkt not found. Please use the NLTK Downloader to obtain the resource_PleaseBrave的博客-CSDN博客
  10. |带代码的论文 (paperswithcode.com)
  11. 使用多个GPU训练出现如下错误 · Issue #152 · thunlp/OpenPrompt (github.com)
  12. 关于PrefixTuningTemplate更改后报错的问题 · Issue #198 · thunlp/OpenPrompt (github.com)
  13. pytorch中的model.eval()与volatile=True与requires_grad=False_两只蜡笔的小新的博客-CSDN博客
  14. PyTorch 的 Autograd_AlanBupt的博客-CSDN博客