学习 · · 240 字 · 约 1 分钟
文本生成方法(待补充)
Text Generation
- 参考:
问题定义
对于给定的输入信息xxx,生成一系列离散的Token序列 。其中xxx是词典。
文本生成任务也可以被描述为: xxx
输入信息方式
根据输入信息的种类,可以将文本生成的应用分为如下5类:
- 没有提供或者是一个随机噪声向量
- 是一个离散特征的集合(如主题关键词、情感标签)
- 是结构化数据(如知识图谱、表格)
- 是多媒体输入(如图像、语音)
- 是文本序列(如应用于机器翻译、文本摘要、对话系统)
预训练模型结构
预训练模型结构主要可以分为 类:
- Encoder-decoder Transformer
- Decoder-only Transformer
- (待补充)
代表模型
GPT Family
论文链接: 主要评价方式: 模型Overview: 训练技巧: 结果: