← 返回系列列表

AliceMind 7 个模型

阿里巴巴 · 2021.06 - 2021.06

发布时间线

2021.06.24
LatticeBERT
知识驱动的语言模型;基于Transformer架构。
2021.06.24
Alibaba DAMO Academy UED
机器阅读理解模型;基于Transformer架构。
2021.06.24
StructuralLM
结构化语言模型;基于Transformer架构。
2021.06.24
VECO
跨语言预训练模型;引入交叉注意力机制显式完成跨语言信息建模;预训练过程中充分学习NLU和NLG任务并 ...
2021.06.24
StructVBERT
同时引入文本和图像模态;利用更高效的视觉特征和创新的交叉注意力机制;在统一的多模态语义空间进行联合建 ...
2021.06.24
StructBERT
在BERT基础上增加词级别和句级别两个新目标函数;掌握“汉字序顺不响影读阅”能力,对语序错乱、语法不 ...
2021.06.24
PALM
生成式语言模型;预训练目标从重构输入文本改为预测后续文本;促使模型对输入文本进行更深入理解。
发布日期 公司 模型名称 类型 特性
2021-06-24 阿里巴巴 LatticeBERT 主流 知识驱动的语言模型;基于Transformer架构。
2021-06-24 阿里巴巴 Alibaba DAMO Academy UED 主流 机器阅读理解模型;基于Transformer架构。
2021-06-24 阿里巴巴 StructuralLM 主流 结构化语言模型;基于Transformer架构。
2021-06-24 Alibaba VECO 跨语言预训练模型;引入交叉注意力机制显式完成跨语言信息建模;预训练过程中充分学习NLU和NLG任务并互相提高;掌握100多种语言。
2021-06-24 阿里巴巴 StructVBERT 主流 同时引入文本和图像模态;利用更高效的视觉特征和创新的交叉注意力机制;在统一的多模态语义空间进行联合建模。
2021-06-24 阿里巴巴 StructBERT 主流 在BERT基础上增加词级别和句级别两个新目标函数;掌握“汉字序顺不响影读阅”能力,对语序错乱、语法不规范词句仍能准确理解;基于Transformer架构。
2021-06-24 阿里巴巴 PALM 主流 生成式语言模型;预训练目标从重构输入文本改为预测后续文本;促使模型对输入文本进行更深入理解。