随着互联网技术的发展以及社交网络的扩大,网络平台已经成为人们获取信息的一个重要途径。标签的引入提升了信息分类及检索效率。同时,标签推荐系统的出现不仅方便了用户输入标签,还提高了标签的质量。传统的标签推荐算法通常只考虑标...随着互联网技术的发展以及社交网络的扩大,网络平台已经成为人们获取信息的一个重要途径。标签的引入提升了信息分类及检索效率。同时,标签推荐系统的出现不仅方便了用户输入标签,还提高了标签的质量。传统的标签推荐算法通常只考虑标签和项目两个主体,而忽略了用户在选择标签时个人意图所起到的重要作用。由于在标签推荐系统中标签最终由用户确定,因此用户的偏好在标签推荐中起着关键作用。为此,引入用户作为主体,并结合用户发布的历史帖子的先后顺序,将标签推荐任务建模为更加符合真实场景的序列标签推荐任务。提出了一种基于MLP的序列标签推荐方法(MLP for Sequential Tag Recommendation, MLP4STR),该方法显式地建模用户偏好用于引导整体标签推荐。MLP4STR采用一种跨特征对齐的MLP序列特征提取框架,将文本和标签的特征对齐,获取用户的历史帖子信息和历史标签信息中隐含的用户动态兴趣。最后,结合帖子内容和用户偏好进行标签推荐。在4个真实世界的数据集上得到的实验结果表明,MLP4STR能够有效地学习序列标签推荐中的用户历史行为序列的信息,其中,评价指标F1@5较最优的对比算法有显著提升。展开更多
命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中.随着互联网和社交媒体的发展,文本信息往往伴随着图像等视觉模态信息出现,传统的命名实体识别方法在多模态信息中表现不佳.近年来,多模态命名实...命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中.随着互联网和社交媒体的发展,文本信息往往伴随着图像等视觉模态信息出现,传统的命名实体识别方法在多模态信息中表现不佳.近年来,多模态命名实体识别任务广受重视.然而,现有的多模态命名实体识别方法中,存在跨模态知识间的细粒度对齐不足问题,文本表征会融合语义不相关的图像信息,进而引入噪声.为了解决这些问题,提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA:A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment).首先,该方法通过目标检测、语义相似性判断等,确定更为细粒度的文本实体和图像子对象之间的语义相关性;其次,通过双线性注意力机制,计算出图像子对象与实体的相关性权重,并依据权重将子对象信息融入到实体表征中;最后,提出了一种跨模态对比学习方法,依据图像和实体之间的匹配程度,优化实体和图像在嵌入空间中的距离,借此帮助实体表征学习相关的图像信息.在两个公开数据集上的实验表明,FGITA优于5个主流多模态命名实体识别方法,验证了方法的有效性,同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性.展开更多
文摘随着互联网技术的发展以及社交网络的扩大,网络平台已经成为人们获取信息的一个重要途径。标签的引入提升了信息分类及检索效率。同时,标签推荐系统的出现不仅方便了用户输入标签,还提高了标签的质量。传统的标签推荐算法通常只考虑标签和项目两个主体,而忽略了用户在选择标签时个人意图所起到的重要作用。由于在标签推荐系统中标签最终由用户确定,因此用户的偏好在标签推荐中起着关键作用。为此,引入用户作为主体,并结合用户发布的历史帖子的先后顺序,将标签推荐任务建模为更加符合真实场景的序列标签推荐任务。提出了一种基于MLP的序列标签推荐方法(MLP for Sequential Tag Recommendation, MLP4STR),该方法显式地建模用户偏好用于引导整体标签推荐。MLP4STR采用一种跨特征对齐的MLP序列特征提取框架,将文本和标签的特征对齐,获取用户的历史帖子信息和历史标签信息中隐含的用户动态兴趣。最后,结合帖子内容和用户偏好进行标签推荐。在4个真实世界的数据集上得到的实验结果表明,MLP4STR能够有效地学习序列标签推荐中的用户历史行为序列的信息,其中,评价指标F1@5较最优的对比算法有显著提升。
文摘命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中.随着互联网和社交媒体的发展,文本信息往往伴随着图像等视觉模态信息出现,传统的命名实体识别方法在多模态信息中表现不佳.近年来,多模态命名实体识别任务广受重视.然而,现有的多模态命名实体识别方法中,存在跨模态知识间的细粒度对齐不足问题,文本表征会融合语义不相关的图像信息,进而引入噪声.为了解决这些问题,提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA:A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment).首先,该方法通过目标检测、语义相似性判断等,确定更为细粒度的文本实体和图像子对象之间的语义相关性;其次,通过双线性注意力机制,计算出图像子对象与实体的相关性权重,并依据权重将子对象信息融入到实体表征中;最后,提出了一种跨模态对比学习方法,依据图像和实体之间的匹配程度,优化实体和图像在嵌入空间中的距离,借此帮助实体表征学习相关的图像信息.在两个公开数据集上的实验表明,FGITA优于5个主流多模态命名实体识别方法,验证了方法的有效性,同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性.
