导读
以QQ浏览器的信息流场景为例,每个内容都展示有标题和封面图。这是用户在决定是否点击查看详细内容时的关键参考因素,对于用户来说,标题和封面图是否命中用户兴趣极大影响用户的消费行为。所以,吸引人的标题和封面图无论是对创作者、平台方还是广告商来说都非常重要。 今天的介绍会围绕下面两点展开:
- 个性化的标题生成
- 自动封面图合成
个性化的标题生成,指使用用户内容以及个性化的信息生成针对不同用户或者不同应用场景的标题。
主要使用场景有以下三种:
主要面临的问题难点:
推荐和搜索场景存在大量的关键词,比如,推荐里的 tag,兴趣点和画像,搜索里的 query 等。模型使用了 Transformer 结构,包括 Encoder 和 Decoder 部分。
文章尝试了多种方法将关键词信息整合到模型中,以实现更好的效果。最简单的方法是通过在原有的 Multi-head Attention 层上添加一个新的关键词表示层。
另一种方法是先将文章表示与关键词表示进行交互,关键词表示作为 query,文章表示作为 key 和 value,再使用 Multi-head Attention 层生成过滤后的文章表示,最后在 Decoder 端进行处理。
实验结果表明,在引入关键词过滤的文章表示后,模型性能得到了显著提升。通过这种方法,生成的标题更贴合用户兴趣,进而提高推荐和搜索的准确性。
为了生成与用户点击风格更匹配的标题,我们提出了一种结合 transformer encoder 和 LSTM decoder 的方法,并将用户历史点击序列信息融入其中。以下是该方法的详细介绍:输入数据与用户表示:首先,对每个用户的历史点击序列进行处理。输入数据包括用户浏览过的文章标题或者其他相关特征。通过 user encoder 对这些历史点击序列进行编码,得到一个用户 embedding,代表用户的点击风格。
模型架构:整个模型以基于自注意力机制的 transformer encoder 作为 encoder 端,用于提取输入文章内容的语义和结构信息。而 decoder 端采用长短时记忆网络(LSTM),它具有较强的时序建模能力,可以有效地生成流畅、连贯的标题。
用户风格指导:在标题生成过程中,user embedding 可通过如下三种方式指导模型的输出:
实验效果如下:
为了生成更具吸引力、相关性和流畅性的标题,我们采用了基于 transformer 模型的方法,并将作者的历史标题信息融入其中。
首先,为了构建训练数据集,我们对每天发文量特别多的搬运号和发文量特别少的创作者进行过滤。
接着,根据作者的历史标题,构造一个三元组(<文章,历史标题,想要的标题>)数据集。这些数据将作为输入来训练 transformer 模型。
在 transformer 模型中,encoder 主要负责提取输入文本的语义信息。然而,仅通过计算 n 个历史标题的 embedding 并对其进行平均,很难得到作者风格的表征。
为解决这个问题,我们引入了对比学习的方法。在 batch 内,同一作者的标题两两组成正例,不同作者的标题两两组成负例。这样进行训练,可以使模型的表征更倾向于捕捉作者风格,而非单纯的语义信息。
实验结果表明,引入作者风格的标题生成模型在 Rouge 和 BLEU 评估指标上有所提升。与原始模型相比,新模型生成的标题具有更高的流畅性、相关性和吸引力,同时能够保持与作者风格的一致性。这说明,通过利用作者历史标题信息,我们可以成功地生成更符合作者风格的标题,从而提高用户体验。
在当今信息爆炸的时代,封面图作为一种视觉传达方式,具备强烈的吸引力和可读性。它在各种场景中都发挥着至关重要的作用,如社交媒体、网站、杂志等。然而,要设计出一个既能够吸引观众注意力又不失实用性的封面图,并非易事。封面图的简单与复杂之间需要找到一个平衡点,以确保用户能够快速地理解其内容,并产生浓厚兴趣。过于简单的封面图可能导致用户无法获取足够的信息,从而忽略了其背后的价值。
而过于复杂的封面图可能让人觉得难以消化,使用户在面对海量信息中迅速丧失耐心。因此,在设计封面图时,应该遵循“简洁明了”的原则,通过适当的文字和图片组合来告诉用户这是一篇什么样的文章。为了增加封面图的吸引力和实用性,建议在封面图中嵌入标题、标签(Tag)等关键信息。这些关键信息能够让用户在第一时间获得文章的主题,从而激起他们的阅读兴趣。同时,这也有助于提高文章的专业性和可信度,让用户相信它是值得花时间去阅读的。
总之,封面图在信息传递和用户吸引方面具有重要意义。设计师应该根据目标受众和传播渠道来平衡封面图的简单与复杂程度,精心设计出既美观又实用的封面图。通过在封面图中嵌入关键信息,如标题、标签等,可以提升用户体验,进而扩大文章的传播范围和影响力。这里需要注意几点:- 封面图不能含有台标,水印,字幕等。
首先,通过图像修复技术去除水印、字幕等干扰元素,得到干净的封面图。然后,使用 Seq2Seq 模型提取标题和标签中的关键信息。接下来,进行目标检测以识别人脸、物品等关键部位,确保在生成的封面图上不被遮挡。最后,采用自动封面图合成参考 Layout Generation 方法,将文本信息融合到封面图中。其具体流程框图如下:
为了实现高质量的封面图生成,本文介绍了一种采用先进技术的方法,包括图像修复技术、Seq2Seq 模型、目标检测以及自动封面图合成参考 Layout Generation 方法。
以下是该方法的详细步骤:图像修复技术:图像修复技术旨在去除水印、字幕等干扰元素,从而得到干净的封面图。这一过程使用 Faster R-CNN,主要有以下几步:OCR 识别文本框的 proposals。
使用 ResNet50 对输入图片进行特征提取,得到 F1。通过特征映射,从F1中获取文本框的特征 F2。
基于 F2 进行分类,识别是否是文案、台标、字幕。基于 inpainting 进行内容抹除。通过这种方式,修复后的图像能够保留原始场景的视觉效果,同时消除不必要的元素。
使用 Seq2Seq 模型提取关键信息:Seq2Seq 模型是一种基于深度学习的端到端序列生成模型。
在此应用中,它被用于从标题和标签中提取关键信息。Seq2Seq 模型由两部分组成:编码器和解码器。编码器将输入文本转换为一个固定大小的向量表示,然后解码器从该表示生成输出序列。在这个过程中,模型可以学会识别并提取与封面图相关的关键信息。
具体做法如下:使用带 Pointer 的预训练 T5 模型作为底座模型。标注一批数据,使用视频的标题、分类和关键词作为输入,人工改写的信息作为结果。
预测的关键信息可能包含多个片段。目标检测:目标检测技术用于识别图像中的关键部位,如人脸、物品等。
这些部位可能在图像中具有显著的视觉特征,因此它们在生成封面图时需要特别关注。目标检测通常借助深度学习技术,如卷积神经网络(CNN)和区域卷积神经网络(R-CNN),来实现对关键部位的精确识别。
这样,在插入文本信息时,可以确保这些关键部位不被遮挡。目前目标检测模型可以识别人脸、猫、狗、汽车等65个类别。目标框位置使用左上和右下两个点的坐标表示。自动封面图合成参考 Layout Generation 方法:在前述准备工作完成后,接下来就是将文本信息融合到封面图中。为此,采用一种名为 Layout Generation 的方法来自动生成封面图布局。
该方法首先对输入图像进行分析,提取其视觉特征和结构信息。然后,根据这些信息确定最佳的文本插入位置和样式。
最后,将从标题和标签中提取到的关键信息插入到相应位置,生成最终的封面图。
本文由哈喽比特于10月以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/AOTP6oNXhtcCUhdtcEwMTg
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。
日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。
日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。
近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。
据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。
9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...
9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。
据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。
社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。