学习nlp的过程，就像升级打怪，每一个阶段都是一个坎，要想出新手村，需要跨过这几个坎
之前有分享过 [前端工程师如何快速使用一个NLP模型] ，本文是该文的一个小进阶
本文预计需要30min，通过本文主要获得几个知识点：
NLP任务的发展有两个明显的阶段，我们以bert模型为区分点，前半段是基础的神经网络阶段（bert模型之前的阶段），后半段是BertTology阶段（bert模型之后的阶段）
参考 https://zhuanlan.zhihu.com/p/148007742
1950-1970 - 采用基于规则的方法
人们定义了大量语言规则，但因规则的局限性，只能解决一些简单问题
1970-20世纪初 - 采用基于统计的方法
随着技术发展 和 语料库丰富，基于统计的方案逐渐代替了基于规则的方法，开始走向实际应用
2008-2018 - 引入深度学习的RNN、LSTM、GRU
在图像识别和语音识别领域的成果激励下，人们也逐渐开始引入深度学习来做自然语言处理研究，由最初的词向量到2013年的word2vec，将深度学习与自然语言处理的结合推向了高潮，并在机器翻译、问答系统、阅读理解等领域取得了一定成功
现今
2017年谷歌提出了Transformer架构模型，2018年底，基于Transformer架构，谷歌推出了bert模型，bert模型一诞生，便在各大11项NLP基础任务中展现出了卓越的性能（https://gluebenchmark.com/leaderboard） ，现在很多模型都是基于或参考Bert模型进行改造
方向分为两个方向
https://zhuanlan.zhihu.com/p/56802149
这是个有点大的概念，本文为了避免冗余繁琐，主要强调两个地方，方便有个大体认知
单个神经元是神经网络的基础，就像生物界的神经元（树突决定输入、输出；轴突完成信号传递）
数学表示如下：Output=f(∑n(x*w)+θ)
激活函数作用：加入非线性因素，解决线性模型表达能力的不足，拟合更多的情况
其中 w、θ 的值由 模型训练 得到，一个神经网络训练过程就是让每个神经元模型的权重值调整到最佳，以使整体的预测效果最好
损失函数：计算 输出值、目标值 之间的误差
反向传播：把误差传递给权重，让权重做适当的调整，最终让正向传播的输出结果与标签间误差最小
学习率：反向传播中步长大小，控制调节幅度，在精度和速度之间找到一个平衡
优化器：一般需要反复迭代才能找到适合的权重，比较耗时，所以我们通过 一套策略（优化器）利用算法从而更快、更好的将参数调整到位
but，在代码编写过程中，我们并不需要手写一个损失函数，手写一个优化器，Pytorch 会帮你封装成了一个个api；而在大部分场景甚至都不需要再去手写神经网络 或者 训练别人写好的神经网络，因为我们可以直接使用预训练模型，开箱即用
前面有提到 bert模型，bert模型就是一个预训练模型，下面简单说下预训练模型
具体可以回顾下：[前端工程师如何快速使用一个NLP模型]
第三方（主要是三方机构）用数据集已经训练好的模型，通常情况下，我们可以拿来即用
一些预训练模型的训练成本
很多开源的预训练模型大家会提交到 github 或者发布到 huggingface[1]中
国内也有类似 hugginface平台- 百度paddle[2]，但还是 huggingface使用人最多
huggingface主要用两种方式：
方式1、借助 huggingface 封装好的 pipeline，一行代码调用
方式2、借助huggingface transformers提供的原子化 api （model、tokenizer）等完成
原子化 api使用三个步骤：
优点：
1 . 工程角度：开箱即用；节约训练成本；减少训练时长，加速生产
2 . 模型泛化能力强：预训练模型经过海量数据训练，更好地学到了数据中的普遍特征，相比从头开始训练参数，预训练模型具有会有更好的泛化效果
存在的问题：
预训练模型就像一个 六边形战士，学到了海量数据中的特征，从而各项能力指标都不错，但在特定场景下，无法侧重学习特定业务的某些特征，从而不能像一把尖刀精准要害
那么该如何解决呢？
在bert模型基础上，微调一个中文完形填空任务
之所以选择 这个任务，是因为微调中文模型的文章比较少，而微调完形填空的就基本没有找到..
BERT是通过 预测屏蔽子词 来进行训练的模型，这种方式在语句级的语义分析中取得了极好的效果。
屏蔽子词：先将句子中的部分词语屏蔽，再令模型去预测被屏蔽的词语
掩码例子
原句： 我爱中国
掩码后： 我爱[MASK]国
Bert 将训练文本15%的词进行掩码操作的，其中对于15% 需要掩码的词 如何掩盖也有特殊规则：
可以看到模型推理的结果还不错，能推理出来常见的人名
但我们的目标是： "魔改历史"，让模型 预测出来 "三国人物诸葛涛" ，实现穿越，那么该如何做呢？
在线操作地址：
https://colab.research.google.com/drive/12SCpFa4gtgufiJ4JepLMuItjkWb6yfck?usp=sharing
train.json
定义训练集和测试集
训练代码
学完本篇课程，算是初探 level3 成功了！
两个flag完成了吗？
预训练模型是普通用户的福音，而通过微调预训练模型，每个人都可以收集构造自己的语料，打造一个自己专属的nlp模型，或许人人皆是调参工程师
Huggingface course课程
《基于Bert模型的自然语言处理实战》
[1]huggingface: https://huggingface.co/
[2]百度paddle: https://www.paddlepaddle.org.cn/hublist
本文由哈喽比特于2年以前收录，如有侵权请联系我们。
文章来源：https://mp.weixin.qq.com/s/UwOcDH0mxYpVvtggzUi2mw
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而，京东官方通过微博发言人发布的消息澄清了这些传言，称这些言论纯属虚假信息和蓄意捏造。
日前，据博主“@超能数码君老周”爆料，国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道，荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦（ASML）CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候，抖音悄然上线了一款名为“青桃”的 App，Slogan 为“看见你的热爱”，根据应用介绍可知，“青桃”是一个属于年轻人的兴趣知识视频平台，由抖音官方出品的中长视频关联版本，整体风格有些类似B站。
日前，威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”，同时，他发文表示：中国汽车普及率低于非洲国家尼日利亚，每百户家庭仅17户有车。意大利世界排名第一，每十户中九户有车。
近日，一项新的研究发现，维生素 C 和 E 等抗氧化剂会激活一种机制，刺激癌症肿瘤中新血管的生长，帮助它们生长和扩散。
据媒体援引消息人士报道，苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后，3D系统一度大涨超10%，不过截至周三收盘，该股涨幅回落至2%以内。
9月2日，坐拥千万粉丝的网红主播“秀才”账号被封禁，在社交媒体平台上引发热议。平台相关负责人表示，“秀才”账号违反平台相关规定，已封禁。据知情人士透露，秀才近期被举报存在违法行为，这可能是他被封禁的部分原因。据悉，“秀才”年龄39岁，是安徽省亳州市蒙城县人，抖音网红，粉丝数量超1200万。他曾被称为“中老年...
9月3日消息，亚马逊的一些股东，包括持有该公司股票的一家养老基金，日前对亚马逊、其创始人贝索斯和其董事会提起诉讼，指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息，为推广自家应用，苹果现推出了一个名为“Apps by Apple”的网站，展示了苹果为旗下产品（如 iPhone、iPad、Apple Watch、Mac 和 Apple TV）开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价，引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金（Future Fund）管理合伙人加里·布莱克发帖称，降价是一种“短期麻醉剂”，会让潜在客户等待进一步降价。
据外媒9月2日报道，荷兰半导体设备制造商阿斯麦称，尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效，但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日，根据美国证券交易委员会的文件显示，苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元（约 4.65 亿元人民币）。用于在 2023-2025 年期间，发射卫星，进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道，马斯克旗下社交平台𝕏（推特）日前调整了隐私政策，允许 𝕏 使用用户发布的信息来训练其人工智能（AI）模型。新的隐私政策将于 9 月 29 日生效。新政策规定，𝕏可能会使用所收集到的平台信息和公开可用的信息，来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日，荣耀CEO赵明在采访中谈及华为手机回归时表示，替老同事们高兴，觉得手机行业，由于华为的回归，让竞争充满了更多的可能性和更多的魅力，对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能（AI）系统，该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日，非营利组织纽约真菌学会（NYMS）发出警告，表示亚马逊为代表的电商平台上，充斥着各种AI生成的蘑菇觅食科普书籍，其中存在诸多错误。
社交媒体平台𝕏（原推特）新隐私政策提到：“在您同意的情况下，我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上，各大企业都带来了最新的理念和产品，而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品，具体内容为：“以我对我‘子公司’的了解，我认为 iPhone 15 跟 iPhone 14 不会有什么区别的，除了序（列）号变了，这个‘不要脸’的东西，这个‘臭厨子’。
