今天在修改前端页面的时候,发现程序中有一个页面的加载速度很慢,差不多需要5秒,这其实是难以接受的,我也不知道为什么上线这么长时间了,没人提过这个事儿。
我记得有一个词儿,叫秒开率。
秒开率是指能够在1秒内完成页面的加载。
查询的时候,会访问后台数据库,查询前20条数据,按道理来说,这应该很快才对。
追踪代码,看看啥问题,最后发现问题有三:
大字段批量查询、批量文件落地、读取大文件并进行网络传输,不慢才怪,这一顿骚操作,5秒能加载完毕,已经烧高香了。
国内直接使用ChatGPT4o:
用官方一半价格的钱,用跟官方 ChatGPT4.0 一模一样功能的工具,而且不需要魔法,直接使用,不用担心网络问题。
国内直接使用ChatGPT4o:
- 无需魔法,同时支持电脑、手机,浏览器直接使用
- ChatGPT3.5永久免费,提供免费共享GPT3.5授权码
- 支持**Chat**GPT-4o文本对话、 Copilot编程、DALL-E AI绘画、AI语音对话等
长按识别下方二维码,备注ai,无需魔法,国内直接使用ChatGPT4o
经过调查发现,这个PDF模板只有在点击运费模板按钮时才会使用。
打开代码一看,居然是通过FileReader读取的,我了个乖乖~
这有什么问题吗?都是从百度拷贝过来的,百度还会有错吗?而且也测试了,没问题啊。
嗯,对,是没问题,是可以实现需求,可是,为什么用这个?不知道。更别说效率问题了~
优化4:通过缓冲流读取文件
Java I/O (Input/Output) 是对传统 I/O 操作的封装,它是以流的形式来操作数据的。
在上一篇 《增加索引 + 异步 + 不落地后,从 12h 优化到 15 min》中,提到了4种优化方式,数据库优化、复用优化、并行优化、算法优化。
其中Buffered缓冲流就属于复用优化的一种,这个页面的查询完全可以通过复用优化优化一下。
FileReader连readLine()方法都没有,我也是醉了~
private static int readFileByReader(String filePath) {
int result = 0;
try (Reader reader = new FileReader(filePath)) {
int value;
while ((value = reader.read()) != -1) {
result += value;
}
} catch (Exception e) {
System.out.println("readFileByReader异常:" + e);
}
return result;
}
private static String readFileByBuffer(String filePath) {
StringBuilder builder = new StringBuilder();
try (BufferedReader reader = new BufferedReader(new FileReader(filePath))) {
String data = null;
while ((data = reader.readLine())!= null){
builder.append(data);
}
}catch (Exception e) {
System.out.println("readFileByReader异常:" + e);
}
return builder+"";
}
通过循环模拟了150000个文件进行测试,FileReader耗时8136毫秒,BufferedReader耗时6718毫秒,差不多相差1秒半的时间,差距还是相当大的,俗话说得好,水滴石穿。
同样是read方法,只不过是包了一层,有啥不同呢?
BufferedReader 是一个缓冲字符输入流,可以对 FileRead 进行包装,提供了一个缓存数组,将数据按照一定规则读取到缓存区中,输入流每次读取文件数据时都需要将数据进行字符编码,而 BufferedReader 的出现,降低了输入流访问数据源的次数,将一定大小的数据一次读取到缓存区并进行字符编码,从而提高 IO 的效率。
如果没有缓冲,每次调用 read() 或 readLine() 都可能导致从文件中读取字节,转换为字符,然后返回,这可能非常低效。
就像取快递一样,在取快递的时候,肯定是想一次性的取完,避免再来一趟。
对 FileRead 进行包装变成了BufferedReader缓冲字符输入流,其实,Java IO流就是最典型的装饰器模式,装饰器模式通过组合替代继承的方式在不改变原始类的情况下添加增强功能,主要解决继承关系过于复杂的问题,之前整理过一篇装饰器模式,这里就不论述了。
public int read(char cbuf[], int off, int len) throws IOException {
return in.read(cbuf, off, len);
}
private void fill() throws IOException {
int dst;
if (markedChar <= UNMARKED) {
/* No mark */
dst = 0;
} else {
/* Marked */
int delta = nextChar - markedChar;
if (delta >= readAheadLimit) {
/* Gone past read-ahead limit: Invalidate mark */
markedChar = INVALIDATED;
readAheadLimit = 0;
dst = 0;
} else {
if (readAheadLimit <= cb.length) {
/* Shuffle in the current buffer */
System.arraycopy(cb, markedChar, cb, 0, delta);
markedChar = 0;
dst = delta;
} else {
/* Reallocate buffer to accommodate read-ahead limit */
char ncb[] = new char[readAheadLimit];
System.arraycopy(cb, markedChar, ncb, 0, delta);
cb = ncb;
markedChar = 0;
dst = delta;
}
nextChar = nChars = delta;
}
}
int n;
do {
n = in.read(cb, dst, cb.length - dst);
} while (n == 0);
if (n > 0) {
nChars = dst + n;
nextChar = dst;
}
}
核心方法fill():
既然缓冲这么好用,为啥jdk将缓冲字符数组设置的这么小,才8192个字节?
这是一个比较折中的方案,如果缓冲区太大的话,就会增加单次读写的时间,同样内存的大小也是有限制的,不可能都让你来干这个一件事。
很多小伙伴也肯定用过它的read(char[] cbuf),它内部维护了一个char数组,每次写/读数据时,操作的是数组,这样可以减少IO次数。
传统 IO 执行的话需要 4 次上下文切换(用户态 -> 内核态 -> 用户态 -> 内核态 -> 用户态)和 4 次拷贝。
NIO中比较常用的是FileChannel,主要用来对本地文件进行 IO 操作。
传统的文件I/O操作可能会变得很慢,这时候mmap就闪亮登场了。
mmap(Memory-mapped files)是一种在内存中创建映射文件的机制,它可以使我们像访问内存一样访问文件,从而避免频繁的文件I/O操作。
使用mmap的方式是在内存中创建一个虚拟地址,然后将文件映射到这个虚拟地址上,这个映射的过程是由操作系统完成的。
实现映射后,进程就可以采用指针的方式读写操作这一段内存,系统会自动回写到对应的文件磁盘上,这样就完成了对文件的读取操作,而不用调用 read、write 等系统函数。
内核空间对这段区域的修改也会直接反映用户空间,从而可以实现不同进程间的文件共享。
在 Java 中,mmap 技术主要使用了 Java NIO (New IO)库中的 FileChannel 类,它提供了一种将文件映射到内存的方法,称为 MappedByteBuffer。MappedByteBuffer 是 ByteBuffer 的一个子类,它扩展了 ByteBuffer 的功能,可以直接将文件映射到内存中。
根据文件地址创建了一层缓存当作索引,放在虚拟内存中,使用时会根据的地址,直接找到磁盘中文件的位置,把数据分段load到系统内存(pagecache)中。
public static String readFileByMmap(String filePath) {
File file = new File(filePath);
String ret = "";
StringBuilder builder = new StringBuilder();
try (FileChannel channel = new RandomAccessFile(file, "r").getChannel()) {
long size = channel.size();
// 创建一个与文件大小相同的字节数组
ByteBuffer buffer = ByteBuffer.allocate((int) size);
// 将通道上的所有数据都读入到buffer中
while (channel.read(buffer) != -1) {}
// 切换为只读模式
buffer.flip();
// 从buffer中获取数据并处理
byte[] data = new byte[buffer.remaining()];
buffer.get(data);
ret = new String(data);
} catch (IOException e) {
System.out.println("readFileByMmap异常:" + e);
}
return ret;
}
mmap 是一种内存映射技术,mmap 相比于传统的 缓冲流 来说,其实就是少了 1 次 CPU 拷贝,变成了数据共享。
虽然减少了一次拷贝,但是上下文切换的次数还是没变。
因为存在一次CPU拷贝,因此mmap并不是严格意义上的零拷贝。
RocketMQ 中就是使用的 mmap 来提升磁盘文件的读写性能。
零拷贝将上下文切换和拷贝的次数压缩到了极致。
在内核的支持下,零拷贝少了一个步骤,那就是内核缓存向用户空间的拷贝,这样既节省了内存,也节省了 CPU 的调度时间,让效率更高。
直接将用户缓冲区干掉,而且没有CPU拷贝,故得名零拷贝。
本文由哈喽比特于2月以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/vif0SAvqz-PpBlhViYCFhA
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。
日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。
日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。
近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。
据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。
9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...
9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。
据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。
社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。