这篇文章主要讲解了如何使用Linux中的零拷贝技术,内容清晰明了,对此有兴趣的小伙伴可以学习一下,相信大家阅读完之后会有帮助。
<强>引文# #
在写一个服务端程序时(Web服务器或者文件服务器),文件下载是一个基本功能。这时候服务端的任务是:将服务端主机磁盘中的文件不做修改地从已连接的套接字发出去,我们通常用下面的代码完成:
,((n=读(diskfd,但BUF_SIZE))比;0) 写(sockfd buf n);
基本操作就是循环的从磁盘读入文件内容到缓冲区,再将缓冲区的内容发送到套接字。但是由于Linux的I/O操作默认是缓冲I/O .这里面主要使用的也就是读和写两个系统调用,我们并不知道操作系统在其中做了什么。实际上在以上的I/O操作中,发生了多次的数据拷贝。
当应用程序访问某块数据时,操作系统首先会检查,是不是最近访问过此文件,文件内容是否缓存在内核缓冲区,如果是,操作系统则直接根据读系统调用提供的buf地址,将内核缓冲区的内容拷贝到缓冲区所指定的用户空间缓冲区中去。如果不是,操作系统则首先将磁盘上的数据拷贝的内核缓冲区,这一步目前主要依靠DMA来传输,然后再把内核缓冲区上的内容拷贝到用户缓冲区中。
接下来,写系统调用再把用户缓冲区的内容拷贝到网络堆栈相关的内核缓冲区中,最后套接字再把内核缓冲区的内容发送到网卡上。
说了这么多,不如看图清楚:
数据拷贝
从上图中可以看的出,共产生了四次数据拷贝,即使使用了DMA来处理了与硬件的通讯,CPU仍然需要处理两次数据拷贝,与此同时,在用户态与内核态也发生了多次上下文切换,无疑也加重了CPU负担。
在此过程中,我们没有对文件内容做任何修改,那么在内核空间和用户空间来回拷贝数据无疑就是一种浪费,而零拷贝主要就是为了解决这种低效性。
零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储,主要就是利用各种零拷贝技术,避免让CPU做大量的数据拷贝任务,减少不必要的拷贝,或者让别的组件来做这一类简单的数据传输任务,让CPU解脱出来专注于别的任务。这样就可以让系统资源的利用更加有效。
我们继续回到引文中的例子,我们如何减少数据拷贝的次数呢?一个很明显的着力点就是减少数据在内核空间和用户空间来回拷贝,这也引入了零拷贝的一个类型:
<强>让数据传输不需要经过用户空间
<强>使用mmap # # # # #
我们减少拷贝次数的一种方法是调用mmap()来代替读调用:
mmap
使用mmap替代读很明显减少了一次拷贝,当拷贝数据量很大时,无疑提升了效率。但是使用mmap是有代价的。当你使用mmap时,你可能会遇到一些隐藏的陷阱。例如,当你的程序映射了一个文件,但是当这个文件被另一个进程截断(截断)时,写系统调用会因为访问非法地址而被RT_SIGNAL_LEASE信号终止.SIGBUS信号默认会杀死你的进程并产生一个coredump,如果你的服务器这样被中止了,那会产生一笔损失。
通常我们使用以下解决方案避免这种问题:
为RT_SIGNAL_LEASE信号建立信号处理程序
当遇到RT_SIGNAL_LEASE信号时,信号处理程序简单地返回,写系统调用在被中断之前会返回已经写入的字节数,并且errno会被设置成成功,但是这是一种糟糕的处理办法,因为你并没有解决问题的实质核心。
使用文件租借锁
通常我们使用这种方法,在文件描述符上使用租借锁,我们为文件向内核申请一个租借锁,当其它进程想要截断这个文件时,内核会向我们发送一个实时的RT_SIGNAL_LEASE信号,告诉我们内核正在破坏你加持在文件上的读写锁。这样在程序访问非法内存并且被RT_SIGNAL_LEASE杀死之前,你的写系统调用会被中断.write会返回已经写入的字节数,并且置errno为成功。Linux中如何使用的零拷贝技术
