博客
关于我
关于使用FileMapping和直接操作File+缓存的IO性能对比
阅读量:401 次
发布时间:2019-03-04

本文共 703 字,大约阅读时间需要 2 分钟。

优化后的内容

作者在阅读Windows核心编程17章时,对于文件大规模读写操作的优化方法进行了深入思考。虽然使用FileMapping可以直接将文件映射到进程地址空间,通过操作系统管理换页和缓存操作,但这种方式在处理大文件IO时并不够理想。笔者认为直接将缓存交给操作系统处理可能不是最优的选择,特别是在大文件读写场景下。

基于此,笔者对原书中的示例代码进行了改写和对比。改写后的代码不仅支持原有的逻辑,还增加了对多线程和非文件映射的支持。具体来说,新增了对分配粒度(blocksize)的预先定义功能,默认为64KB,同时支持直接操作文件和缓存而非文件映射的方式。

测试一:文件映射下的多线程性能测试

  • 单线程测试

    • 分配粒度为64KB、512KB和4MB,分别对接近3GB的文件进行操作。
    • 测试结果显示,64KB粒度下性能较好,完成任务所需时间最短。
  • 多线程测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 结果表明,随着线程数的增加,性能显著提升。4线程下的完成时间最短。
  • 非文件映射测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 性能表现与文件映射下基本一致,但由于直接操作文件和缓存,资源管理更为灵活。
  • 测试二:真实环境下的性能测试

    由于无法完全关闭所有可能导致IO干扰的进程(如QQ、Chrome浏览器),实际测试结果受到了一定影响。建议在理想环境下进行更精确的性能对比。


    通过以上测试可以看出,优化后的代码在文件读写性能上表现优异。多线程处理能够有效提升性能,尤其是在IO带宽充足的情况下。对于大文件操作,合理选择分配粒度(如64KB)和线程数(如4线程),能够达到最佳性能。

    转载地址:http://dmbg.baihongyu.com/

    你可能感兴趣的文章
    Objective-C实现数组的循环右移(附完整源码)
    查看>>
    Objective-C实现数组的循环左移(附完整源码)
    查看>>
    Objective-C实现数组逆置 (附完整源码)
    查看>>
    Objective-C实现数除以二divideByTwo算法(附完整源码)
    查看>>
    Objective-C实现整个字符串转换为小写字母算法(附完整源码)
    查看>>
    Objective-C实现整数N以内的质数算法(附完整源码)
    查看>>
    Objective-C实现文件传输(附完整源码)
    查看>>
    Objective-C实现文件分割(附完整源码)
    查看>>
    Objective-C实现文件拷贝(附完整源码)
    查看>>
    Objective-C实现文件断点传输(附完整源码)
    查看>>
    Objective-C实现文件的删除、复制与重命名操作实例(附完整源码)
    查看>>
    Objective-C实现无序表查找算法(附完整源码)
    查看>>
    Objective-C实现无锁链表(附完整源码)
    查看>>
    Objective-C实现无锁链表(附完整源码)
    查看>>
    Objective-C实现时间戳转为年月日时分秒(附完整源码)
    查看>>
    Objective-C实现是否为 Pythagoreantriplet 毕氏三元数组算法(附完整源码)
    查看>>
    Objective-C实现显示响应算法(附完整源码)
    查看>>
    Objective-C实现晚捆绑测试实例(附完整源码)
    查看>>
    Objective-C实现普通矩阵A和B的乘积(附完整源码)
    查看>>
    Objective-C实现更新数字指定偏移量上的值updateBit算法(附完整源码)
    查看>>