同时对多个文件进行大量写操作对性能优化

我自己的一个项目,需要同时对65536个文件进行多次写操作。

如果先全部打开所有的文件,然后重复写,最后关闭所有的文件。那么第一次写操作全部完成需要16分钟左右,而第二次就需要40分钟了。没有继续测试了。

            for (int i = 0; i < 65536; i++)
            {
                fileStream[i] 
= new FileStream(buffDir+"\\"+ i.ToString() + ".dat", FileMode.Create,FileAccess.Write, FileShare.Write,14000);
            }
             write;
                write;
                write;
                ........
               for (int i = 0; i < 65536; i++)
            {
                fileStream[i] .close()
;
            }




如果在写操作的时候只打开相应的一个文件,写完关闭。那么所有写操作完成只要2分30秒左右。

循环

   for (int i=0;i<65536;i++)
{
  open;
  write;
  close;
}



由此可见,第二种办法性能要远大于第一种。一次打开所有的文件,需要占用不小的内存,最主要的是.net在处理filestream 的时候,可能要进行大量的内存分配和回收等工作,消耗了大量内存和资源。

另外我也做个测试,如果文件数目比较小,那么第一种的性能又要大大好于第二种。

posted @ 2006-06-28 08:33  夕阳武士  阅读(2965)  评论(26编辑  收藏  举报