Step1数据系统技术(5.使用GZIP技术优化文件缓存)


在上面的一篇,我们讲到了服务器端的缓存,我的地名信息系统有70万个页面,生成该页面的过程需要我从远程的数据库加载5个SQL数据返回的内容,还有RSS格式的新闻,因此生成一个页面是很困难的,因此我使用了服务端缓存技术使性能获得了大幅的提升,不过,又遇到了新的关于硬盘空间和流量的问题。

  网站的70万个地名当然不会一天之内都会被访问,不过我的网站该栏目日访问量大约为30000,考虑到重复的访问,假设只访问了10000个地名(实际上是不只的,因为地名的访问很零散),那就是会有10000个缓存文件被生成,假设每个文件只有10K(实际上也不只这么大),合起来第一天就会产生100M的缓存(实际上我的网站第一天就有300M),之后每天还是以50M的速度增加,而我的网站空间一共只有600M,我有一次10天没有关注网站,结果因为硬盘空间站用到达2G而被万网关闭了。

  还有就是随着访问量的增大,网站流量也很大,一个月第8天就将万网限制的50G流量用到了20G,而网站访问量还在上涨。

  在这个时候,我想到了GZIP。

  GZIP是一个将压缩技术使用到HTTP上的技术,说起来很简单,就是让服务器将文件内容压缩并发给浏览器,浏览器接受之后先解压再用来解析,在这种情况下,节省网络流量开支,浏览器传送的文本是很多的,而文本压缩通常都可以到原来文件的20%,而且GZIP技术目前主流的浏览器都是支持的,这是一个通过消耗服务器性能来节省流量的模式。

  不过在我的使用之中,并没有消耗服务器性能,而直接节省流量,因为我在使用的时候,文件在缓存的时候就直接使用GZIP格式来存放了,因此在客户端请求该文件的时候,我不需要先压缩再传送,而是直接传送,相对来讲,甚至还提高了服务器的性能。

  我使用的时候,在缓存文件生成的时候,将文本直接压缩为GZIP格式来保存,这样的话,我的缓存文件大小由原来的15K左右变为2-3K,大大的节省了网站的空间,当用户访问该文件的时候,我进行判断,如果浏览器是支持GZIP的,我就直接将缓存文件的字节流返回到浏览器,如果浏览器不支持(这种可能性相当低),我反而需要将该文件解压,将解压后的字节流返回到客户端。

  以上可以看出,我确实节省了网站的空间和流量,而且因为现在的浏览器95%以上(保守估计,因为我没有听说哪个不支持)都是支持GZIP的,实际上网站的服务端性能反而有提升,这叫有百利而五一害。

  如何判断浏览器是否支持GZIP呢?浏览器在发送HTTP请求的时候,会有一个HEAD字段叫Accept-Encoding,代表浏览器支持的返回编码格式,通常为以下值(deflate代表明文):

Accept-Encoding: gzip, deflate

  浏览器又如何判断服务端返回的数据是明文还是GZIP格式的呢?也是通过服务端的HEAD字段,例如:

Content-Encoding: gzip

  如果该值不是GZIP,则代表为明文,而且,该字段同时也可能代表文本文件的编码,例如utf-8

  以下是我具体使用GZIP的做法,首先是缓存的写入过程:

FileStream fileStream=File.Create(path);//创建缓存文件
Stream writer=new GZipOutputStream(fileStream);//将缓存文件流使用GZIP来写入
XsltArgumentList list=new XsltArgumentList();//我的网站是使用XML+XSLT来生成页面的
xslt.Transform(xml,list,writer,null);//将XSLT生成的内容传递到GZIP压缩程序
writer.Close();//完成写入
fileStream.Close();//关闭文件句秉

  其次是读取缓存的过程:

if(acceptEncoding!=null && acceptEncoding.IndexOf("gzip")>=0)//通过请求的http head来判断是否支持GZIP
{//如果支持GZIP,返回gzip格式
  Response.AddHeader("Content-Encoding","gzip");//通知浏览器该文件是GZIP压缩过的文件
  Response.TransmitFile(path);//直接将该文件返回
}
else
{//返回明文格式,这种情况下我们要从ZIP文件之中解压缩出文件内容,不需要发送Content-Encoding Head,因为默认就是明文的
    Stream reader=new GZipInputStream(File.OpenRead(path));//打开该文件
    byte[] buffer=new byte[1024];//建立文件读取缓存
    int p;
    while((p=reader.Read(buffer,0,1024))>0)//每次读取到相应的缓存就返回内容
    {
      Response.OutputStream.Write(buffer,0,p);
      Response.Flush();
    }
}

  以上就是我的实现全过程,因为我是使用XML+XSLT来实现页面的,因此使用该技术的时候显得很顺畅,而对于通过页面ASPX,JSP等技术来返回的用户可能就有一些麻烦了


« 
» 
快速导航

Copyright © 2016 phpStudy | 豫ICP备2021030365号-3