django静态sitemap的实现

上次给网站（http://www.ecgoo.net/）加上并提交站点地图sitemap之后，发现apache服务器有时狂吃内存，负担相当大，分析之后，发现sitemap是一个很大的隐患。

用django自带的模块是动态生成sitemap的，使用相当简单，方便小型站点使用。但对于现在拥有链接数超过6千万的Ecgoo，如果每次访问sitemaps时，都要动态生成，对服务器无疑是一个很大的负担。因此，准备重写sitemaps，让其静态生成。

查看了下源代码，发现源码中生成sitemaps的原理也相当简单，他有自己的一套xml模板，然后用用户传递的参数生成一url列表去渲染该模板。

所以，实现的静态化的基本原理也是参考其代码，定义一方法create，在生成每个sitemap页面时将其写入到本地文件，实现静态化

下面是一些具体实现步骤

1.跟上篇的步骤一样，首先定制地图成员

sitemaps.py

from django.contrib.sitemaps import Sitemap
from django.conf import settings
from models import Roulette

class WitSitemap(Sitemap):
    '''
    Create Sitemaps for Wit 
    '''
    changefreq = "daily"
    priority = 0.5

    def items(self):
        return Roulette.objects.all()

    def location(self,obj):
        return "/stock/%s.html" % (obj.partno) #定制地图的url

2.几个关键函数的定义

def create(request,maps=None):
    """
    url调用入口函数
    """
    if maps is None:
        sitemaps = {
            'partno': WitSitemap(),
            }
    else:
        sitemaps = maps

    __create(sitemaps)  #生成sitemaps的主要方法
    return HttpResponse("success")

def __create(sitemaps):
    current_site = Site.objects.get_current()
    sites = []
    htmlsites = []
    protocol = 'http'
    for section, site in sitemaps.items():
        if callable(site):
            pages = site().paginator.num_pages
        else:
            pages = site.paginator.num_pages
        sites.append('%s://%s/sitemap/sitemap_%s_%s.xml' % (protocol, current_site.domain, section, 1)) #生成一级sitemap的url列表
        sitemap(sitemaps,section) # 生成二级sitemap页面
        if pages > 1:#有分页的情况下
           for page in range(2, pages+1):
               sitemap(sitemaps,section,page) # 生成二级sitempa 页面
               sites.append('%s://%s/sitemap/sitemap_%s_%s.xml' % (protocol, current_site.domain, section, page))

    xml =  smart_str(loader.render_to_string('sitemap_index.xml', {'sitemaps': sites})) #用刚append的一级sitemap的url列表渲染xml模板，生成一级sitemap页面
    
    __write_sitemap('sitemap.xml',xml) #将页面写入到本地文件

def sitemap(sitemaps, section=None, page=1):
    ''' 生成二级 sitemap 页面 比如 sitemap/sitemap_product_1.html
        section 就是 'product' 这样的描述
    '''
    maps, urls = [], []
    if section is not None:
        if section not in sitemaps:
            raise Exception("No sitemap available for section: %r" % section )
        maps.append(sitemaps[section])
    else:
        maps = sitemaps.values()

    for site in maps:
        if 1:
            if callable(site):
                urls.extend(site().get_urls(page))
            else:
                urls.extend(site.get_urls(page))
    xml = smart_str(loader.render_to_string('sitemap.xml', {'urlset': urls})) #生成二级sitemap页面
    
    filename = "sitemap_%s_%s.xml" %(section,page)
    
    __write_sitemap(filename,xml) #将xml写入本地文件