存档

文章标签 ‘seo’

apache日志处理:记录搜索引擎抓取

2013年12月17日 评论已被关闭

我们做SEO的时候,常常希望知道搜索引擎爬虫什么时候光顾了我们的网站,这时我们就可以同下面的方法,将搜索引擎的抓取日志单独放在一个日志文件中。

1、 识别搜索引擎:

在“/etc/httpd/conf/httpd.conf”文件“LogFormat”前面添加如下内容,用来判断是蜘蛛抓取还是真实用户访问:

2、 定义日志格式:

在“httpd.conf”文件“LogFormat”下面添加一行,设置一个新的日志格式:

3、 记录搜索引擎日志:

如果服务器上面架了多个站点,就在"VirtualHost"中新增下面一行,否则就在httpd.conf中“CustomLog”下面新增下面一行:

上面的big是第二步定义的日志格式,robot是第一步的判断是否为搜索引擎的变量。

4、测试配置文件并重新加载配置文件:

分类: SEO/SEM, 网络 标签: ,

SEO优化网站的抓取与收录

2013年4月11日 没有评论

前两天邮箱里收到google adsense的邮件,名为优化网站的抓取与收录,其中包含4条内容:1、去除URL中的用户相关参数;2、控制无限空间;3、阻止Google爬虫抓取他们不能处理的页面;4、一人一票。 一个 URL, 一段内容。

其中第二条,控制无限空间让我颇有触动。

阅读全文...

分类: SEO/SEM 标签:

SEO优化必须用到的网站-不断更新

2013年4月11日 没有评论
百度SEO网站:

百度指数:http://index.baidu.com/

百度推广:http://e.baidu.com

站长工具:http://zhanzhang.baidu.com

阅读全文...

分类: SEO/SEM 标签: