robots - 诺豆

热门

推荐

奇迹宝宝全程胎教

诺豆淘宝

↑ 收起导航

创建robots.txt，给爬虫指一条明路

潜水3,622人

这里不在讲创建robots.txt文件的好处了，看用法

[老杨博客]　2009年06月02日　标签: robots, 蜘蛛