| 问题：敬辞怎样配备布置网页被百度收录页面的权重性?我该收录的他充公录,比力非主要的页反倒收录了,需要怎么措置惩罚? 我的站是:www.ywbhw.com 最佳回答：Robots.txt 把该文件放在网页根目次 robots.txt是搜刮引擎中拜候网站的时辰要查看的第1个文件。Robots.txt文件告诉蛛蛛步伐在办事器上啥子文件是可以被查看的。 当1个搜刮蛛蛛拜候1个站点时，它会头先查抄该站点根目次下是不是存在robots.txt，如果存在，搜刮呆板人就会根据该文件中的内容来确定拜候的规模；如果该文件不存在，所有的搜刮蛛蛛将可以容或拜候网站上所有无被口令保护的页面。 robots.txt必需放置在1个站点的根目次下，并且文件名必需全数小写。 语法：最简略的 robots.txt 文件施用两条规则： • User-Agent: 合用下面所开列规则的周游器 • Disallow: 要中途阻挡的网页 1. 每一当用户试图拜候某个不存在的URL时，办事器都会在日志中记录404错误（没有办法找到文件）。每一当搜刮蛛蛛来寻觅其实不存在的robots.txt文件时，办事器也将在日志中记录一条404错误，以是你应该在网站中新增1个robots.txt。 2. 网站管理员必需使蛛蛛步伐阔别某些办事器上的目次——包管办事器机能。比如：大大都网站办事器都有步伐储存在“cgi-bin”目次下，是以在robots.txt文件中加入“Disallow: /cgi-bin”是个好主张，这样可以容或制止将所有步伐文件被蛛蛛引患上，可以节流办事器资源。一般网站中不需要蛛蛛抓取的文件有：后台管理文件、步伐剧本、附件、数值库文件、编码文件、范式表文件、模型板文件、导航图片以及配景图片等等。 下面是VeryCMS里的robots.txt文件： User-agent: * Disallow: /admin/ 后台管理文件 Disallow: /require/ 步伐文件 Disallow: /attachment/ 附件 Disallow: /images/ 图片 Disallow: /data/ 数值库文件 Disallow: /template/ 模型板文件 Disallow: /css/ 范式表文件 Disallow: /lang/ 编码文件 Disallow: /script/ 剧本文件 3. 如果你的网站是动态网页，并且你为这些个动态网页始于了静态副本，以供搜刮蛛蛛更容易抓取。那末你需要在robots.txt文件里配备布置制止动态网页被蛛蛛引患上，以包管这些个网页不会被视为含重复内容。 4. robots.txt文件里还可以直接包孕在sitemap文件的链接。就像这样： Sitemap: sitemap.xml 今朝对于此暗示支持的搜刮引擎公司有Google, Yahoo, Ask and MSN。而中文搜刮引擎公司，显然不在这个圈子内。这样做的利益就是，站长不用到每个搜刮引擎的站长东西或者相似的站长部门，去提交处理自己的sitemap文件，搜刮引擎的蛛蛛自己就会抓取robots.txt文件，读取此中的sitemap路径，接着抓取此中相链接的网页。 5. 合理施用robots.txt文件还能制止拜候时堕落。比如，不克不及让搜刮者直接步入购物车页面。由于没有理由使购物车被收录，以是你可以在robots.txt文件里配备布置来遏止搜刮者直接步入购物车页面。 其他回应1： 你觉患上好 百度却不附以及 多点原创 时常更新 信赖会好的 |