搜索引擎的蜘蛛人（ROBOTS）秘密


网络编程	网页设计	图形图像	数据库	服务器/PC	网络媒体	网络技术	业界新闻	站长经验	流量排名

文章搜索：分类关键字

您的位置：首页 → 流量排名 → SEO搜索优化 → 搜索引擎的蜘蛛人（ROBOTS）秘密

搜索引擎的蜘蛛人（ROBOTS）秘密

添加日期：2006-9-2 15:58:48 [大中小]

[1] [2] [3] [4] [5] [6] [7] [8] [9]

User-agent: Scooter
Disallow:   /cgi-bin
Disallow:   /TRANSCRIPTS
Disallow:   /development
Disallow:   /third
Disallow:   /beta
Disallow:   /java
Disallow:   /shockwave
Disallow:   /JOBS
Disallow:   /pr
Disallow:   /Interactive
Disallow:   /alt_index.html
Disallow:   /webmaster_logs
Disallow:   /newscenter
Disallow:       /virtual
Disallow:       /DIGEST
Disallow:       /QUICKNEWS
Disallow:       /SEARCH

User-agent: Ultraseek
Disallow:   /cgi-bin
#Disallow:   /TRANSCRIPTS
Disallow:   /development
Disallow:   /third
Disallow:   /beta
Disallow:   /java
Disallow:   /shockwave
Disallow:   /JOBS
Disallow:   /pr
Disallow:   /Interactive
Disallow:   /alt_index.html
Disallow:   /webmaster_logs
Disallow:   /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH

User-agent: smallbear
Disallow: /cgi-bin
Disallow: /java
Disallow: /images
Disallow: /development
Disallow:   /third
Disallow: /beta
Disallow: /webmaster_logs
Disallow: /virtual
Disallow: /shockwave
Disallow: /TRANSCRIPTS
Disallow:   /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH
Disallow:   /alt_index.html

[1] [2] [3] [4] [5] [6] [7] [8] [9]

出处：论坛转载作者：佚名点击：

热点文章

·photoshop制作香烟、烟头、烟雾

·photoshop图片卷角、翻页效果的制作

·用U盘或移动硬盘装《深山红叶袖珍系统Win PE启动..

·photoshop经典恐怖片海报效果教程

·photoshop水晶球质感表现 - 关于光影的细节

·ghost.pif最新变种手动查杀，ARP欺骗挂马＋KAV让..

·[css] table-layout:fixed 属性的解说，IE、Fire..

·photoshop制作3D立体小人和字体

·关于zend解密的程序

·自适应页面高度100%方法（表格直接100%高度没有效..

推荐文章