单项选择题
在robots.txt文件中，不允许访问以“.asp”结尾的URL的代码是（）
A.Allow：/*.asp$
B.Disallow：/*.asp$
C.Allow：/*.asp
D.Disallow：/*.asp
点击查看答案
相关考题
-
单项选择题
以下不是蜘蛛陷阱的是（）
A.301跳转
B.302跳转
C.动态URL
D.Flash -
单项选择题
yahoo的网络蜘蛛名是（）
A.ia_archiver
B.slurp
C.msnbot
D.scooter -
单项选择题
（）适合内容类别多、内容量大的综合性网站。
A.树形网站结构
B.锥形结构
C.高耸结构
D.扁平网站结构
