为什么80端口下无法访问robots.txt

2011年1月18日 - 为什么80端口下无法访问robots.txt10 为什么80端口下无法访问robots.txt,我将服务器端口改为8080或其他端口就可以访问到robots.txt文件,大家知道什么...

最佳答案: 因为有的程序做的网站是没有带robots.txt这个文档的,因此是看不到的。更多关于为什么80端口下无法访问robots.txt的问题>>

最佳答案: 从新修改 http://www.fintb.com/robots.txt 如果网站没有多大隐身需要限制的话就更改为 User-agent: *Disallow: 或者重新建立一个栏目,以后文章都在新...更多关于为什么80端口下无法访问robots.txt的问题>>

可以选择删除掉你的robots.txt文件,就在网站源码的根目录下。你可以去百度下robots.txt这个文件是干什么的。其实他就是防止搜索引擎搜索的一个文件。更多关于为什么80端口下无法访问robots.txt的问题>>

2017年3月23日 - 但是别的搜索引擎蜘蛛会访问。求解答!提示:无法访问您网站的robots.txt文件百度暂时无法访问您服务器上的robots.txt文件,请检查服务器的设置,确保该文...

2015年8月13日 - 如上图,通过地址栏直接输入是可以访问的,这是怎么回事? 通过站长工具robots检测,提示robots.txt无法访问

非80端口下网站的robots.txt文件 只看楼主 收藏 回复tcdw2011小吧主 11我拿家里的电脑+动态域名测试了一下。。。结果用archive.org抓取的时候,居然成功把...

一般情况下,80端口无法访问都是备案过的域名没有提交白名单,机房默认都是封80端口的,需要idc商那边提交记录才行,如果没有备案的域名只能使用别的端口