1个回答
这个对用户来说不影响的，只是针对搜索引擎，不让它们抓取里面的内容，，比方，你搜索感冒，百度之类的搜索引擎出现的东西都是其他网站里面的东西，这些东西都是人写进去的，然后让搜索引擎来抓取，那么它就可以呈现出里面的内容，至于淘宝，这个对业内来说是比较特别的，它的robots.txt限制的搜索引擎的抓取，意思就是说淘宝里面的东西不会在搜索引擎直接出现，从商业角度来说，如果让搜索引擎抓取，淘宝的很多页面就会少很多流量，大部分用户可以直接从搜索引擎进入淘宝商品页面，那么淘宝首页那些广告意义也没那么*了，淘*商家也会很苦的，全跑去做搜索引擎优化！按照robots.txt指令来说，就算你用百度之类的来搜索淘宝也不会出现的淘宝这个网站的，但是人家的知名度在哪里，要是百度搜索不出来这是个啥情况？立马换搜索引擎搜索，这样的话慢慢的用户就会习惯上其他的搜索引擎，导致百度用户的流失，所以百度也很无奈的给淘宝做了个入口。 说了这么多，一句话不影响人们使用淘宝，这个东西只是为搜索引擎诞生的，就好比百度之前不让好搜抓取一些百度旗下的内容，比如百度知道，百度百科，百度贴吧，但是好搜违反了业内公认的robots.txt指令，抓取了百度知道等等的一些内容，百度让360赔了钱-------