做官網(wǎng)的優(yōu)化時，發(fā)現(xiàn)了有趣的現(xiàn)象，明明網(wǎng)站robots設置了禁止所有爬蟲爬取，但是網(wǎng)站在今年3月份以后有了百度的關鍵詞排名，site了一下，發(fā)現(xiàn)網(wǎng)站并沒能收錄，但是用了站長工具查詢，發(fā)現(xiàn)百度給了網(wǎng)站關鍵詞排名，并且排名很好。 這…