正如百度百科中對robots.txt解釋一樣，它是一個協(xié)議，是搜索引擎在訪問我們的站點時第一個要查看的文件。在這里面我們可以設置哪些文件是允許搜索引擎抓取的，還有哪些是不允許進行索引的。

robots.txt的設置非常的重要，如果你在網(wǎng)站的根目錄里面添加了這個文件，那么就得慎重了，因為錯誤的robots.txt很有可能會導致搜索引擎不索引你的站點。所以我們使用開源程序建站時如果對這個文件還不是那么了解的話，可以默認采用官方給的robots.txt就行了，這樣一來也會減少一些麻煩。當然了，如果你對它的設置已經(jīng)了如指掌了，那么就依據(jù)自己網(wǎng)站的情況設置，好的robots.txt能夠給我們網(wǎng)站帶來的效果是非常之大的。
了解更多內(nèi)容：請訪問：雨點網(wǎng)絡  石家莊網(wǎng)站制     石家莊網(wǎng)站建設