robots.txt是網(wǎng)站主建立與搜索引擎之間溝通的一座橋梁�；旧厦總�網(wǎng)站做好之后都會加上robots.txt，因為的們的網(wǎng)站一些內(nèi)容是想讓搜索收錄(比如說我們的后臺)其實robots.txt常見問題很多，這里濟南網(wǎng)站優(yōu)化只是列舉一些我們經(jīng)常犯的一些錯誤：
一、robots.txt的位置應(yīng)該放在那里？
robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。當搜索引擎的蜘蛛程序訪問一個網(wǎng)站（比如http://m.a9xy4.cn/）時，首先會檢查該網(wǎng)站中是否存在http://m.a9xy4.cn/robots.txt這個文件，如果找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它即將要訪問的范圍。
二、濟南seo建立了robots.txt文件屏蔽了網(wǎng)頁，為什么還會出現(xiàn)在搜索結(jié)果中呢？
如果在robots.txt中屏蔽了該url路徑，按常理來將是不會出現(xiàn)的搜索結(jié)果中的，但是很多情況下并不是這樣，原因如下：
1.蜘蛛程序通過其他鏈接直接進入網(wǎng)站的內(nèi)頁，導致被爬取并收錄；
2.robots.txt文件是后期修改，搜索結(jié)果還未進行更新；
以上經(jīng)過一段時間的更新就會逐漸消失，如果被抓取的網(wǎng)頁涉及到一些隱私，可以直接想相關(guān)搜索引擎反映。
三、robots.txt中的一些細節(jié)問題
文件中頭字母大小寫；
注意空格和“／”
四、robots.txt的一些操作事例
1.禁止搜索搜索引擎訪問網(wǎng)站的任何部分
User-agent：*
Disallow：/
2.允許訪問所有的內(nèi)容
User-agent：*
Disallow：
或者
User-agent：＊
Allow：/
濟南網(wǎng)站優(yōu)化建議您：也可以建立一個空的robots.txt文件
3.僅僅允許google訪問我的網(wǎng)站
User-agent：Googlebot
Disallow：/
User-agent：*
Disallow：/
4.禁止訪問指定目錄
User-agent：*
Disallow：/abc/
Disallow：/def/
Disallow：/ghp/
5.允許訪問特定目錄
User-agent：*
Allow：/abc/abc
Allow：/def/ef
Allow：/ghp/look
Disallow：/abc/
Disallow：/def/
Disallow：/ghp/
6.禁止訪問/abc/目錄下的所有以”.html”為后綴的URL(包含子目錄)
User-agent：*
Disallow：/abc/*.html
7.僅允許訪問以”.html”為后綴的URL
User-agent：*
Allow：.html$
Disallow：/
8.禁止訪問網(wǎng)站中所有的動態(tài)頁面
User-agent：*
Disallow：/*？*
9.禁止抓取網(wǎng)站上所有圖片
User-agent：*
Disallow：.jpg$
Disallow：.jpeg$
Disallow：.gif$
Disallow：.png$
Disallow：.bmp$
濟南seo提示您：如果還有其他格式，可以再進行添加Disallow：如果允許抓取某一類型的圖片，將“Disallow”修改為“Allow”即可。
注意以上格式中空格和“／”的使用
10.允許所有搜索引擎抓取，將自己的網(wǎng)站地圖放進robots.txt文件
User-agent：*
Disallow：
Sitemap：http://m.a9xy4.cn/sitemap1.xml
robots.txt存在的問題比較多，大家有什么疑問也可以直接留言，方便進一步完善robots.txt常見問題，濟南網(wǎng)站優(yōu)化希望您你一起成長。
