Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類(lèi)，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
猜你喜歡
- 1圖書(shū)館借閱管理系統(tǒng)軟件小程序開(kāi)發(fā)
- 2網(wǎng)站SEO優(yōu)化之如何運(yùn)用好meta標(biāo)簽
- 3物流同城配送小程序功能軟件開(kāi)發(fā)
- 4SEO怎樣可以把網(wǎng)站的流量做上去
- 5網(wǎng)站優(yōu)化中的關(guān)鍵詞優(yōu)化和整站優(yōu)化和頁(yè)面優(yōu)化有什么不同
- 6直播帶貨系統(tǒng)解決方案
- 7開(kāi)發(fā)一款app軟件需要多少錢(qián)是根據(jù)客戶(hù)的需要來(lái)決定的
- 8微信小程序哪家公司做的好
- 9會(huì)員管理系統(tǒng)定制軟件開(kāi)發(fā)
- 10人才網(wǎng)招聘APP軟件開(kāi)發(fā)
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
-
網(wǎng)絡(luò)推廣專(zhuān)業(yè)優(yōu)化外包公司一年多少錢(qián)
網(wǎng)絡(luò)推廣專(zhuān)業(yè)優(yōu)化外包公司一年多少錢(qián)。網(wǎng)絡(luò)推廣專(zhuān)業(yè)優(yōu)化外包公司一年多少錢(qián)現(xiàn)階段萬(wàn)詞快排霸屏營(yíng)銷(xiāo)推廣的服務(wù)提供商也是有許多，技術(shù)性和整體實(shí)力早已良莠不齊，資費(fèi)標(biāo)準(zhǔn)也...
-
酒店APP開(kāi)發(fā)定制軟件
在開(kāi)發(fā)酒店管理APP軟件的時(shí)候，普通功能的軟件價(jià)格會(huì)在2w-5w之間，大功能的軟件價(jià)格會(huì)在十幾萬(wàn)，由于涉及到功能的復(fù)雜和功能全面，開(kāi)發(fā)的價(jià)格就稍微高些，具體的開(kāi)發(fā)功能也是按照...
-
物業(yè)服務(wù)微信小程序開(kāi)發(fā)
微信小程序能讓社區(qū)的物業(yè)更加的智能方便，即用即走，方便管理物業(yè)，利用互聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)智能社區(qū)管理。 智慧小程序?qū)Ｗ⑽飿I(yè)小程序，智慧小程序讓物業(yè)更智慧，更智能，開(kāi)發(fā)功能如...
-
網(wǎng)站seo排名趨勢(shì)起伏較大-是什么原因呢
從網(wǎng)站內(nèi)部而言；文章的質(zhì)量，網(wǎng)站內(nèi)的結(jié)構(gòu)，關(guān)鍵詞密度以及網(wǎng)站標(biāo)簽等都會(huì)成為影響網(wǎng)站排名的因素。文章質(zhì)量不高，內(nèi)容重復(fù)抄襲，那么搜索引擎對(duì)網(wǎng)站的信任度就不會(huì)高，對(duì)網(wǎng)站的收...
-
學(xué)校后勤報(bào)單系統(tǒng)軟件開(kāi)發(fā)
一、學(xué)校后勤報(bào)單軟件項(xiàng)目客戶(hù)來(lái)源介紹 我們百家號(hào)的推廣信息排名相對(duì)比較靠前，一位來(lái)自成都的客戶(hù)咨詢(xún)我們百家號(hào)往期的學(xué)校后勤報(bào)單系統(tǒng)軟件信息案例，學(xué)校單位在系統(tǒng)...
