如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容

2020-04-05 11:34:07 編輯：永諾網(wǎng)絡來源：本站原創(chuàng)

網(wǎng)站地圖的制作在seo優(yōu)化中也是占據(jù)很重要一部分的，網(wǎng)站地圖制作好了可以更加有利于蜘蛛對我們網(wǎng)站信息的檢索與抓取，他會對網(wǎng)頁信息進行方向引導，給搜索引擎蜘蛛的爬行提供一個路徑，快速準確的抓取網(wǎng)站內(nèi)容。

如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容

我們可以利用小爬蟲工具、愛站工具等來生成網(wǎng)站地圖。我們首先打開愛站工具包，選擇網(wǎng)站地圖，然后左側(cè)選擇添加網(wǎng)站，將網(wǎng)址輸入后選擇xml選項，將里面的頂部的所有文件選項勾選之后點擊抓爬，完成后生成xml文件，最后將生成之后的sitemap后綴為html、xml、txt的文件上傳到網(wǎng)站后臺的根目錄中即可。這樣，只要有用戶進入就會抓取了。
robots協(xié)議又是什么？該如何書寫它呢？robot協(xié)議就是給搜索引擎蜘蛛的一個規(guī)定，我們利用這個文件來限制搜索引擎的抓取范圍，尊重信息提供者意愿并維護其隱私權，保護我們的隱私不被搜索引擎抓取的一份內(nèi)容。這個有我們自己進行編輯規(guī)定。
robots協(xié)議的編輯會用到三個標簽：1、User-agent: 蜘蛛名稱（這里個User-agent 指定搜索引擎蜘蛛名稱）2、Disallow: 內(nèi)容名稱（代表要禁止抓取的內(nèi)容）3、Allow:內(nèi)容名稱（代表允許抓取的內(nèi)容）。這些標簽后書寫的就是協(xié)議的內(nèi)容，還會用到3個通配符來編輯："*"表示涵蓋所有搜索引擎；"$"表示以某字符串結尾；"/"表示當前目錄下的所有內(nèi)容。當編輯完協(xié)議內(nèi)容后可在最后添加“Sitemap：網(wǎng)站域名/sitemap.xml”，用地圖讓蜘蛛更快速的抵達我們的網(wǎng)站。
SEO的日常工作比較細致，查看我們網(wǎng)站的日志也是需要關注的。從網(wǎng)站后臺空間找到文件管理，然后打開logs文件，將最新的日志文件載到桌面，然后使用光年日志分析系統(tǒng)等工具對其進行分析，可以看到蜘蛛爬行過的記錄以及一些問題，需要及時查看并解決掉。

本站文章均為永諾網(wǎng)站建設摘自權威資料，書籍，或網(wǎng)絡原創(chuàng)文章，如有版權糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復制和抄襲！感謝...

返回首頁上一篇：網(wǎng)站改版降權了-多久能恢復排名下一篇：一個新網(wǎng)站-怎么寫robots協(xié)議