SEM營銷 / SE0營銷 / SMM營銷技術
善實戰SEO高端人才的智慧結晶
2023-09-15 來源:SEO技術, SEO匯總
在沒有地圖的情況下找到沒有去過的地方很困難,同時,沒有網站地圖,Google 也會迷路。幸運的是,創建和提交 XML 網站地圖并不復雜。
接下來,我們會一步一步地學習如何操作。
但是首先,我們需要了解一些基本知識。
(已經熟悉了基本知識?點擊這里可以直接跳轉到網站地址的創建教程。)
什么是網站地圖?網站地圖是一個 XML 文件,用于羅列網站上的重要內容。任何你希望能夠出現在搜索引擎的頁面或文件都應該出現在網站地圖中。
有趣的事實網站地圖不能羅列超過 50,000 個 URL,且體積必須在 50mb 以下。如果你的網站地圖超出其中任一指標,你就需要多創建幾個了。
XML 網站地圖的形式是怎樣的?XML 網站地圖是為搜索引擎——而不是用戶——創建的。如果你之前沒有見過網站地圖,那么他們乍看起來可能會令你心生畏懼。
<?xml version="1.0" encoding="UTF-8"?><urlset xmlns=""> <url> <loc></loc> <lastmod>2019-08-21T16:12:20+03:00</lastmod> </url> <url> <loc></loc> <lastmod>2019-07-31T07:56:12+03:00</lastmod> </url></urlset>我們現在慢慢展開。
XML 聲明<?xml version="1.0" encoding="UTF-8"?>這則片段會告訴搜索引擎他們在抓取的是一個 XML 文件。同時這也聲明了 XML 的版本和所用的字符編碼。對于網站地圖來說,版本應該為 1.0,編碼必須為 UTF?8。
URL 組<urlset xmlns="">這個容器包含了網站地圖中所有的 URL。同時它還會告訴網絡爬蟲應該使用何種協議標準。大多數網站地圖會指定使用 0.90 的協議標準,包括 Google、Yahoo! 和微軟在內的各類搜索引擎都支持該標準。
URL<url><loc></loc><lastmod>2019-08-21T16:12:20+03:00</lastmod></url>這是每個 URL 的父標簽。你必須在一個嵌套的標簽 <loc> 中指定 URL 的位置。這些 URL 必須是絕對的——而非相對的——權威鏈接。
盡管該標簽是這里唯一的強制標簽,你還可以使用一些可選的屬性:
<lastmod>: 用于聲明文件最后一次修改的時間。其格式必須符合 W3C Datetime 格式。例如你在 2019 年 9 月 25 日更新了某篇帖文,該屬性應為 2019–09-25。你還可以在其中指定時間,但這不是強制的。<priority>: 用于指明該 URL 較網站其他 URL 的優先級。數值在 0.0 到 1.0 之間。數值越高表明越重要。<changefreq>: 用于指明該頁面可能更新的頻率。它的作用是告訴搜索引擎應該多久回頭抓取一次這個 URL。它的值可以是總是、每小時、每天和每周。這些可選的標簽對 SEO 來說并沒有那么重要。
說到 <lastmod> 標簽,Google 的 Gary Ilyes 曾經表示他們會無視這個標簽,因為“站長在保證這個標簽數據的準確性方面做得太差了?!?大多數的網站地圖生成器都會將所有頁面的日期設置成當前日期,而不是該頁面上次被編輯的日期。原因顯而易見。
至于 <priority>標簽,Google 曾表示,因為這些標簽會帶來“大量噪音”,所以他們會選擇無視。
而<changefreq>標簽,John Mueller 指出“優先級和改動頻率已經退出網站地圖的舞臺了?!?/p>
我為什么需要網站地圖?Google 通過爬行網站來探索新的內容。當搜索引擎的爬蟲爬行某個頁面時,他們會同時關注頁面的內外鏈。當他們發現某個 URL 不在索引中時,就會試圖解析其中的內容,并在適當的位置索引他們。
但是 Google 無法通過這種方式找到所有的內容。如果某個頁面沒有來自其他頁面的鏈接,那么 Google 就沒有辦法找到這些頁面。
這個時候網站地圖就可以發揮作用了。
網站地圖可以告訴 Google(以及其他搜索引擎)應該去網站的哪些位置尋找最重要的頁面,這樣爬蟲就可以抓取并索引它們。這很重要因為引擎只有事先索引了你的頁面,才可以對它進行排名。
如何創建網站地圖部分內容管理系統可以幫你生成網站地圖。當你向網站添加或移除頁面的時候,這些網站地圖會自動更新。如果你的內容管理系統本身不自帶這個功能,那么通常情況下會有相關的插件可以做到。
在 WordPress 中創建網站地圖即使 WordPress 驅動了全球 34.5% 的網站,然而它卻不會為你自動生成網站地圖。你可以借助 Yoast SEO 這樣的插件來生成網站地圖。
要安裝 Yoast SEO,首先登錄 WordPres 后臺。
依次進入插件(Plugins)> 添加(Add New):
搜索 Yoast SEO。
點擊現在安裝(Install now)然后激活(Activate):
前往 SEO > 通用設置,確?!癤ML 網站地圖”開關處于打開狀態。
現在你應該可以在 yourdomain.com/sitemap.xml 或者 yourdomain.com/sitemap_index.xml 中看到網站地圖(或者網站地圖的索引)了。
小提示. 如果你的 WordPress 是安裝在子目錄或者子域名下的,那么你的網站地圖也會處于這個位置。例如,我們博客的網站地圖就可以通過 ahrefs.com/blog/sitemap_index.xml 來訪問。 提示如果你想在網站地圖中囊括或者排除一些特定的內容(如標簽頁面、類目頁面等),就需要前往“搜索展示”(“Search Appearance”)設置。
你還可以通過編輯器的“高級”(“Advanced”)元選項框單獨排除博文或頁面。
重要提示. 只有當你不想要某些頁面出現在搜索結果中時,才從網站地圖中移除他們。
你可以從我們的 WordPress SEO 指南中了解更多。
在 Wix 中創建網站地圖Wix 會自動為網站創建網站地圖。你可以通過訪問 yourwixsite.com/sitemap.xml 找到它。
不幸的是,對于網站地圖包含哪些頁面,不包含哪些頁面,你并沒有太多控制。如果你想要排除某個頁面,就前往該頁面的的“SEO (Google)”設置板塊并關閉“在搜索結果中展示該頁面”(“Show this page in search results”)選項。
注意這樣會給該頁面加入一個 noindex 元標簽,它就不會顯示在搜索結果中了。
小提示. 如果你在 Wix 將某個 URL權威化,它并不會從網站地圖中消失。盡管這對大多數用戶來說無關緊要,但是記住在網站地圖中包含權威頁面并不是最好的辦法,這樣做會向 Google 發送混淆的信號。 在 Squarespace 中創建網站地圖Squarespace 也會自動創建網站地圖。你可以在 yoursquarespacesite.com/sitemap.xml 中找到它。
在 Squarespace 中你沒有辦法手動編輯網站地圖,但是你可以在“SEO”標簽中將那些無需索引的頁面排除。
這樣他們也會從你的網站地圖中消失。
在 Shopify 中創建網站地圖Shopify 會自動生成網站地圖,地址為 youtstore.com/sitemap.xml。
然而,想要在 Shopify 中要將一些頁面排除在索引之外沒那么簡單。你必須直接編輯 .liquid 文件。
不使用內容管理系統創建網站地圖如果你網站的頁面不足 300 個,可以安裝免費版的 Screaming Frog。
安裝完成后,前往 模式(Mode)> 爬蟲(Spider)。
將你首頁的 URL 粘貼進標有“向抓蟲提供 URL”(“Enter URL to spider”)的文本框內。
點擊“開始”(“Start”)。
小提示. 確保你使用了網站首頁的權威(主要)版本。如如果使用了其他版本,Screaming Frog 將只會的抓取一個 URL。 抓取任務結束后,查看屏幕的右下角。
會看到下圖所示的信息:
如果數量小于等于 499,就可以去到網站地圖(Sitemaps)> XML 網站地圖(XML sitemap)。
因為 Google 基本會忽略 <lastmod>, <changefreq>, 和<priority>, 我們建議將這些片斷排除出網站地圖文件。
點擊“下一步”并將網站地圖保存到本地。完成。
若數量顯示為“500 of 500”,就沒有必要將網站地圖導入了。為什么?因為這意味著 Screaming Frog 在抓取到網站的所有頁面之前已經達到了數量上限。亦即此時導出的網站地圖中可能會遺失數百個頁面——這樣就沒有意義了。
有一種解決辦法是尋找免費的網站地圖生成器。這樣的工具有很多。
可惜的是,他們中的大部分都很不可靠。
我們測試了許多流行的網站地圖生成工具,發現其中的大部分包含了非權威的 URL,無需索引的頁面以及重定向。這是非常糟糕的 SEO 實踐。
生成工具包含非權威的URLs?包含無需索引的URLs?包含重定向(301 redirects)?xml-sitemaps.comYes ?No ?No ?web-site-map.comYes ?No ?No ?xmlsitemapgenerator.orgYes ?No ?No ?smallseotools.com/xml-sitemap-generatorYes ?Yes ?Yes ?freesitemapgenerator.comYes ?Yes ?Yes ?duplichecker.com/xml-sitemap-generator.phpYes ?Yes ?Yes ?xsitemap.comYes ?Yes ?Yes ?那么應該如何解決呢?
如果 Screaming Frog 未能成功抓取整個網站,可以使用 Ahrefs 的網站診斷(Site Audit)工具。
?v=LjinWqfGyVE
小提示. 驗證你的網站后,抓取速度會變快。這里有操作方法。一旦抓取完成,可以前往頁面分析(Page Explorer)板塊,添加以下過濾條件。
點擊導出(Export)> 當前表格視圖(Current table view)。
打開 CSV 文件,接著將 URL 一欄中的所有鏈接復制粘貼到這個工具中。
點擊“加入隊列”(“Add to queue”),然后再點擊“將隊列導出為 sitemap.xml”(“Export queue as sitemap.xml”)。
這個導出的文件就是完整版的網站地圖了。
如何向 Google 提交網站地圖首先,你需要知道網站地圖的位置。
如果你使用了插件,那么很有可能網站地圖會存放在 domain.com/sitemap.xml。
如果你的網站地圖是手動生成的,那么請將它命名為類似 sitemap.xml 這樣的文件名,然后上傳到網站根目錄。這樣你就可以通過 domain.com/sitemap.xml 來訪問它了。
小提示. 當然你也可以自由選擇網站地圖的文件名,但最好還是堅持用 sitemap.xml。當你有多個網站地圖的時候,可以使用 sitemap_1.xml,sitemap_2.xml 這樣的模式。 接著去到 Google 站長工具(Google Search Console)> 網站地圖(Sitemaps)> 粘貼網站地圖的地址 > 點擊“提交”(“Submit”)
這樣就可以了。
提示把網站地圖的 URL 添加到robots.txt文件上也是一種不錯的實踐。
你可以在網站服務器的根目標找到這個文件。要在其中加入網站地圖,只需要打開該文件,并將以下這行粘貼進去:
Sitemap: 記得將上面的示例 URL 換成你自己網站地圖的網址。
如果你有多個網站地圖,只需要批量將他們加入。
Sitemap: : 修復影響網站地圖的錯誤Google 站長工具可以告訴你與網站地圖相關的大多數技術錯誤。
比如,在以下的例子中,我們提交的一個 URL 被 robots.txt文件屏蔽了,Google 站長工具給出了警告:
點擊此處,你可以了解這些問題的更多信息,以及如何修復他們。
話雖如此,有一些問題并不在 Google 站長工具的警告之列。
以下我們羅列出了一些更常見的問題,以及如何修復他們。
網站地圖包含無用的、低質量的頁面網站地圖中的每一個頁面都必須是索引的權威版本。
然而,這并不意味著所有頁面都是高質量的。如果你的網站內容較多,那么一些低質量的頁面就有可能混入你的網站地圖。
例如,我們來看一下某電商網站的這兩個頁面。
他們對搜索用戶來說沒有任何價值,卻依然出現在了這個網站的網站地圖中,Google 也索引了這兩個頁面。
要找出這些頁面,可以前往網站診斷(Site Audit)> 重復內容 (Duplicate Content)
你需要找出那些重復的或者準重復的沒有權威版本的頁面。他們在 Ahrefs 中會以橙色方框表示。點擊其中的某個可以看到存在該類問題的所有頁面。
查看這些頁面,看他們是否有價值。
網站包含低質量頁面非常不好,主要有以下三個原因:
他們浪費了抓取的配額。讓 Google 浪費時間和資源去抓取無用的、低重的頁面是很不理想的。他們應該花時間去抓取那些更重要的頁面。(聲明,Google 表示“大部分內容發布者都無需擔心”抓取配額。)他們偷取了更重要的頁面的鏈接權威度。頁面的權威度和他們的排名有著清晰的關系。指向低質量頁面的內鏈只會稀釋那些本可以流向更重要的頁面的權威度。(有趣的是,在我們移除了 Ahrefs 博客幾乎 ? 的內容后,流量不降反增)他們會導致糟糕的用戶體驗。這些頁面的訪客無法從中獲取任何價值。點擊這些頁面對于訪客來說是惱人的,如果網站因此得到了低質量和無人看管的名聲,那么最后訪客很有可能跳出??傮w來說,最好的行動方案是從網站和網站地圖中先后移除低質量的內容。如果你正在開展這項工作,那么不要忘了連指向那些頁面的內部鏈接也一并刪除。否則,你會把一個問題(低質量頁面)變成另外一個問題(無效鏈接)。
除了重復和接近重復的內容,你還應該把那些單薄的內容找出來。
查看網站診斷板塊中的“頁面”(“On page”)報告,注意那些帶有“字數較少”(“Low word count”)警告的頁面。
意外地被排除在網站地圖外的頁面如果你按照上文中推薦的某種方法創建了網站地圖,那么帶有 noindex 或者權威標簽(非自我參照)的頁面則不會被包含在內。
這是一件好事。你的網站地圖不應該包含權威鏈接或者無需索引的頁面。
話雖如此,如果你網站包含了粗制爛造的 noindex 標簽,頁面可能會意外地被排除在外。
你可以前往網站診斷板塊的“可索引性”(“Indexibility”)報告并點擊“Noindex 頁面”警告,就可以看到所有沒有被索引的頁面。
這些頁面中的大部分可能都是被有意排除的,但是仍然有必要好好瀏覽這個列表,仔細檢查。粗制爛造的 noindex 標簽很容易被發現,因為他們會貫穿網站的某一分部。
如果你發現了不應該被排除的頁面,那就應該從頁面中移除 noindex 標簽,并將這個頁面(的鏈接)加入網站地圖。如果你使用了內容管理系統或者插件,那么第二步會自動發生。
專業提示除此之外還有必要去查看武斷的權威標簽和重定向。為此,你需要前往頁面分析(Page Explorer)板塊并加入以下過濾條件。
查看武斷的權威標簽。
查看武斷的重定向。
刪除所有武斷的權威標簽和重定向,并將受其影響的頁面(鏈接)添加進網站地圖。
常見問題以下是對一些關于網站地圖常見問題的解答。如果你還有其他問題,請告訴我們,我們會把他們(連同答案)添加進來。
加速移動頁面(AMP)需要網站地圖嗎?不需要。
@Kfowler325 No need for sitemaps for AMP pages — the rel=amphtml link is enough for us.—