們先了解下什么是Google SEO 網(wǎng)站地圖？

Google SEO 網(wǎng)站地圖英文名稱叫做 sitemap ，是一個頁面，上面放置了網(wǎng)站上需要搜索引擎抓取的所有頁面的鏈接。它被視為網(wǎng)站內(nèi)容的模型，旨在幫助用戶和搜索引擎導(dǎo)航網(wǎng)站。當(dāng)用戶或搜索引擎蜘蛛訪問網(wǎng)站時，sitemap可以作為一個引導(dǎo)，幫助它們快速找到網(wǎng)站的主要頁面和內(nèi)容。

sitemap的主要形式包括sitemap.html、sitemap.xml和sitemap.txt。其中，sitemap.html通常被放在網(wǎng)站前端頁面，用于向訪客清晰地展示網(wǎng)站的結(jié)構(gòu)框架。而sitemap.xml和sitemap.txt則經(jīng)常被存放在Robots.txt文件中，供搜索引擎蜘蛛快速抓取。

對于搜索引擎而言，sitemap可幫助搜索引擎蜘蛛索引站點(diǎn)上的所有頁面，盡管它不保證會抓取站點(diǎn)的每個頁面，但主要搜索引擎會推薦網(wǎng)站管理員創(chuàng)建并提交sitemap。

一般情況下sitemap創(chuàng)建方式有哪些？

1.選擇生成工具：可以使用在線的sitemap生成工具或者通過編程的方式生成sitemap。這些工具可以幫助你快速生成包含網(wǎng)站所有頁面鏈接的sitemap文件。

2.代碼工具自動生成：對于一些熟悉編程的網(wǎng)站管理員，他們可以通過編寫代碼來自動生成sitemap。例如，可以編寫一個aspx.cs程序，該程序能夠自動抓取網(wǎng)站的所有頁面鏈接，并生成sitemap文件。生成的sitemap文件可以存放在網(wǎng)站的根目錄下。

3.利用網(wǎng)站系統(tǒng)或插件：一些網(wǎng)站系統(tǒng)或內(nèi)容管理系統(tǒng)（CMS）如現(xiàn)在的開源系統(tǒng)，Wordpress、安企CMS等，在其根目錄下可能已經(jīng)有預(yù)設(shè)的sitemap生成文件（如sitemap.asp）。通過執(zhí)行這些文件，可以自動創(chuàng)建本網(wǎng)站的sitemap。

4.手動創(chuàng)建：對于小型網(wǎng)站或者特定需求，也可以手動創(chuàng)建sitemap。這通常涉及到將網(wǎng)站的所有頁面鏈接整理到一個XML或HTML文件中，并確保該文件的結(jié)構(gòu)清晰、規(guī)范。

無論選擇哪種方式創(chuàng)建sitemap，都需要注意確保sitemap的準(zhǔn)確性和完整性，以便搜索引擎能夠正確索引網(wǎng)站的所有頁面。同時，還需要定期更新sitemap，以反映網(wǎng)站的最新內(nèi)容。創(chuàng)建好sitemap后，還需要將其提交給搜索引擎，以便搜索引擎能夠找到并抓取網(wǎng)站的內(nèi)容。

## 關(guān)于sitemap 協(xié)議
sitemap的標(biāo)準(zhǔn)由谷歌制定 [1]。 其詳細(xì)protocol 見 [2] 。
`SitemapIndex` 是一個 XML 文件，它的作用是列出網(wǎng)站中所有的 Sitemap 文件。這適用于大型網(wǎng)站。

`SitemapIndex` 文件的結(jié)構(gòu)類似于 Sitemap 文件，但是它包含的是 Sitemap 文件的 URL，而不是網(wǎng)站頁面的 URL。每個 `<sitemap>` 標(biāo)簽都代表一個 Sitemap 文件，它包含兩個子標(biāo)簽：`<loc>` 和 `<lastmod>`。`<loc>` 標(biāo)簽包含 Sitemap 文件的 URL，`<lastmod>` 標(biāo)簽包含 Sitemap 文件最后修改的日期和時間。

以下是一個 `SitemapIndex` 文件的示例：

```xml
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>
```

在這個例子中，`SitemapIndex` 文件列出了兩個 Sitemap 文件的 URL，以及它們最后被修改的時間。


## sitemap-spider
`scrapy` 提供了一個 `SitemapSpider` [3] 。


## ref
[1] https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview?hl=zh-cn
[2] https://www.sitemaps.org/protocol.html
[3] https://github.com/scrapy/scrapy/blob/master/scrapy/spiders/sitemap.py