執行Screaming Frog 工具
首先開啟Screaming Frog SEO Spider，輸入網站URL，點選“start” 等待軟體分析抓取完目標網址URL。免費版限制500條 收費版本抓取無限制。
工具會根據網站內容ULR的多少抓取完所有的網址，當然也可以自定義抓取資料 ，根據自己要分析的資料需求做修改。
抓取分析目標網址
預設情況下，XML站點地圖中僅包含響應程式碼為200的頁面。比如：重定向（3XX），客戶端錯誤（4XX錯誤，）或伺服器錯誤（5XX）等並不會被考慮在列。如果你想選擇其中一些頁面做到地圖中也是可以的，勾選對應的選項即可。
需要注意的是，生成的網址ULR連結需要做一下篩選，去除不需要的無關URL地址，只保留本站200狀態的網址，能夠更多的抓取收錄這些網址連結 。如圖：
建立網站地圖sitemap
確定好要建立的地圖連結時，點選工具選單欄 “Sitemaps”—“XML Sitemap”選項。 開啟Screaming Frog SEO Spider地圖生成功能，裡面可以具體設定生成的規則。
如果不想在sitemap中包含頁面最後修改的時間，在“Last Modified”中不要選中“Include <lastmod> tag“就可以了。如果要在站點地圖中包含的話，根據實際情況選擇伺服器提供的日期還是自定義日期。
生成完的sitemap.xml格式文件，上傳到網站的根目錄中，透過 網址/sitemap.xml 正常訪問到，這個時候網站地圖sitemap就建立成功了。
提交網址地圖XML給蜘蛛抓取
為了能夠使蜘蛛抓取識別到地圖，站長們還需要做以下幾點操作：
1，把xml地圖新增到網站的robots.txt協議當中；
2，把xml地圖提交給各大站長搜尋工具，比如百度的資源站長平臺，必應谷歌也都有地圖提交功能。
3，生成新的地圖時及時更新新增到網站中，並提交到搜尋工具。
百度資源站長平臺地址提交地址：https://ziyuan.baidu.com/linksubmit/index
