一、什么是 sitemap.xml?
通俗一点说,sitemap.xml 就是你网站的“导航地图”,但它不是给用户看的,而是专门给搜索引擎看的。
简单举个例子:
假如你的网站有下面几个页面:
- 首页:/
- 常见问题页:/faq/windows-error
- 英文版页面:/en
- 中文版页面:/zh
你通过 sitemap.xml 告诉搜索引擎,比如谷歌:“这些页面都很重要,你赶紧来收录一下!”
sitemap.xml 文件长啥样?
其实就是个简单的清单,看个例子:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://fixpc.app/</loc></url>
<url><loc>https://fixpc.app/faq/windows-blue-screen</loc></url>
<url><loc>https://fixpc.app/en</loc></url>
<url><loc>https://fixpc.app/zh</loc></url>
</urlset>
怎么自动生成 sitemap.xml 呢?
最简单的办法是使用插件,比如 Next.js 项目里用 next-sitemap 插件就行,每次更新网站的时候它会自动帮你更新这个文件,非常省心!
二、什么是 robots.txt?
robots.txt 你可以理解为网站门口的一块“公告牌”,专门告诉搜索引擎:哪些页面可以抓取,哪些页面不能抓取。
比如:
User-agent: *
Disallow: /api/
Allow: /
Sitemap: https://fixpc.app/sitemap.xml
解释一下这段内容:
- Disallow: /api/ 表示告诉搜索引擎:“后台接口的数据你别抓!”
- Allow: / 表示网站其他所有网页都可以抓。
- Sitemap: 后面的网址,就是上面介绍过的那个 sitemap.xml 文件的地址。
三、总结一下 sitemap.xml 和 robots.txt 有啥用?
文件名 | 用途 | 是否必须? |
sitemap.xml | 告诉搜索引擎快速收录你网站的各个页面 | 必须 |
robots.txt | 限制搜索引擎抓取不必要或敏感的页面 | 必须 |
最佳实践(开发小技巧):
- 使用 Next.js 的小伙伴们,推荐用 next-sitemap 插件,一次性自动搞定 sitemap.xml 和 robots.txt。
- 配置一下你的 next.config.js 文件,填写上你的网站域名,比如:https://fixpc.app,就能实现自动化,省时又省力!
好啦,这下大家明白 sitemap.xml 和 robots.txt 是什么了吗?赶紧动手试试看吧~