浮头导航网

专注编程技术分享的开发者社区

什么是 sitemap.xml 和 robots.txt?

一、什么是 sitemap.xml?

通俗一点说,sitemap.xml 就是你网站的“导航地图”,但它不是给用户看的,而是专门给搜索引擎看的

简单举个例子:

假如你的网站有下面几个页面:

  • 首页:/
  • 常见问题页:/faq/windows-error
  • 英文版页面:/en
  • 中文版页面:/zh

你通过 sitemap.xml 告诉搜索引擎,比如谷歌:“这些页面都很重要,你赶紧来收录一下!”

sitemap.xml 文件长啥样?

其实就是个简单的清单,看个例子:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url><loc>https://fixpc.app/</loc></url>
  <url><loc>https://fixpc.app/faq/windows-blue-screen</loc></url>
  <url><loc>https://fixpc.app/en</loc></url>
  <url><loc>https://fixpc.app/zh</loc></url>
</urlset>

怎么自动生成 sitemap.xml 呢?

最简单的办法是使用插件,比如 Next.js 项目里用 next-sitemap 插件就行,每次更新网站的时候它会自动帮你更新这个文件,非常省心!


二、什么是 robots.txt?

robots.txt 你可以理解为网站门口的一块“公告牌”,专门告诉搜索引擎:哪些页面可以抓取,哪些页面不能抓取。

比如:

User-agent: *
Disallow: /api/
Allow: /
Sitemap: https://fixpc.app/sitemap.xml

解释一下这段内容:

  • Disallow: /api/ 表示告诉搜索引擎:“后台接口的数据你别抓!”
  • Allow: / 表示网站其他所有网页都可以抓。
  • Sitemap: 后面的网址,就是上面介绍过的那个 sitemap.xml 文件的地址。

三、总结一下 sitemap.xml 和 robots.txt 有啥用?

文件名

用途

是否必须?

sitemap.xml

告诉搜索引擎快速收录你网站的各个页面

必须

robots.txt

限制搜索引擎抓取不必要或敏感的页面

必须


最佳实践(开发小技巧):

  • 使用 Next.js 的小伙伴们,推荐用 next-sitemap 插件,一次性自动搞定 sitemap.xml 和 robots.txt。
  • 配置一下你的 next.config.js 文件,填写上你的网站域名,比如:https://fixpc.app,就能实现自动化,省时又省力!

好啦,这下大家明白 sitemap.xml 和 robots.txt 是什么了吗?赶紧动手试试看吧~

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言