Web Crawling 是一种可以自动遍历 Web 应用程序并搜索超链接的技术。 网络爬虫使用的爬取方法因项目而异。 由于 Web 内容对于成功的在线业务至关重要，因此内容策略师通常需要收集、审核和分析其网站上的现有内容。 为了便于深入了解他们的 Web 内容，他们可能希望使用计算机程序来抓取网站并捕获介绍性信息，包括页面标题、内部链接、外部链接和关键字。 IT 专业人员如何构建帮助内容策略师进行网站内容审计的网络爬虫？

https://www.mssqltips.com/sqlservertip/7160/web-crawler-python-website-content-audit/