用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容
Amazon Bedrock Knowledge Bases 可通过开源 Python 爬虫 Crawl4AI 做预处理,把网页转成 Markdown 与元数据 sidecar 写入 Amazon S3,再由 S3 数据源完成摄取。
官方建议先用 Amazon Bedrock Web Crawler 数据源连接器,它支持种子 URL 或 sitemap、按设定范围和速率爬取、定时同步,并能等待 JavaScript 加载内容。当需要只索引页面正文、去除导航等模板内容,或为每篇文档附加自定义元数据属性时,再改用 Crawl4AI 路径;该路径支持 CSS 选择器限定提取区域、按域名/路径/深度/页数限制遍历范围。