用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

当 Amazon Bedrock Web Crawler 无法满足需求时，可用开源 Python 爬虫 Crawl4AI 做预处理：将每页内容转为 Markdown 并生成元数据 sidecar 写入 Amazon S3，再由 Knowledge Bases 的 S3 数据源完成摄取。该路径支持裁剪导航等模板内容、用 CSS 选择器限定提取区域、附加自定义元数据，适用于托管与客户自管两类知识库。