Crawl4AI 为 Bedrock 知识库预处理网页

AWS Machine Learning Blog 发布教程：当 Amazon Bedrock Web Crawler 无法满足需求时，可用开源 Python 爬虫 Crawl4AI 做预处理，把每页内容转为 Markdown 并生成元数据 sidecar 写入 Amazon S3，再由 Bedrock Knowledge Bases 的 S3 数据源摄取。该方案适用于托管和客户自管两类知识库，可裁剪导航等模板内容、用 CSS 选择器限定提取区域、附加自定义元数据。 适用范围有限：该流程只做已知站点的批量摄取，不是推理时的实时网页访问（如 Web Grounding with Amazon Nova）；只处理公开页面，不实现需登录的会话。Amazon Bedrock 对每个元数据 sidecar 限制 10 KB。每次运行按配置的任务规格产生 Fargate 费用，默认 2 vCPU、4 GB。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。