Crawl4AI 网页抓取工具

用于完整网页提取（含JavaScript渲染）的本地Crawl4AI实例。

端点

代理端点（端口 11234）— 简洁输出，兼容OpenWebUI

• 返回：[{页面内容, 元数据}]
• 用途：用于简单的内容提取

直接端点（端口 11235）— 包含所有数据的完整输出

• 返回：{结果: [{markdown, html, 链接, 媒体, ...}]}
• 用途：当您需要链接、媒体或其他元数据时

使用方法

# Via script
node {baseDir}/scripts/crawl4ai.js "url"
node {baseDir}/scripts/crawl4ai.js "url" --json

脚本选项：

• --json— 完整的JSON响应

输出：页面清理后的markdown内容。

配置

必需的环境变量：

• CRAWL4AI_URL— 您的Crawl4AI实例URL（例如，http://localhost:11235）

可选：

• CRAWL4AI_KEY— 如果您的实例需要认证，请提供API密钥

功能

• JavaScript渲染— 处理动态内容
• 无限制使用— 本地实例，无API限制
• 完整内容— HTML、Markdown、链接、媒体、表格
• 优于Tavily对于包含JS的复杂页面

API

使用您的本地Crawl4AI实例REST API。仅在设置了CRAWL4AI_KEY时发送认证头。