Firecrawl

通过 Firecrawl API 进行网络搜索和抓取。

先决条件

在您的环境或.env文件中设置FIRECRAWL_API_KEY：

export FIRECRAWL_API_KEY=fc-xxxxxxxxxx

快速开始

搜索网络

firecrawl_search "您的搜索查询" --limit 10

抓取单个页面

firecrawl_scrape "https://example.com"

爬取整个网站

firecrawl_crawl "https://example.com" --max-pages 50

API 参考

请参阅references/api.md以获取详细的 API 文档和高级选项。

脚本

• scripts/search.py- 使用 Firecrawl 搜索网络
• scripts/scrape.py- 抓取单个 URL
• scripts/crawl.py- 爬取整个网站