Bright Data - 网络爬虫与搜索

直接通过API访问Bright Data的Web Unlocker和SERP API。

设置

1. 获取您的API密钥：从Bright Data控制面板获取密钥

。2. 创建一个Web Unlocker区域：

在brightdata.com/cp上点击"添加"（右上角），选择"Unlocker区域"以创建一个区域。

export BRIGHTDATA_API_KEY="your-api-key"
export BRIGHTDATA_UNLOCKER_ZONE="your-zone-name"

3. 设置环境变量：

使用

谷歌搜索

bash scripts/search.sh "query" [cursor]

• 搜索谷歌并获取结构化的JSON结果（标题、链接、描述）。游标

：用于分页的可选页码（从0开始索引，默认值：0）

网络爬虫

bash scripts/scrape.sh "url"

以Markdown格式爬取任何网页。绕过机器人检测和验证码。

输出格式

搜索结果返回包含结构化array:

{
  "organic": [
    {"link": "...", "title": "...", "description": "..."}
  ]
}

抓取结果

从网页返回干净的markdown内容。