Universal Scraper API

参数查询

1.Universal Scraper Api 输入参数查询

参数 类型 默认值 说明
source string - 爬虫id

context


├─ context.url


└─context.screenshot_type

map[string]interface - 特定参数,用户自定义的额外信息
string - 链接到某一页面
number - 选择截图类型(仅适用于png格式)(1:完整页长截图,2:视窗截图)
geo string - 地区
callback string - 回调地址
js_render bool FALSE 是否开启js渲染
false:禁用 true:启动
locale string - 语言
format []string - 需要的返回格式
 
这些参数帮助实现从简单 HTML 抓取,到 JS 渲染、自动解析、截图甚至会话模拟等复杂需求

2.输出查询参数

字段名称 类型 说明
created_at string 请求创建时间,格式为 YYYY-MM-DD HH:MM:SS
id string 唯一标识符,格式为 s_XXXXXXXXXXXX_XXXX
request interface{} 请求的详细信息,包括回调、上下文、格式等
callback string 回调地址,表示请求完成后的通知地址(如果有的话)

context


├─ context.url


└─context.screenshot_type

map[string]interface 上下文,包含特定的请求参数
string 请求的 URL,表示要抓取或处理的网址
number 截图类型,表示截图格式或选择的截图类型(1表示某种类型)
format []string 请求所需的返回格式,可以是多个格式的数组(例如 html 和 png)
geo string 地理位置代码,表示请求来源的地理区域(例如 AE 表示阿联酋)
js_render boolean 是否开启 JavaScript 渲染,true 表示启用,false 表示禁用
locale string 请求的语言环境,格式为 语言-地区(例如 af-ZA 代表南非的阿非利堪语)
source string 爬虫的来源标识,表示该请求来自哪个爬虫(例如 uni-scraper)
status string 当前请求的状态,表示任务的当前进度或状态(pending待定 done完成 faulted有缺点的)

 

BestProxy
BestProxyBestProxy