firecrawl免费AI爬虫,开源商用两个版本

商用版本

curl -X POST https://api.firecrawl.dev/v0/scrape \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://mendable.ai"
    }'

开源版本

“

To start, we wont set up authentication, or any optional sub services (pdf parsing, JS blocking support, AI features )

1. node.js instructions

2. pnpm instructions

3. redis instructions

# ===== 必需的环境变量 ======
NUM_WORKERS_PER_QUEUE=8
PORT=3002
HOST=0.0.0.0
REDIS_URL=redis://localhost:6379

## 若要启用数据库认证，你需要设置 supabase。
USE_DB_AUTHENTICATION=false

# ===== 可选的环境变量 ======

# Supabase 设置（用于支持数据库认证、高级日志记录等）
SUPABASE_ANON_TOKEN=
SUPABASE_URL=
SUPABASE_SERVICE_TOKEN=

# 其他可选项
TEST_API_KEY= # 如果你已设置认证并希望使用真实的 API 密钥进行测试
SCRAPING_BEE_API_KEY= # 如果你希望使用 scraping Bee 处理 JS 阻止
OPENAI_API_KEY= # 添加用于 LLM 依赖功能（如图像 alt 生成等）
BULL_AUTH_KEY= #
LOGTAIL_KEY= # 如果你正在配置基本日志记录与 logtail
PLAYWRIGHT_MICROSERVICE_URL=# 如果你希望运行一个 playwright 备用服务
LLAMAPARSE_API_KEY= # 如果你有 llamaparse 密钥并希望用于解析 PDF
SERPER_API_KEY= # 如果你有 serper 密钥并希望作为搜索 API 使用
SLACK_WEBHOOK_URL= # 如果你希望发送 slack 服务器健康状态消息
POSTHOG_API_KEY= # 如果你希望发送 posthog 事件如作业日志
POSTHOG_HOST= # 如果你希望发送 posthog 事件如作业日志

pnpm install

redis-server

pnpm run workers

pnpm run start

curl -X GET http://localhost:3002/test

curl -X POST http://localhost:3002/v0/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://mendable.ai"
    }'

npm run test:local-no-auth

npm run test:prod