本地运行

# ./apps/api/.env

# ===== 必需的ENV变量 ======
NUM_WORKERS_PER_QUEUE=8 
PORT=3002
HOST=0.0.0.0

#自托管使用docker时，使用redis://redis:6379。本地运行时，使用redis://localhost:6379
REDIS_URL=redis://localhost:6379

#自托管使用docker时，使用redis://redis:6379。本地运行时，使用redis://localhost:6379
REDIS_RATE_LIMIT_URL=redis://localhost:6379 
PLAYWRIGHT_MICROSERVICE_URL=http://playwright-service:3000/html

## 要开启数据库身份验证，需要设置supabase。
USE_DB_AUTHENTICATION=false

# ===== 可选的ENV变量 ======

# Supabase 设置（用于支持数据库身份验证、高级日志记录等）
SUPABASE_ANON_TOKEN= 
SUPABASE_URL= 
SUPABASE_SERVICE_TOKEN=

# 其他可选设置
# 如果您已经设置了身份验证并想用真实的API密钥进行测试
TEST_API_KEY=
# 如果您想测试抓取速率限制
RATE_LIMIT_TEST_API_KEY_SCRAPE=
# 如果您想测试爬取速率限制
RATE_LIMIT_TEST_API_KEY_CRAWL=
# 如果您想使用Scraping Bee处理JS阻塞
SCRAPING_BEE_API_KEY=
# 为LLM相关功能添加（图像alt生成等）
OPENAI_API_KEY=
BULL_AUTH_KEY=@
# 如果您正在配置基本日志记录与logtail
LOGTAIL_KEY=
# 如果您有llamaparse密钥并想用来解析PDF文件
LLAMAPARSE_API_KEY=
# 如果您想发送Slack服务器健康状态消息
SLACK_WEBHOOK_URL=
# 如果您想发送posthog事件，如作业日志
POSTHOG_API_KEY=
# 如果您想发送posthog事件，如作业日志
POSTHOG_HOST=

# 如果您想使用Fire Engine封闭测试版
FIRE_ENGINE_BETA_URL=

# Playwright的代理设置（另一种选择是使用oxylabs这样的代理服务，它会在每次请求时为您轮换IP）
PROXY_SERVER=
PROXY_USERNAME=
PROXY_PASSWORD=
# 如果您想阻止媒体请求以节省代理带宽
BLOCK_MEDIA=

# 当使用FireCrawl的自托管版本时，将其设置为您的webhook的URL
SELF_HOSTED_WEBHOOK_URL=

# 用于事务性电子邮件的Resend API密钥
RESEND_API_KEY=

# LOGGING_LEVEL决定了系统将输出的日志详细程度。
# 可用级别包括：
# NONE - 不输出日志。
# ERROR - 用于记录指示特定操作失败的错误消息。
# WARN - 用于记录可能有害但不一定是错误的情况。
# INFO - 用于记录突出显示应用程序进度的信息性消息。
# DEBUG - 用于记录有关系统流程的详细信息，主要用于调试。
# TRACE - 用于记录比DEBUG级别更详细的信息。
# 将LOGGING_LEVEL设置为上述选项之一来控制日志输出。
LOGGING_LEVEL=INFO

# cd apps/api # 确保您在正确的文件夹中
pnpm install # 确保您使用的是pnpm版本9+!

redis-server

pnpm run workers
# 如果您打算使用[llm-extract功能](https://github.com/mendableai/firecrawl/pull/586/)，您还应该导出OPENAI_API_KEY=sk-______

pnpm run start

curl -X GET http://localhost:3002/test

curl -X POST http://localhost:3002/v0/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'