开始使用 Firecrawl MCP 服务器
Firecrawl MCP 服务器 是一个方便的工具,如果你想从网络上抓取和提取数据,尤其是在使用遵循模型上下文协议(MCP)的工具(如 Cursor 或 Claude)时。这个教程将指导你完成设置,并为你提供快速启动所需的一切。
它的功能
简而言之,Firecrawl MCP 服务器 让你可以:
- 抓取和爬取网站
- 提取内容(文本、元数据、链接)
- 处理多个 URL 的批量请求
- 实时流式传输结果,使用 SSE
- 所有这些都内置重试逻辑和速率限制
如果你有一个应用程序、代理或脚本需要从网页获取结构化数据,这个工具可以为你节省时间。
先决条件
- 安装 Node.js 和 npm
- 一个有效的 Firecrawl API 密钥 (从你的 Firecrawl 账户 获取)
- 一个兼容 MCP 的环境,如 Cursor、Windsurf 或你自己的项目
步骤设置
- 基本配置
以下是使用 Firecrawl 的 MCP 服务器配置示例:
{
"mcpServers": {
"firecrawl-mcp": {
"command": "npx",
"args": [
"-y",
"firecrawl-mcp"
],
"env": {
"FIRECRAWL_API_KEY": "fc-af1b3ac1a0c2402485402fd0e34da158"
}
}
}
}
确保你替换上面的 API 密钥为你自己的,如果你不是在测试的话。
你可以将其插入到你的 MCP 配置文件中,无论你使用的是 Cursor、Claude 还是其他兼容工具。
运行服务器
要直接从终端运行它:
FIRECRAWL_API_KEY=fc-yourkeyhere npx -y firecrawl-mcp
这将启动服务器并暴露端点,供你的代理使用 MCP 协议进行通信。
或者,如果你更喜欢全局安装:
npm install -g firecrawl-mcp
firecrawl-mcp
用例
以下是一些人们常用 Firecrawl MCP 服务器的常见用途:
- 从电子商务页面抓取产品信息
- 从新闻或博客 URL 批量提取文本内容
- 收集元数据,如标题、头部和链接,用于研究
- 在非结构化网络数据上构建搜索层
提高结果的技巧
- 尽可能使用批量模式:这更快且更高效。
- 注意速率限制:如果你访问了很多 URL,请注意 Firecrawl 的速率政策。
- 如果你期待大量输出或希望实时流式传输结果,请使用 SSE 模式。
- 处理重试:Firecrawl 内置了重试逻辑,但你仍然应该在你的端记录和处理错误。
常见问题
我可以在本地运行吗? 可以 — 在你的机器上或云设置中都可以正常工作。
这仅适用于 JavaScript 吗? 不 — 只要你的平台能够发送 MCP 请求(通常基于 HTTP),就可以使用。Python、Node.js 等都可以。
我如何获取 API 密钥? 在 Firecrawl.dev 注册,进入你的仪表板并生成一个。
定价如何? 查看他们的官方网站 — 这是基于使用的,有免费层可用。
最后说明
Firecrawl MCP 服务器相当轻量但功能强大。一旦设置完成,你的代理或应用程序可以像查询其他 MCP 服务器一样查询它。无论你是在为研究、竞争分析构建工具,还是仅仅需要结构化的网络数据 — 这个工具都可以提供很大帮助。
如果你想要特定端点或示例脚本的详细介绍,请告诉我 — 我很乐意分享。