将网站转变为大模型训练数据的神器：自动化爬虫工具FireCrawl，两周斩获4K Star！

2024-06-06 22:20
文章标签 工具 数据 网站 训练 模型 自动化 爬虫 4k 神器 斩获 star 转变 两周 firecrawl

本文主要是介绍将网站转变为大模型训练数据的神器：自动化爬虫工具FireCrawl，两周斩获4K Star！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

cover_image

将网站转变为大模型训练数据的神器：自动化爬虫工具FireCrawl，两周斩获4K Star！

原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！）

🔥将整个网站转变为适用于 ** 大模型训练 ** 的 Markdown 或结构化数据。使用单个 API 进行抓取、爬行、搜索和提取。 ****

Hello，大家好，我是Aitrainee。今天给大家介绍一下Firecrawl，这是一个实用的爬虫工具。

Firecrawl 是什么？

Firecrawl就像一个 智能机器人 ，从你给定的网页开始，自动找到并访问这个网站上的所有其他页面。它会提取每个页面中的主要内容， **
去掉广告 ** 和其他不需要的东西，然后把这些信息整理好，让你方便使用。而且，它不需要网站提供的地图文件来找到这些页面。

Firecrawl可以从你 ** 指定的网页 ** 开始，自动访问这个网站上所有能打开的子页面。就像你点开一个链接后，它会继续点开这个页面里的
所有链接
，直到把所有页面都访问一遍。只要这些页面没有被网站的设置阻止（比如没有被robots.txt文件禁止访问），Firecrawl就能爬取它们。

此外，Firecrawl还会从每个页面中提取有用的信息，去掉不重要的内容（比如广告和导航栏），并把这些数据整理成 易于使用
的格式，比如Markdown。

站点地图是什么？

站点地图（sitemap）是一个网站提供的文件，列出网站上的所有页面。它帮助搜索引擎或爬虫更快地找到和访问这些页面。站点地图通常是一个XML文件，里面包含网站上所有页面的链接。

总结一下：

  1. 1. Firecrawl 会自动从你给定的网页开始，遍历网站上的所有链接，爬取所有能访问的页面。

  2. 2. 它会去除 杂乱信息 ，提取有用的数据并整理好。

  3. 3. 无需 站点地图 ，Firecrawl也能找到并爬取所有页面。

演示视频

油管博主：开发者文稿 / 字幕译：Aitrainee， ** 链接在这里 ** ：

https://www.youtube.com/watch?v=fDSM7chMo5E

下面提供官方的 文档介绍、相关资源、部署教程 等，进一步支撑你的行动，以提升本文的帮助力。

🔥 Firecrawl

我们提供了易于使用的API托管版本。您可以在 这里 找到演示和文档。您也可以自行托管后台服务。

  • • API

  • • Python SDK

  • • Node SDK

  • • Langchain集成 🦜🔗

  • • Llama Index集成 🦙

  • • Langchain JS集成 🦜🔗

  • • 想要其他SDK或集成？请通过打开issue告知我们。

要在本地运行，请参考 指南 。

API密钥

要使用API，您需要在 Firecrawl 注册并获取API密钥。

爬取

用于爬取一个URL及其所有可访问的子页面。此操作提交一个爬取任务并返回一个作业ID以检查爬取状态。

curl -X POST https://api.firecrawl.dev/v0/crawl \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer YOUR_API_KEY' \  -d '{  "url": "https://mendable.ai"  }'

返回一个作业ID

{ "jobId": "1234-5678-9101" }

检查爬取作业

用于检查爬取作业的状态并获取其结果。

curl -X GET https://api.firecrawl.dev/v0/crawl/status/1234-5678-9101 \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer YOUR_API_KEY'{  "status": "completed",  "current": 22,  "total": 22,  "data": [  {  "content": "Raw Content ",  "markdown": "# Markdown Content",  "provider": "web-scraper",  "metadata": {  "title": "Mendable | AI for CX and Sales",  "description": "AI for CX and Sales",  "language": null,  "sourceURL": "https://www.mendable.ai/"  }  }  ]  
}

爬取

用于爬取一个URL并获取其内容。

curl -X POST https://api.firecrawl.dev/v0/scrape \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer YOUR_API_KEY' \  -d '{  "url": "https://mendable.ai"  }'

响应：

{  "success": true,  "data": {  "content": "Raw Content ",  "markdown": "# Markdown Content",  "provider": "web-scraper",  "metadata": {  "title": "Mendable | AI for CX and Sales",  "description": "AI for CX and Sales",  "language": null,  "sourceURL": "https://www.mendable.ai/"  }  }  
}

搜索（测试版）

用于搜索网络，获取最相关的结果，爬取每个页面并返回Markdown格式的数据。

curl -X POST https://api.firecrawl.dev/v0/search \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer YOUR_API_KEY' \  -d '{  "query": "firecrawl",  "pageOptions": {  "fetchPageContent": true // 设置为false可快速获取搜索引擎结果页面  }  }'{  "success": true,  "data": [  {  "url": "https://mendable.ai",  "markdown": "# Markdown Content",  "provider": "web-scraper",  "metadata": {  "title": "Mendable | AI for CX and Sales",  "description": "AI for CX and Sales",  "language": null,  "sourceURL": "https://www.mendable.ai/"  }  }  ]  
}

智能提取（测试版）

用于从爬取的页面中提取结构化数据。

curl -X POST https://api.firecrawl.dev/v0/scrape \  -H 'Content-Type: application/json' \  -H 'Authorization: Bearer YOUR_API_KEY' \  -d '{  "url": "https://www.mendable.ai/",  "extractorOptions": {  "mode": "llm-extraction",  "extractionPrompt": "Based on the information on the page, extract the information from the schema. ",  "extractionSchema": {  "type": "object",  "properties": {  "company_mission": {  "type": "string"  },  "supports_sso": {  "type": "boolean"  },  "is_open_source": {  "type": "boolean"  },  "is_in_yc": {  "type": "boolean"  }  },  "required": [  "company_mission",  "supports_sso",  "is_open_source",  "is_in_yc"  ]  }  }  }'{  "success": true,  "data": {  "content": "Raw Content",  "metadata": {  "title": "Mendable",  "description": "Mendable allows you to easily build AI chat applications. Ingest, customize, then deploy with one line of code anywhere you want. Brought to you by SideGuide",  "robots": "follow, index",  "ogTitle": "Mendable",  "ogDescription": "Mendable allows you to easily build AI chat applications. Ingest, customize, then deploy with one line of code anywhere you want. Brought to you by SideGuide",  "ogUrl": "https://mendable.ai/",  "ogImage": "https://mendable.ai/mendable_new_og1.png",  "ogLocaleAlternate": [],  "ogSiteName": "Mendable",  "sourceURL": "https://mendable.ai/"  },  "llm_extraction": {  "company_mission": "Train a secure AI on your technical resources that answers customer and employee questions so your team doesn't have to",  "supports_sso": true,  "is_open_source": false,  "is_in_yc": true  }  }  
}

使用Python SDK

安装Python SDK

pip install firecrawl-py

爬取一个网站

from firecrawl import FirecrawlApp  app = FirecrawlApp(api_key="YOUR_API_KEY")  crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})  # 获取Markdown内容  
for result in crawl_result:  print(result['markdown'])

爬取一个URL

要爬取单个URL，请使用 scrape_url 方法。它接收URL作为参数并返回爬取的数据字典。

url = 'https://example.com'  
scraped_data = app.scrape_url(url)

从URL中提取结构化数据

通过LLM提取，您可以轻松地从任何URL中提取结构化数据。我们支持Pydantic模型，使其更容易使用。以下是使用方法：

class ArticleSchema(BaseModel):  title: str  points: int   by: str  commentsURL: str  class TopArticlesSchema(BaseModel):  top: List[ArticleSchema] = Field(..., max_items=5, description="Top 5  stories")  data = app.scrape_url('https://news.ycombinator.com', {  'extractorOptions': {  'extractionSchema': TopArticlesSchema.model_json_schema(),  'mode': 'llm-extraction'  },  'pageOptions':{  'onlyMainContent': True  }  
})  
print(data["llm_extraction"])

搜索查询

执行网络搜索，获取顶级结果，提取每个页面的数据，并返回它们的Markdown格式内容。

query = 'What is Mendable?'  
search_result = app.search(query)

使用Node SDK

安装

要安装Firecrawl Node SDK，可以使用npm：

npm install @mendable/firecrawl-js

使用方法

  1. 1. 从 firecrawl.dev 获取API密钥。

  2. 2. 将API密钥设置为环境变量 FIRECRAWL_API_KEY ，或将其作为参数传递给 FirecrawlApp 类。

爬取URL

要爬取单个URL并进行错误处理，请使用 scrapeUrl 方法。它接收URL作为参数并返回爬取的数据字典。

try {  const url = 'https://example.com';  const scrapedData = await app.scrapeUrl(url);  console.log(scrapedData);  
} catch (error) {  console.error(  'Error occurred while scraping:',  error.message  );  
}

爬取网站

要爬取网站并进行错误处理，请使用 crawlUrl 方法。它接收起始URL和可选参数作为参数。 params
参数允许您指定爬取任务的附加选项，例如最大爬取页面数、允许的域和输出格式。

const crawlUrl = 'https://example.com';  
const params = {  crawlerOptions: {  excludes: ['blog/'],  includes: [], // 留空以包含所有页面  limit: 1000,  },  pageOptions: {  onlyMainContent: true  }  
};  
const waitUntilDone = true;  
const timeout = 5;  
const crawlResult = await app.crawlUrl(  crawlUrl,  params,  waitUntilDone,  timeout  
);

检查爬取状态

要检查爬取任务的状态并进行错误处理，请使用 checkCrawlStatus 方法。它接收作业ID作为参数并返回爬取任务的当前状态。

const status = await app.checkCrawlStatus(jobId);  
console.log(status);

从URL中提取结构化数据

通过LLM提取，您可以轻松地从任何URL中提取结构化数据。我们支持zod模式，使其更容易使用。以下是使用方法：

import FirecrawlApp from "@mendable/firecrawl-js";  
import { z } from "zod";  const app = new FirecrawlApp({  apiKey: "fc-YOUR_API_KEY",  
});  // 定义要提取内容的模式  
const schema = z.object({  top: z  .array(  z.object({  title: z.string(),  points: z.number(),  by: z.string(),  commentsURL: z.string(),  })  )  .length(5)  .describe("Hacker News上的前5个故事"),  
});  const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {  extractorOptions: { extractionSchema: schema },  
});  console.log(scrapeResult.data["llm_extraction"]);

搜索查询

通过 search 方法，您可以在搜索引擎中搜索查询并获取顶级结果及每个结果的页面内容。该方法接收查询作为参数并返回搜索结果。

const query = 'what is mendable?';  
const searchResults = await app.search(query, {  pageOptions: {  fetchPageContent: true // 获取每个搜索结果的页面内容  }  
});

参考链接：
[1]https://github.com/mendableai/firecrawl

知音难求，自我修炼亦艰

抓住前沿技术的机遇，与我们一起成为创新的超级个体

（把握AIGC时代的个人力量）

**
**

— 完 —

** 点这里👇关注我，记得标星哦～ **

**
**

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

预览时标签不可点

微信扫一扫
关注该公众号

轻触阅读原文

AI进修生

收藏

这篇关于将网站转变为大模型训练数据的神器：自动化爬虫工具FireCrawl，两周斩获4K Star！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1037396。

相关文章

C#监听txt文档获取新数据方式

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +
阅读更多...
java如何实现高并发场景下三级缓存的数据一致性

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务，主要功能包括：1.缓存结构：本地缓存：使
阅读更多...
在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分
阅读更多...
Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

《SpringBoot从main方法到内嵌Tomcat的全过程(自动化流程)》SpringBoot启动始于main方法,创建SpringApplication实例,初始化上下文,准备环境,刷新容器并... 目录1. 入口：main方法2. SpringApplication初始化2.1 构造阶段3. 运行阶
阅读更多...
C#解析JSON数据全攻略指南

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课？二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速
阅读更多...
基于Python实现简易视频剪辑工具

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高
阅读更多...
基于Python开发一个图像水印批量添加工具

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计（扩展版本）二、核心算法深入解析2.1 自
阅读更多...
从入门到进阶讲解Python自动化Playwright实战指南

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习
阅读更多...
Python自动化批量重命名与整理文件系统

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处
阅读更多...
MyBatis-Plus通用中等、大量数据分批查询和处理方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2