标签： 网络爬虫

后羿采集器Mac版是一款功能强大的网络爬虫软件，你只需输入网址，它就会智能采集内容。你可以通过它采集网页上的图片、文章或者表格等，允许将采集的数据以不同的格式导出。

软件介绍

后羿采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件。

该软件功能强大，操作简单，是为广大无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。

后羿采集器不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。

通过使用后羿采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。

软件特征

1、智能识别数据，小白神器

智能模式：基于人工智能算法，只需输入网址就能智能识别列表数据、表格数据和分页按钮，不需要配置任何采集规则，一键采集。

自动识别：列表、表格、链接、图片、价格等

2、可视化点击，简单上手

流程图模式：只需根据软件提示在页面中进行点击操作，完全符合人为浏览网页的思维方式，简单几步即可生成复杂的采集规则，结合智能识别算法，任何网页的数据都能轻松采集。

可模拟操作： 输入文本、点击、移动鼠标、下拉框、滚动页面、等待加载、循环操作和判断条件等。

3、支持多种数据导出方式

采集结果可以导出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接发布到数据库(MySQL、MongoDB、SQL Server、PostgreSQL)供您使用。

4、功能强大，提供企业级服务

后羿采集器提供丰富的采集功能，无论是采集稳定性或是采集效率，都能够满足个人、团队和企业级采集需求。

丰富的功能： 定时采集，自动导出，文件下载，加速引擎，按组启动和导出，Webhook，RESTful API，智能识别SKU和电商大图等。

5、云端账号，方便快捷

创建后羿采集器账号并登录，您的所有采集任务都将自动加密保存到后羿的云端服务器，无需担心采集任务丢失，而且非常安全，只有您自己在本地登录客户端后才能查看。后羿采集器对账号没有终端绑定限制，您切换终端时采集任务也会同步更新，任务管理方便快捷。

6、全平台支持，无缝切换

同时支持Windows、Mac和Linux全操作系统的采集软件，各平台版本完全相同，无缝切换。

后羿采集器容易出现的问题

1、为什么采集数据提前停止了?

如果您遇到采集提前停止的问题，请按照以下步骤自检一下：

第一步：请确认您在浏览器中能看见多少内容

有的时候搜索显示数量和你最终能看得见的数量不是一致的，请确认您能看见多少条数据，然后再确定采集是提前停止还是正常停止。

第二步：采集结果数量和在浏览器中看到的数量不一致

在采集过程中，如果遇到这个问题，有以下两种可能性：

第一种可能性是采集速度过快而网页加载时间过慢，从而导致无法采集到网页中的数据。

遇到这种情况时请增加请求等待时间，等待时间长一点之后，就有足够的时间留给网页加载内容。

请求等待时间的设置在 启动设置—>智能策略中，如下图所示：

第二种可能性是你遇到了其他问题

我们可以通过在运行过程中，点击运行界面中的“查看网页”来观察一下当前的网页内容是否正常，是否无法正常显示，是否出现异常提示等。

如果出现了上述情况，我们可以通过降低采集速度、切换代理IP、手动打码等方式，至于哪种方式可以起作用，这个需要测试才知道，不同的网站问题不同，没有一个统一的解决方案。

2、为什么采集字段不全?

字段不全一般有以下两种情况：

第一种，由于列表元素的结构不同，有些元素中有的字段其他元素中没有，这是正常的现象，请大家先在网页中确认对应元素中是否存在你想要的字段。

第二种，页面结构发生了变化，这种通常会发生在同一个搜索结果中包含多种页面结构的场景，例如搜索引擎的搜索结果(包含很多种网站)。

3、为什么采集数据重复?

首先请确认你已经看过视频教程，你的采集任务没有页面类型的设置问题，即错把单页类型设置为列表类型，或是你错误地理解了循环采集的使用方法。

然后请确定你是多次反复采集数据出现重复还是某一次单独采集出现了重复数据。

在未修改采集任务时，每一次运行采集任务都是从头开始采集，所以每一次采集的数据都是重复的，这是正常的。

如果是在单次采集时出现了重复数据，请确认是否满足以下情况：

第一种：重复数据均为最后一页的数据，这种有可能是翻到最后一页未能停止翻页，请尝试修改采集范围，然后看是否还会出现重复数据的情况。

第二种：重复数据为中间页的数据，这种情况无法直接得出结论。

更新内容

1. 优化兼容ng-click的按钮点击

2. 优化启动任务时可设置逐行滚动的最小滚动距离

3. 修复部分显示问题