软件星级:4分
标签: 数据采集
Trico爬虫云原生是一款免费的云数据采集系统,它最大的好处就是不用部署,你只需要编辑好爬取的片段,然后将其上传到Trico,剩下的事情就交给它完成,自动帮助你部署片段代码。
爬虫云原生,trico爬虫云原生是一款无需发布部署,强大的集群支持和多用户协作管理平台的支撑,可灵活调度任务,顺利爬取海量数据的一套云数据采集平台。
编写自定义的爬取片段,上传至Trico,Trico将会帮助你部署你的片段代码,并且以最优的调度原则将任务投递到Trico的爬虫集群。
剩下的你只需要等待Trico回调你的服务,给想要的结果。当然你也可以选择将数据投递到你的邮箱,更高效简单的查看简单的数据。
无需发布部署
强大的集群支持
Trico爬虫语言处理复杂逻辑的数据结
在将segment(yml语法的代码片段)提交给Trico部署前,您可以选择在本地搭建Trico服务来验证和调试你的segment。
1、下载/安装Docker
先下载docker到您使用的机器中(Mac版本/Windows版本), 并安装它(Mac版本/Windows版本)。
2、拉取镜像并启动容器
我们已经将trico运行所需要的环境打入镜像中,您只需要通过以下代码拉取镜像,并通过docker运行。
sudo docker pull tricooffical/kenerl sudo docker run -d -p 8080:8080 -p 9010:9010 -it tricooffical/kenerl
3、使用编辑器
打开编辑器,左下角的kenerl变为绿色表示连接成功,输入对应的脚本点击RUN按钮运行