1、node.js / Express / Koa 框架，API接口输出，web页面搭建。 1.1、node-crawler 爬虫框架 2、python / Flask / Django 框架，API接口输出，web页面搭建。 2.1、scrapy 高并发爬虫框架 3、RestFul API 接口架构设计，提供高可用性的对外输出数据接口。
ID：21288
立即预约
立即收藏
沟通需求
微信扫码，联系客服沟通需求
个人介绍
项目经验
hsb_spider工程
内容：
● Scrapy框架搭建起来的一个项目
用途:
1. 为内部估价系统提供外部数据分析做支撑。
2. 机型机况自动更新、各渠道价格对比。
3. 历史数据沉淀至BI系统，做大数据分析。
@requests
4. 提供实时的API接口，供估价系统做单个机型下某个机况的询价或机况更新。
● 负责设计、开发、维护爬虫系统
● 参与数据层建设，专注于垂直领域的数据爬取，进行多平台信息的抓取和分析
● 设计爬虫反屏蔽规则，提升网页、APP抓取的效率和质量
● 实现数据提取、清洗、结构化、入库、统计分析等需求
技术:
1. rabbitMQ做消息队列，将机况数据推送至队列里面，消费者消费数据获取价格。
2. 分布式消费者，在确保IP代理和账号安全访问次数满足的情况下提供消费速度。
3. Redis缓存，存储在定期时间内的机型价格数据，避免重复爬取，减少资源开销。
4. 针对爬虫的不稳定性情况，接入了钉钉预警处理。在捕获到不能正常采集到数据时，
第一时间自动通知到指定负责人。
5.进程多开: 在业务需要的情况下开启多进程处理量大的友商渠道爬取任务。
业绩：
● 搭建了Scrapy框架统一的管理业务中各个渠道的爬虫，统一管理，统一部署。
● 摆脱了之前的临时脚本处理爬虫零散的状态。
估价系统
研发
内容：● 各个友商渠道的机型数据采集、分析、入库。
● 机型机况组合，获取价格。
● 友商价格对比。
● 自有价格估价调整。
● 价格预测。
● 历史数据分析。
业绩：稳定提供外部友商数据给内部业务做数据支撑。
二、vantop_spider_x
1、搭建针对电商网站的大批量高并发爬虫架构。
2、经过验证的量有当日最高采集量5000W，采用的消息队列的方式实现分布式高并发采集架构。接单发单客服
添加客服微信，接单发单快人一步！
相关程序员推荐
活干得漂亮 高级软件工程师 10年经验
十年工作经验，擅长PHP，Python，Golang，Vue，React，Mysql，Redis等多种技术栈。
jackYang 高级开发工程师 13年经验
本人热爱⽣活，崇尚技术，忠于学习，敢于分享，相信技术改变⼈们的⽣活；
⼯作认真负责，认真对待每⼀件事情，每⼀个技术点，反馈及时，能做到尽早暴露⻛险以及问题，热爱解决遇到的⼀切问题；
具有钻研精神，并能与同事或者同⾏及时的讨论解决遇到的问题，有较好的团队沟通能⼒
热爱学习各种感兴趣的技术，⼤部分都是⼯作相关的，怎么提升个⼈效率，怎么提升团队效率，怎么解 决⼀些沟通问题等；
喜欢分享，有好玩的技术，优秀的⽅案或者好⽤的⼯具会分享推荐给别⼈，我觉得我们要承认没有最好，只有更好；
喜欢刨根问底,把事情做到极致！
对年轻人而言、没有比认认真真去“犯错”更酷更有意义的事情！
本人有以下技术栈的技能：
精通Objective-C语⾔，熟练掌握 iOS 平台各框架及 API，熟练掌握 iOS 内存管理机制；
精通 Swift 语⾔及其特性以及SDK等；
精通 dart 语言，熟练 flutter 开发，并进⾏跨平台 APP 编写；
精通 iOS App 混编开发，熟悉使用 Hybrid H5 JSBridge混编开发 App,熟悉 Weex 框架；
熟练掌握 Python、Java 开发语言，熟悉 Flask 和 Spring 框架编写后端程序；
熟练掌握 Nginx 转发、反向代理技术；
熟悉各类后端中间件，MQTT 消息中间件等；
熟练操作使用 Linux 操作系统；
熟悉使用 Vue 框架开发 web 应用；
熟悉 ijkplayer AVFoundation 框架，并应⽤实现⾃⼰的 App 功能开发；
熟练掌握 MVC 以及 MVVM 的开发设计模式；
熟悉 Reactive Extensions 框架处理异步数据流的问题;
熟练的应⽤AFNetworking、SDWebImage、Masonry、SnapKit 等开源项⽬;
熟练使⽤代码写UI,Autolayout,能熟练的使⽤Storyboard，xib;
熟练的使⽤Instruments下的性能调试⼯具进⾏性能优化;
熟悉⽹络数据(JSON/XML)的请求以及解析并转化模型，Charles⽹络数据抓包分析;
熟悉cocoapods依赖库⼯具;
熟悉Git、SVN等代码管理⼯具，崇尚使⽤Git;
熟悉友盟或者腾讯Bugly的Crash错误分析、fabric、Crash等;
熟悉存储技术，FMDB、 Core Data、NSUserDefaults、Realm、SQLite等;
熟悉使⽤ Mysql 、 PostgreSQL、 mongDB 、Redis 数据库;
熟悉后台接⼝规范以及各种调试⼯具。
本人爱好技术、服务器、硬件、外设等 ,兴趣爱好⽐较⼴泛 .（主要利⽤业余时间折腾⾃⼰感兴趣的事
情）
搭建过 VPN，利⽤搬瓦⼯等服务器平台并集成相对较成熟的 VPN 插件在服务器上搭建了⾃⼰的VPN 主 机。
利⽤树莓派安装 centos 服务器，并且搭建相应的 KVM 虚拟机环境。
搭建过 GitLab 和 SVN 的项⽬版本管理的开源平台，⽅便⾃⼰的⼯作项⽬管理。
学习过同事编写的 python ⼈脸识别简单系统。
学习依靠 docker 搭建⾃动化部署服务的技术。
研究各⼤⼚商的⼯单、客服系统等服务技术。
了解产品经理对产品的设计分析、以及相关的会议分享。
热爱演讲和分享，定期的在公司做技术分享，能帮助⾃⼰复习消化知识，也能在分享过程中与同事⼀起 探讨⾃⼰遇到的问题，包括同事提出来的有错误的地⽅。
剁椒鱼头 5年经验
● 5年 WEB 前端开发经验，熟练掌握 JS 开发技术、面向对象功能开发以及组件式开发；
● 熟练掌握 Vue2/3、React-Hooks/React-Class、Electron、jquery 、uni-app 、微信小程序 等前端开发框架；
● 熟练掌握 Flex/Grid 布局，less/sass 预处理器；
● 熟悉 nodeJs，express，mysql/mongoDb 数据库 ；
● 熟悉基础 Linux 命令，熟悉 Docker ，可以写一些简单的一键部署项目脚本；
● 了解 three.js
大沅 全栈开发 2年经验
技术栈：HTML，CSS，JS，Vue，node.js，mongodb，uniapp
