ID:21288
崔静 高级node.js工程师,高级python工程师 8年经验
2024-12-18
个人介绍:1、node.js / Express / Koa 框架,API接口输出,web页面搭建。 1.1、node-crawler 爬虫框架 2、python / Flask / Django 框架,API接口输出,web页面搭建。 2.1、scrapy 高并发爬虫框架 3、RestFul API 接口架构设计,提供高可用性的对外输出数据接口。
项目经验:hsb_spider工程 内容: ● Scrapy框架搭建起来的一个项目 用途: 1. 为内部估价系统提供外部数据分析做支撑。 2. 机型机况自动更新、各渠道价格对比。 3. 历史数据沉淀至BI系统,做大数据分析。 @requests 4. 提供实时的API接口,供估价系统做单个机型下某个机况的询价或机况更新。 ● 负责设计、开发、维护爬虫系统 ● 参与数据层建设,专注于垂直领域的数据爬取,进行多平台信息的抓取和分析 ● 设计爬虫反屏蔽规则,提升网页、APP抓取的效率和质量 ● 实现数据提取、清洗、结构化、入库、统计分析等需求 技术: 1. rabbitMQ做消息队列,将机况数据推送至队列里面,消费者消费数据获取价格。 2. 分布式消费者,在确保IP代理和账号安全访问次数满足的情况下提供消费速度。 3. Redis缓存,存储在定期时间内的机型价格数据,避免重复爬取,减少资源开销。 4. 针对爬虫的不稳定性情况,接入了钉钉预警处理。在捕获到不能正常采集到数据时, 第一时间自动通知到指定负责人。 5.进程多开: 在业务需要的情况下开启多进程处理量大的友商渠道爬取任务。 业绩: ● 搭建了Scrapy框架统一的管理业务中各个渠道的爬虫,统一管理,统一部署。 ● 摆脱了之前的临时脚本处理爬虫零散的状态。 估价系统 研发 内容:● 各个友商渠道的机型数据采集、分析、入库。 ● 机型机况组合,获取价格。 ● 友商价格对比。 ● 自有价格估价调整。 ● 价格预测。 ● 历史数据分析。 业绩:稳定提供外部友商数据给内部业务做数据支撑。 二、vantop_spider_x 1、搭建针对电商网站的大批量高并发爬虫架构。 2、经过验证的量有当日最高采集量5000W,采用的消息队列的方式实现分布式高并发采集架构。
技      能: Node.js  
¥1100 / 8小时
立即预约
ID:21578
刘楠 c#开发工程师 1年经验
2024-12-16
个人介绍:数据库:MSSQL,Oracle,Mysql 能熟练运用T-SQL,函数,储存过程,视图,任务,触发器等,会数据库的基本调优如添加索引,分表分库等 语言:c#,c 主要使用c#进行客户端开发,如WinForm,WPF,上位机,等 技能:Socket,OCR,Feret,Webapi,RS232,RS485,单片机(51系列),PLC(西门子) ,多线程,Vue等 经验:致力于MES系统开发5年,熟悉人料机法环各个管理控制环节及车间生产业务流程。 平台:金蝶云星空,能熟练使用BOS开发,表单插件/列表插件/操作服务插件等各种插件开发。
项目经验:1.富态宏精密工业有限公司MES系统 项目目的:实时呈现公司生产进度,目标达成状况,产品品质状况及人、料、机利用状况,及数据分析 项目技术:WebApi、多线程、异步进程、Socket、RS232、PLC等 职责:主要负责以下几个模块开发:人力管理:采集生产员工出勤,上线,脱岗,下线,任岗时长,技能水平等,使人力资源更优化;设备管理:实时显示设备嫁动率及各种设备良好,损坏,待保养等状态的数量,为优化嫁动率,调整设备调度,设备租赁,生产锁排等做数据支持;数据采集-环境监控:员工ESD检测及记录,温湿度检测及记录,预警,控制温控设备的停启,防止批量物料不良,光照强度,噪音,有害气体监测,保障员工健康安全;任务派工等模块等。 2.龙奔丰吉商贸有限责任公司ERP系统 项目目的:实现进存销管理,财务管理,人力资源管理,客户服务管理的信息一体化,降低管理成本,提升管理效能。 项目技术:WebApi、ECharts、OCR、FERET 职责:主要负责以下几个模块开发:出入库、盘点管理模块实现商品实时显示库存,追溯门店间、跨组织调拨,出入库,周期盘点等情形;销售管理:销量上报及利润预测,促销活动匹配赠品、优惠券,订单出货处理等;积分管理:会员在注册,购物,生日等多种情况下使用的积分赠送规则,及积分赠送兑换履历,会员消费排名及消费喜好分析。
技      能: .NET  
¥400 / 8小时
立即预约
立即预约
意见反馈