ID:20488
叶洁 数据工程师 13年经验
2025-06-04
个人介绍:1. 熟悉使⽤ Java、Scala 编程语⾔; 2. 熟悉 JVM,了解基本的 JVM 调优;、 3. 熟悉常⽤的大数据工具; 4. 熟悉常⻅的数据结构和算法; 5. 熟悉 Spark、Flink、Hbase、Kafka 等⼤数据组件; 6. 阅读过 Spark 核⼼源码,熟悉 Spark 任务提交、存储系统、Spark SQL 等组件的流程与实现。 7. 阅读过 Flink 核⼼源码,熟悉 Flink 任务提交、Graph ⽣成过程、State 管理等组件的流程与实现。
项目经验:1. ⼈群标签开发 项⽬描述:标签管理是 DMP 平台的主要功能之⼀,通过对上游数据基于 Spark、Flink 进⾏加⼯,⽣成⼈群标签 供⼴告主进⾏圈选,⽤于⼴告定向。 责任描述: 1. 负责 OTT 设备所有标签开发以及⼿机设备的⽤户⾏为标签开发,使⽤ Spark 处理上游⽤户画像宽表,每⽇定 时调度,产出离线标签,封装成 Bitmap,存⼊ HBase 中; 2. 使⽤ Flink 处理⽤户⾏为打点⽇志,产出实时标签,写⼊ Redis 中,供⼴告引擎在线读取; 主要成果: 产出基础属性、设备属性、⽤户⾏为、兴趣娱乐、消费能⼒ 5 类共 25 个标签。 2. 离线任务优化 项⽬描述: 针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。 责任描述: 1. 独⽴完成服务的架构设计、开发 2. 以 DB 为队列,通过建⽴⼀个调度表存放任务信息,通过接⼊⼀层 dispatcher 服务消费 DB 中的任务,以 Spark Cluster 的⽅式提交任务,并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试; 主要成果:⽬前已接⼊ 5 类 DMP 离线任务,⽇均任务 1500+,优化前平均等待时间 150 分钟+,优化后平均等 待时间 40 分钟+,缩短 110 分钟,效率提升近 2/3 算法实时特征 1. ⽤户 APP 实时使⽤特征 项⽬描述:对⽤户使⽤ APP 的下载、安装、更新、打开等实时事件进⾏处理,⽣成实时序列、统计量特征,写⼊ 特征管理平台,供算法团队使⽤。 责任描述: 通过消费上游设备事件埋点⽇志,处理⽤户⾏为⽇志,利⽤ Flink 的 ProcessFunction + Timer 实现每分钟更 新⽤户过去⼀⼩时的实时时间,⽣成不同维度的特征序列写⼊特征管理平台。 主要成果:处理上游 5W 条/S ⽇志信息,向下游输出 100W 条/S 特征,产出各种维度组合特征 60 个
技      能: Java  
¥600 / 8小时
立即预约
ID:21039
萧飞 java高级开发工程师 3年经验
2025-06-04
个人介绍:1.熟练掌握JAVA、JavaScript、JSP编程; 2.熟练掌握Eclipse或同类的开发工具; 3.具有良好的Java基础知识,熟悉Java常用数据结构; 4.熟悉主流开源框架,如:Spring、Spring Boot、SpringMVC、Spring Cloud、Mybatis/Hibernate; 5.熟悉主流分布式系统的开发框架: netty、dubbo; 6.熟悉RabbitMQ、ActiveMQ消息队列; 7.熟悉 MySQL、oracle 、人大金仓等数据,了解mysql数据库主从库配置,mycat分库分表。 8.了解常用NoSQL数据库Redis,了解websocket; 9.熟悉 maven、svn、git等版本控制器; 10.熟悉CSS/html、jquery、angularjs,可进行页面静态化和数据对接工作; 11.熟悉echarts、润乾、百度GIS等图表工具的使用; 12.熟悉安卓开发,可进行原生的安卓开发和H5嵌入式开发; 13.熟悉tomcat、金蝶等Web 应用服务器,熟悉单元测试相关技术。
项目经验:天天交易所是国内专业的数字资产交易平台,用户在该平台注册并实名认证后便可以在平台的财务中心模块管理自己的虚拟货币资产,在交易中心进行数字资产的交易买卖等操作,除具备交易系统所需要的所有基础功能外,还具备交易挖矿、分红、推荐人抽奖等功能。分布式项目SpringMVC+ MyBatis+netty+ RabbitMQ(数据库采用mysql+mycat)
技      能: Python  
¥600 / 8小时
立即预约
立即预约
意见反馈