ID:20488
叶洁 数据工程师 13年经验
2024-12-17
个人介绍:1. 熟悉使⽤ Java、Scala 编程语⾔; 2. 熟悉 JVM,了解基本的 JVM 调优;、 3. 熟悉常⽤的大数据工具; 4. 熟悉常⻅的数据结构和算法; 5. 熟悉 Spark、Flink、Hbase、Kafka 等⼤数据组件; 6. 阅读过 Spark 核⼼源码,熟悉 Spark 任务提交、存储系统、Spark SQL 等组件的流程与实现。 7. 阅读过 Flink 核⼼源码,熟悉 Flink 任务提交、Graph ⽣成过程、State 管理等组件的流程与实现。
项目经验:1. ⼈群标签开发 项⽬描述:标签管理是 DMP 平台的主要功能之⼀,通过对上游数据基于 Spark、Flink 进⾏加⼯,⽣成⼈群标签 供⼴告主进⾏圈选,⽤于⼴告定向。 责任描述: 1. 负责 OTT 设备所有标签开发以及⼿机设备的⽤户⾏为标签开发,使⽤ Spark 处理上游⽤户画像宽表,每⽇定 时调度,产出离线标签,封装成 Bitmap,存⼊ HBase 中; 2. 使⽤ Flink 处理⽤户⾏为打点⽇志,产出实时标签,写⼊ Redis 中,供⼴告引擎在线读取; 主要成果: 产出基础属性、设备属性、⽤户⾏为、兴趣娱乐、消费能⼒ 5 类共 25 个标签。 2. 离线任务优化 项⽬描述: 针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。 责任描述: 1. 独⽴完成服务的架构设计、开发 2. 以 DB 为队列,通过建⽴⼀个调度表存放任务信息,通过接⼊⼀层 dispatcher 服务消费 DB 中的任务,以 Spark Cluster 的⽅式提交任务,并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试; 主要成果:⽬前已接⼊ 5 类 DMP 离线任务,⽇均任务 1500+,优化前平均等待时间 150 分钟+,优化后平均等 待时间 40 分钟+,缩短 110 分钟,效率提升近 2/3 算法实时特征 1. ⽤户 APP 实时使⽤特征 项⽬描述:对⽤户使⽤ APP 的下载、安装、更新、打开等实时事件进⾏处理,⽣成实时序列、统计量特征,写⼊ 特征管理平台,供算法团队使⽤。 责任描述: 通过消费上游设备事件埋点⽇志,处理⽤户⾏为⽇志,利⽤ Flink 的 ProcessFunction + Timer 实现每分钟更 新⽤户过去⼀⼩时的实时时间,⽣成不同维度的特征序列写⼊特征管理平台。 主要成果:处理上游 5W 条/S ⽇志信息,向下游输出 100W 条/S 特征,产出各种维度组合特征 60 个
技      能: Java  
¥600 / 8小时
立即预约
ID:20593
郑玉华 资深java开发 13年经验
2024-12-15
个人介绍:5年以上java web互联网开发经验,4人以上团队管理经验 熟悉Web开发、缓存、分布式、消息中间件等技术 熟练掌握java语言及JDK类库,熟悉JVM,理解IO,多线程,集合等知识 熟悉掌握javaEE相关的主流开源框架,如Spring/Mybatis/SpringMVC/Hibernate/ Spring batch/Spring Security/activiti工作流引擎等 熟练Mysql/Oracle/Pgsql,有良好的数据库设计能力和编写能力。Sql优化有一定的经验 熟悉分布式架构和应用,分布式、缓存、消息等机制,熟悉redis/memcached缓存技术,熟悉RabbitMQ/Kafka消息队列中间件。 熟悉spring boot/SpringCloud/Dubbo架构开发,具有分布式项目经验。 熟悉TCP/IP通讯协议,熟练掌握netty开发框架,具有TCP/IP网络编程经验。 熟悉mongoDB、ElasticSearch中间件 了解docker容器技术,了解kubernetes(k8s) 熟练常用的项目构建/版本管理/项目开发工具,如svn、git/gitlab、 熟悉Git原型与操作,掌握GitFlow工作流程 熟悉DevOps体系,熟悉CI/CD相关等研发流程工具平台(如Jenkins、choerodon等) 熟悉Linux/Windows操作系统,熟悉linux常用命令 对多线程、高并发、高可用、微服务等架构有相关了解 具有优秀的代码质量,对代码有认识,理解设计模式,有良好的编程习惯、表达、沟通能力
项目经验:OA办公管理系统 项目描述: 项目架构Spring boot、Mybatis、Mysql、docker、gitlab、activi7、minio、redis、单点登录等,该项目主要是对企业业务复杂度的不断增加,需要通过规范业务流程来实现统一管理,从而提高工作效率、降低成本、优化业务处理流程,目前已上线且使用中,采用Docker+GitLab-CI持续集成。项目由流程管理模板、系统管理模块、业务流程模块三部分组成。系统管理提供各种基础服务,如用户管理、角色管理、菜单管理、部门管理、岗位管理等;日志管理和系统监控模块用于监控系统的运行状态和日志记录。业务流程模块提供各种业务服务,包括业务操作流程、合同评审流程、资金支付流程和相关业务服务数据库等组件。流程管理可以根据不同业务的需求定制与管理流程,满足各类办理人员办理业务的需要和管理人员对流程的配置和管理的需求,通过信息化手段提高业务办理水平和业务办理效率,同时也可适应综合业务变更对业务流程方面变动的影响。 项目管理平台 项目描述: 项目架构Spring boot、spring cloud、Redis、Mysql、Choerodon、docker、gitlab、Mybatis、Netty、ElasticSearch,该项目主要是对项目进行管理,目前已上线小范围使用中,采用Choerodon+Docker+GitLab-CI持续集成。项目管理平台是华润置地智数部自研的基于智数部项目管理规范进行落地的能力平台,具有规范智能检索、规范在线查阅、交付件模板下载、项目程碑计划制定、项目关键评审、交付件管理、专项计划在线编辑、项目进度状态看板等功能。
技      能: Java  
¥1200 / 8小时
立即预约
立即预约
意见反馈