郭海燕
高级java工程师
1年经验
2024-04-20
个人介绍:1. 拥有10年Java开发经验,对Java语言有深入的理解和应用能力。
2. 熟练掌握Spring, SpringBoot, MyBatis, SpringMVC等主流Java框架,能够快速构建和优化项目结构。
3. 熟悉SpringCloud和Dubbo微服务框架技术,具备微服务架构设计和开发经验。
4. 熟练使用MySQL等主流数据库,掌握SQL编写,对索引、事务、隔离级别等数据库原理有深入理解。
5. 熟悉Redis,了解其持久化方式、数据同步机制,能够根据项目需求进行合理的缓存设计。
6. 具备近1年的数据团队工作经验,对数据团队的工作流程和技能有一定了解,能够与数据团队高效协作。
7. 带领过4-7人团队,具备较强的沟通协调能力,能够独立推进项目工作,具备团队管理经验。
8. 对互联网金融行业技术发展有深刻理解,能够根据业务需求进行技术选型和架构选型。
9.了解前端技术node,html,css,js等技术。
项目经验:数据录入系统
该项目是平时自己研发的小工具。经过优化后在公司落地使用,解决了公司线下维护的台账 excel 数据 入库到 mysql 数据库中,
用以数据指标加工,数据服务 api 设计,以及数据的清洗等难题。
主要功能:密钥管理,文件录入,模板管理。
参与工作:产品设计和开发,工作进度把控,迭代优化,文档编写,后续维护等。
技术:springboot,minio,mysql,jdbc ,百度 amis,nginx 反向代理等技术。
操作步骤和优点
1、 根据系统提供的模板整理线下数据到 excel中,并在系统中根据要求新建模板维护跟 excel 表列数一样的模板字段,并生成建
表 sql。
2、 提交到 sql 审核平台审核。(目的是为了安全留痕)
3、 建表完成后,即可进行模板对应 excel 的导入。不用针对不同 excel 做单独解析。节省开发时间,提升效率。
—————————————————————————————————————————————————
数据大屏项目
角色:项目经理+java后端研发
一个数据大屏的编辑工具。主要包括用户管理,权限管理,数据源管理,数据集管理,报表管理,大屏报表,表格报表,报表分
享,系统管理等功能。
用户管理,权限管理:做到了功能菜单按钮级别。
数据源管理:支持配置 mysql,SQL server,oracle,presto,http,jdbc,elasticsearch_sql 等多种数据源,并支持联通性测
试。
数据集管理:支持两种方式。
1、sql 方式:选择系统内配置的可用数据源,写 sql 进行查询相关数据,并有数据转换功能;
2、http 接口请求方式:配置好相关的 http 请求路径和请求头以及相关入参,获取接口返回的数据,并支持数据转换功能。上述
的数据转换功能可以写 java 脚本,js 脚本和字点翻译。
报表管理:支持两种类型的报表。
1、大屏报表,即可以分享出一个不用登录且存在有效期的 http 连接,客户可以打开这个连接后全屏展示到已经设计好的屏幕上。
2、表格报表:即 excel 报表,可以用于数据报表的生成,支持导出功能。
报表分享:展示的是已经分享出来的大屏报表,可以在这里进行查看 url 连接、分享码、以及控制有效期。
—————————————————————————————————————————————————
轻量化ETL平台
背景:数据中台产品群产品结构复杂,数据中台的部署需要依托于大数据平台的底座,这决定了市场上存在很多公司对于数据中台
的需求度不高,因此需考虑一种无需依托大数据平台的轻量化的数据开发工具。
轻量化 ETL 平台:通过拖拉拽的方式配置工作流的方式,实现了对数据进行抽取、加工、回流等工作。
根据开源的 kestra 的0.5.3版本进行二次开发的,支持可插拔的插件方式部署。相关技术栈:micronaut、gradle、mysql、jdbc
数据录入系统 项目经理+后端研发 2021.07-2021.08
海航差旅销售平台 分析,设计,开发,维护 2016.04-2016.07
等。
主要功能如下:
任务流管理,任务执行记录,任务调度,执行日志,任务编排,数据源管理,数据服务 api ,文件导入等。
任务流管理:是通过拖拉拽的方式实现的,每个工作流节点都可以进行任务编排填写相关配置,编排好的工作流节点 通过连线的
方式指向下一个工作流节点,依次类推设计好工作流。同时可以通过 cron 表达式配置该任务流执行的时间,或者配置为
webhook 方式请求的 api 接口等。
任务执行记录:编排好的工作流可以根据 cron 表达式的时间执行,也可以根据外部接口调用方式执行,
每次执行都会有相关执行记录,进度条,状态,执行日志以及 每个工作流节点的输出内容。
数据源管理:可以在这里管理数据源,目前仅支持 mysql,oracle 数据源配置,并同步相关数据源中的 schema ,数据库,数据
表和表字段等元信息。方便用于工作流的数据源节点进行选择。
数据服务 api :目前仅实现了 get 请求的功能,通过配置请求和相应参数,写查询 sql ,通过 jdbc 方式进行查询远程数据。
技 能:
Python