ID:20880
姚秀云 Java工程师 14年经验
2025-02-16
个人介绍:本科学历,有5年以上Java后台开发工作经验,曾在项目中担任项目组长的角色。熟练使用spring微服务, ssm等主流开源框架,熟练使用jeesite开源框架进行快速开发,熟练运用Oracle,Mysql, postgresql等数据库开发,熟练使用Eclipse、idea、Tomcat、git/svn、Maven、powerdesigner、jekins等项目开发及管理工具,熟悉linux的基本操作,熟悉Nginx、dubbo、redis、kafka、sharding分库分表、apollo、docker、 elasticSearch, vue等技术。
项目经验:一,公司内部电商订单系统 公司的电商订单系统, 系统承载公司50%以上的订单量, 负责公司线上90%以上订单流入以及内部处理到发货. 主要功能有: 对接外部平台(如天猫京东店铺)同步订单, 自动审单, 售后单处理, 物流调度等. 主要服务公司内部的客服, 售后, 仓库人员等. 责任描述:在项目组中主要负责系统的日常运维, 版本迭代开发, 以及涉及电商订单系统的其他系统开发. 使用到的技术: 1, SpringCloud微服务、kafka、sharding分库分表、apollo、docker、 elasticSearch, vue等技术 二,南方电网(佛山)竣工结算系统 系统为竣工结算业务提供基于现场工程量核准的全流程管理和服务,项目结算资 料的 日常处理、操作协调和跟踪管理,实现业务基础数据统一管理,支持与其他业务的协同操作、公司内务管理等。主要功能有:后台管理、数据录入、结算流程、统计分析和总结 在项目中担任项目组长, 负责与客户沟通需求,定制项目的开发计划,以及其他组员的任务分 配,同时开发项目的主要模块:(1) 数据库设计;(2) 审核流程的实现;(3) 报表导出iText等; 涉及技术: activity工作流/shiro权限管理/iText/easyui /微信公众号开发等 三, 灯火健身(教练来了app) 该app是为健身服务的平台,app分为会员端和教练端,会员通过app可以加入查找健身房并在线预约教练上课,打赏教练等,教练可以通过app管理会员课程,评估会员健身成绩等。 主要负责后台的整体开发,包括数据库设计,对实现需求文档的功能,接口文档的编写等 涉及技术: 支付宝、微信app支付/融云消息推送/mysql触发器,乐观锁/quartz定时调度等
技      能: Python  
¥600 / 8小时
立即预约
ID:22373
晏梅 技术经理 12年经验
2025-02-15
个人介绍:源码开发 1.掌握python以及其相关模块,如pandas,numpy, tushare, pymysql,requests,selenium,json等,熟练掌握爬虫的相关程序、浏览器自动化程序的编写。 2.熟悉PHP,熟练使用wordpress、zblog等建站程序,熟悉SEO设置及相关关键字优化。 3.熟悉通达信指标、选股、提醒、加密等设置,可以定制开发专用指标,或者基于现有指标进行优化、修改等。 服务器环境部署 1.部署版本控制系统,包括:Git、SVN等。 2.部署WEB应用,包括:Nginx、Apache。 3.部署数据库应用,包括MySQL等建立数据库,查询修改以及管理数据库。 4.部署运行环境,包括PHP、Python。 5.网站HTTPS环境,包括证书申请、安装、配置、维护等。 6.其他环境,包括域名申请、域名智能解析、工信部备案、公安部备案等。 服务器维护 1.服务器安全维护,包括iptables、防火墙、日志分析、文件权限、用户权限、组权限、漏洞检测,漏洞修补、定期改密。 2.服务器稳定性维护,包括系统优化、垃圾清理、负载资源监控(网络、cpu、内存、磁盘)。 3.服务器可用性维护,包括负载均衡、动静分离。 网络技术 1.熟悉OA自动化办公系统、禅道项目管理系统、FTP局域网共享等。 2.域名智能解析、多线解析、cdn加速等。 3.熟悉使用阿里云、百度云、腾讯云、华为云等各大云平台使用方案。 其他 1.APP发布各大Android应用市场。 2.负责APP前期开发申请三方账号,包括推送、分享、支付等。 3.熟练使用开源网站,包括wordpress、discuz、ecshop、shopex、emlog、zblog、微擎等。 4.软件著作权申请,音乐著作权申请,icp电信增值业务许可证申请,百度百科上架,网站SEO等。
项目经验:有股票、电影、抢单、浏览器自动化程序的编写经验,有flask的开发经验,熟悉mysql等数据库,具体内容,客户要求保密,不能泄露
技      能: 其他  
¥500 / 8小时
立即预约
ID:20862
刘成 后端研发工程师 5年经验
2025-02-15
个人介绍:1.熟悉Java体系架构,熟练使用IDEA 开发工具,熟练Maven 工程开发方式,模块式开发方式。 2.精通数据库交互端框架熟悉mybatis ,mybatis-plus框架。 3.熟练使用springBoot、springcloud框架的开发方式。 4.熟练使用rabbitmq、kafka、rocketmq三大消息队列的使用。 5.熟悉JavaScript、python语言。 6.熟悉mysql ,oracle等关系型数据库。 7.熟悉elasticsearch、redis、mongo等非关系型数据库与搜索引擎的使用。 8.熟悉linux 的常用命令,简单的shell 脚本编写。 9.熟悉Streamsets大数据ETL工具、flink流式数据处理框架的使用。 10.熟悉外部攻击面相关的渗透知识,主要涉及信息收集、传统漏洞扫描器、web漏洞扫描器、web爬虫(js逆向)方向。
项目经验:一、项目名称:灵知·互联网情报监测预警中心(Ai·Radar) 项目时间:2022-06-至今 项目描述 灵知是一个SAAS系统,主要负责对租户基于关键词进行暴露面测绘,例如租户存在一个根域名关键词,会对此根域名进行子域名获取,使用DNS反查技术可获取到IP等信息,在根据IP信息进行主机资产探测,使用发包等方式获取开放端口信息,在根据开放端口信息进行Web资产探测,此探测原理大概为对域名和IP的开放端口进行应用层协议发包进行判断是否存在此Web资产,获取到Web资产后此时的IP、域名、Website的暴露面已经测绘完成,也可以获取到此三种暴露面的实体关联关系,关联后为关联暴露面信息查询。还会对关键词进行搜索引擎关键词查询,在根据关键句查询结果进行爬虫采集,爬虫采用JS逆向方式进行反爬破解,稳定性高,搜索引擎可以基于关键词获取到代码、文件、APP、公众号、供应链、人员组织、关联企业等暴露面信息。在根据暴露面信息进行攻击面测绘,攻击面分为四类,分别为:漏洞、不安全配置、高危端口、敏感信息。漏洞根据Website数据进行Web漏洞扫描可获取到漏洞相关信息,在根据漏洞扫描器获取到的漏洞与我们维护的漏洞库进行对比数据替换。所有的列表数据展示都为ES查询,所有的聚合统计等维度也为ES使用,效率极高。此项目分为,每个系统又为多个微服务组成,内部每个服务之间的调用都为OpenFeign调用。后台运营系统与采集服务系统使用RocketMq用于交互,采集到的数据会推送到Kafka中,使用Streamset大数据工具进行ETL清洗进行入库,在使用Streamsets进行监听mysql的binlog日志进行数据同步到ES中,实现了系统之间的解耦。 二、项目名称:公交云课堂 项目时间:2021-03-2021-11 项目描述 1.此项目是一个公司内部教育系统,现在已经上线,基础数据人员存在18万人,组织存在3000多个,是一个大型公司的内部系统,主要业务有课程,考试,直播,证书,面授等。后台管理员可以在后台推送课程给人员,人员通过app端进入系统并学习课程。学习课程之后,后台管理员会创建题库,导入试题,创建试卷,创建考试,推送考试到人员,人员通过app端进入系统进行考试。考试完成会实时判出分数发已证书。使用的阿里巴巴的微服务架构,使用的框架为bladex企业级框架,bladex框架是对springcloud alibaba的在一层封装,多了很多好用的组件和注解,可以很简单的写出低耦合高实现的代码。我主要负责项目的架构层,写的为租户管理,组织管理,岗位管理,人员管理,用户组管理,管理员管理,角色管理,系统管理,日志管理。主要是写的基础层,要研究一些bladex框架的封装代码并二次开发bladex框架。各个业务的数据权限都会从feign接口给出,人员数据和组织数据都会放入redis缓存中,各个业务在获取的时候可以直接从缓存中获取。 三、项目名称:智能建造 项目时间:2021-07-2021-11 项目描述 1.此项目是物联网项目,其中包括各个硬件设备的推送数据对接,有塔吊黑盒子,考勤闸机,环境监测,ai百度盒子,ai摄像头,普通摄像头,升降机,卸料平台等硬件对接。其中我主要负责塔吊黑盒子,考勤闸机,环境监测,ai百度盒子对接。此项目我后端的第一负责人。项目的框架使用的是bladex框架,之前的公交云课堂人员,系统,日志,角色权限等基础服务迭代到此项目,此项目的框架为二次开发后的bladex框架。与设备对接部分主要逻辑为,平台方根据设备方的接口文档写出对应的接口,设备方进行调用,平台方根据设备定时推送的数据进行保存并关联自身的业务,因为数据量较大,我把这些推送的数据加入到了elasticsearch7中,查询速度快了多倍,秒级响应了。Ai黑盒子的对接思路与其他的设备不同,ai黑盒子需要根据设备方的接口文档去调用他们的接口进行业务关联。
技      能: Python  
¥900 / 8小时
立即预约
ID:22666
高雪 大数据开发工程师 5年经验
2025-02-15
个人介绍:1、 深入理解MapReduce的Shuffle机制,理解HDFS的读写流程,深入理解Yarn的提交流程,理解Hadoop的调度器,掌握Hadoop集群的调优 2、 熟练掌握Flink的DataStream编程,理解Flink的状态,了解checkpoint机制,熟悉Flink框架,了解Table api和sql编程 3、熟悉掌握Hive的架构,精通编写HQL,掌握Hive的相关调优手段 4、熟悉Spark框架,深入理解Spark on Yarn的提交流程,掌握Spark的两种核心Shuffle的工作流程,理解Spark中的血缘概念,理解Spark中的缓存机制和Checkpoint机制 5、熟悉掌握Kafka的架构,理解ISR和分区分配策略,熟悉Kafka的事务,熟悉使用Kafka的API,掌握Kafka的参数调优 6、熟悉掌握Flume框架对日志进行采集,可以自定义Flume拦截器,理解Put和Take事务,掌握Flume的优化 7、熟悉Zookeeper的框架,了解选举机制 8、理解Canal的工作原理,搭建Canal来实时监控MySql中的数据 9、熟悉海豚调度器的使用 10、熟悉使用Linux的常用命令 11、熟悉Redis的工作原理及应用,了解Redis持久化、穿透以及雪崩
项目经验:项目名称:网络舆情态势感知平台 项目技术:Kafka,Flink,Redis,ES,DS,HDFS,Yarn,Flume 项目概述:在国产V10麒麟系统中搭建CDH6.3.2集群,实现对每天爬取的舆情数据进行分层处理,清洗好的数据发送到ES集群,供前后端人员使用 项目职责: 1、 负责CDH集群的搭建和维护 2、 负责舆情实时数仓的搭建 3、 负责Kafka集群中的数据清洗和入库 4、 负责数据质量监控体系的搭建和维护 技术要点: 1、利用Flink算子对数据进行清洗过滤打标,将处理好的数据写入ES集群 2、利用Redis做数据去重以及获取数据中的信源信息和用户信息,周期性的导入ES集群供爬虫人员使用 3、利用SimHash算法对长文本数据进行局部敏感哈希,通过计算汉明距离来判断相似性 4、利用Flume组件将爬虫爬取到的原始数据从Kafka中导入HDFS,作为数据备份 5、利用Kafka Admin API实现对消费者组的监控,并对接钉钉,周期性显示消费积压信息 6、加入Flink_metrics,实现对消费过程中数据流向监控,利用Promethues+Grafana对metrics数据进行大屏显示 7、利用海豚调度器管理和调度Flink程序 项目名称:智慧大屏离线数仓分析系统 项目技术:HDFS,MySql,Sqoop,Spark,Hive 项目概述:搭建数据存储平台,实现用户行为和业务数据仓库的分层搭建,对数仓的数据进行指标分析,生成报表给PM和其他人员 项目职责 1、负责用户行为数仓的分层搭建 2、负责业务数据数仓的分层搭建 3、针对数据仓库中的数据,分析各种指标,例如:统计大屏的GDPR同意/不同意比例,统计设备的日活与留存情况,统计每天的广告的播放量,统计大屏搭载的浏览器使用时长以及使用的具体时间等等 技术要点 1、 数据仓库分层之ODS,DWD层:开启动态分区,采用Snappy进行压缩,存储格式为orc 2、 自定义UDF函数对公共字段进行解析,自定义UDTF函数对事件字段进行解析 3、 大表Join小表时,采用广播小表的方式来减少Shuffle的数量,减少数据倾斜,提高运算速度 4、 在RDD中配置Kryo序列化缓存(内存紧张的时候),减少网络传输量 5、 利用Coalesce函数来减少分区数,防止产生过多小文件 6、 使用SparkSQL的窗口函数来实现热门广告/大屏的TopN及交易总额 7、 当计算数据量特别大的指标,机器的内存不够,可采用Hive来进行计算(比如计算每种种大屏的全年销售情况的指标) 8、 HDFS优化:小文件的处理,编辑日志与镜像日志的存储路径尽量分开,提高服务器节点上YARN可使用的物理内存总量
技      能: 其他  
¥700 / 8小时
立即预约
立即预约
意见反馈