ID:22732
杨平 数据库工程师 12年经验
2025-03-29
个人介绍: 能够熟练使用HTML+CSS/JavaScript等前端开发工具;  熟悉Linux的常规操作,能使用Linux系统进行相关项目的开发和编写shell脚本;  熟悉python语言,能够使用numpy,pandas,等数据分析模块,能结合scrapy框架和bs4模块,flask模块,实现对网页上数据的抓取和提取工作,制作爬虫;  了解pytorch,transform等深度学习框架  掌握Hbase存储原理和读写机制,掌握常用的数据存储工具,Mysql,Redis,mongodb;  熟悉Hadoop结构和其工作原理,掌握HDFS存储机制,编写MapReduce程序,掌握Yarn资源分配策略;  掌握Hive的架构,熟练使用sql语句,对数据进行ETL操作,数仓建模,数据分析,以及hive的相关调优;  能运用Sqoop进行数据的采集和传输;
项目经验:项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3.使用SparkCore/SparkSql对数据进行清洗,最后将数据存到Hdfs,映射的到hive表; 3. 创建ODS、MI、DWD、WT、DIM、TMP层; 5. 将数据进行图表展示,发送给运营、产品、测试、管理层。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22608
潘梅 其他 15年经验
2025-03-28
个人介绍:熟悉多线程多进程分布式等,对爬虫任务调度有很好的解决办法采集数据频率高,数据量大,范围广,能做深度抓取。爬虫遇到性能瓶颈,如何分析瓶颈并解决。熟悉并能解决常见的反爬措施,比如常见的图片验证,滑动验证,拼图,短信验证等。常见的封IP,封header等。比如给爬虫投毒喂假数据如何识别。熟悉数据结构和算法,拿到数据可以进行一些基础的清洗,比如如何在内存容量有限的情况下清洗亿万数据;比如如何从提取目标数据等。甚至可以做一些舆情分析,数据分析等。熟悉常用的数据库和nosql数据库,对数据存储有一定见解,如何设计数据库和表结构等,数据库优化等。
项目经验:熟悉多线程多进程分布式等,对爬虫任务调度有很好的解决办法采集数据频率高,数据量大,范围广,能做深度抓取。爬虫遇到性能瓶颈,如何分析瓶颈并解决。熟悉并能解决常见的反爬措施,比如常见的图片验证,滑动验证,拼图,短信验证等。常见的封IP,封header等。比如给爬虫投毒喂假数据如何识别。熟悉数据结构和算法,拿到数据可以进行一些基础的清洗,比如如何在内存容量有限的情况下清洗亿万数据;比如如何从提取目标数据等。甚至可以做一些舆情分析,数据分析等。熟悉常用的数据库和nosql数据库,对数据存储有一定见解,如何设计数据库和表结构等,数据库优化等。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22549
余磊 前端开发 9年经验
2025-03-28
个人介绍:精通 HTML 、CSS,熟悉 W3C 标准和语义化标签,熟练 HTML5 各种新特性; 精通弹性盒布局,熟练处理 pc 页面,h5 页面的自适应,app 端,小程序端的不同机型适配问题; 熟练掌握 JavaScript,ES6,掌握 jQuery; 熟练掌握 vue 和 uniappp 框架,熟悉 vue3 框架,了解 TypeScript; 熟练使用 Ajax、axios 等异步请求,进行 Get、Post、JSONP 跨域网络数据请求,实现前后台数据的传输; 熟练使用 scss、less 进行样式编写;; 熟练使用常见前端框架 element-ui、vant、uView,熟悉 bootstrap 等; 熟练使用 Spring、Springmvc、Mybatis、SpringBoot、Mybatis-Plus 等开发技术; 熟悉 Linux 、Maven,熟悉 Linux 常用命令,掌握 Linux 环境部署; 熟悉 JSP、Servlet、JSTL、EL 等,熟悉 Tomcat 服务器的使用; 掌握原生微信小程序开发,基本掌握 echarts 框架; 了解 node.js; 了解微服务 SpringCloud; 了解 Spring 的事务管理机制和隔离级别,熟悉 Spring 中的 IoC 和 Aop 的思想。
项目经验:一、乐天订餐系统 项目描述:专门为餐饮企业定制的一款软件产品,提供了商家后台和用户端,商家后台主要包括对菜品和营业额统计以及 对员工的管理功能 技术栈:Spring Boot、Spring Task、Spring Cache、JWT、阿里云 OSS、Redis;uniapp、uview、vue3,element-plus 责任描述: 1.负责公共字段填充功能开发,利用自定义注解 AutoFill,然后统一拦截为公共字段赋值 2.负责菜品模块后端接口的开发,必须选择分类才能添加菜品,同时必须要上传菜品图片,如果被分类和套餐关联的 不允许删除,同时负责该模块的前端页面开发 3.负责图片上传功能开发,将图片上传到 oss,数据库保存图片名称 4.负责微信授权登录,将 openid 作为对比参数,来判断新老用户,并完成令牌的分发和插入操作 5.负责商品模块页面的开发,以及接口的联调 6.负责小程序端(用户端)的首页页面开发 二、云上商城 项目描述:电商平台分为后台管理系统和用户端,用户端实现商品展示,用户下单支付等功能,后台管理系统围绕商品进 行商品属性的一系列操作,统计营业额等等 技术栈:Spring、MyBatis、Spring MVC、JWT;vue、element-ui 责任描述: 1.负责登录注册模块的开发,登录成功后生成 token,返回前端 2.负责商品模块后台部分开发,必须选择分类才被允许添加商品,同时必须要上传商品图片,如果被分类关联的不允 许删除,同时负责该模块的前端页面开发 3.负责微信授权登录,将 openid 作为对比参数,来判断新老用户,并完成令牌的分发和插入操作 4.负责用户和后台管理系统的订单模块页面开发 三、健康网 APP 项目描述:健康网 APP 是一个快速寻医、预约到家、图文急诊、预约挂号、健康档案、症状询问、商城购物、科普知识 等功能的医疗服务型软件,它能够建立患者和医生之间的紧密联系。,主要功能有热门药品推荐,在线问诊,热门体检套 餐,热点健康咨询等,相关的辅助功能包括语言的翻译,审核功能,收益功能等等。 技术栈:uniapp,uview 责任描述: 1.负责首页开发 2.负责个人中心页面的开发,实现不同角色展示不同功能
技      能: 其他  
¥1400 / 8小时
立即预约
立即预约
意见反馈