ID:22659
傅瑞 爬虫专家 6年经验
2025-06-07
个人介绍:负责根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段; 负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储,以供其他部门使用; 负责定期维护ip代理池,清除失效代理ip,根据爬取过程中遇到的一些反爬手段,优化自己的程序; 负责使用web的Django框架参与其他公司内部软件的开发; 负责数据的去重,清洗,对于亚马逊ip反爬,检测验证码,制定具体应对措施。
项目经验:项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3.使用SparkCore/SparkSql对数据进行清洗,最后将数据存到Hdfs,映射的到hive表; 3. 创建ODS、MI、DWD、WT、DIM、TMP层; 5. 将数据进行图表展示,发送给运营、产品、测试、管理层。
技      能: 其他  
¥700 / 8小时
立即预约
ID:21535
辛洁 .NET开发工程师 15年经验
2025-06-07
个人介绍:1、熟悉C#编程语言,熟练使用反射、委托、泛型、多线程等技术 2、熟悉.net framework和MVC开发框架,熟练使用Visual Studio开发C/S架构软件实现功能需求 3、熟练使用devexpress和winform,熟练使用SQL,独立编写存储过程、视图、函数 4、熟练使用Navicat数据库工具,熟悉mysql语法 5、独立进行第三方webapi对接
项目经验:项目名称:省医保api对接(2021.11 ~ 2022.02) 项目描述:本项目目的是为了响应医保改革要求,为药店和诊所提供医保结算通道而开展,主要流程是POS结算时读取医保信息并请求医保api实现医保结算或退费,项目使用HTTPS协议、sha256签名、国密SM3SM4加密算法。 项目职责: 1、实现第三方读卡程序对接,实现医保购药、门慢结算和门诊结算webapi对接 2、修复使用中出现的问题,协助实施进行目录匹配、参数设置、对账等操作 项目名称:ERP系统(2017.05 ~ 2022.02) 项目描述:本产品为中小型批发或连锁企业提供进销存、GSP管理、会员管理、促销管理、财务管理等业务的系统,该系统是C/S架构,采用C#.NET和SQL数据库技术实现。 项目职责: 实现其它出入库、采购拒收功能,实现追溯码和防串码功能,实现会员CRM模块,实现委托配送流程 项目名称:POS零售结算系统(2017.05 ~ 2022.02) 项目描述:本产品为连锁门店提供零售结算系统,该系统是C/S架构,采用C#.NET和mysql数据库技术实现,主要流程是扫描商品条码-结算支付-单据上传ERP。 项目职责: 1、实现门店温湿度登记,处方登记实现远程审方平台对接;实现通过HTTP接口获取医院处方、线上订单、小程序订单在POS结算出库;对接张家港聚合支付接口、线上电子券支付功能
技      能: .NET  
¥1000 / 8小时
立即预约
ID:21015
李雪 Java开发工程师 5年经验
2025-06-06
个人介绍:1、扎实的 Java 基础,多线程等,具备良好的面向对象思想和编程习惯 2、使用 Spring,SpringMVC,SpringBoot,Mybatis 主流框架开发了解 MVC 三层架构 3、了解 Shiro,SpringSecurity 安全框架认证权限 4、了解 Nginx 的负载均衡、反向代理,Linux,Swagger,Dubbo 等, 5、熟悉 XML,HTML、Ajax、JavaScript、jQuery 前端框架 6、熟练使用 MyEclipse,IDEA,Git,Maven 等开发及项目管理工具 7、熟练使用 MySQL 数据库,了解 MySQL 事务,乐观锁悲观锁,联表查询等,了解 Oracle 与 SQL Server 数据库
项目经验:燊燊不息微信小程序 项目描述 项目介绍:通过扫描物品二维码,进入小程序,获取物品详细信息与介绍,当前页面可直接下单与支付。 职责:项目组织 1、 项目使用MySQL数据库,spring boot框架开发 2、 开发环境使用Eclipse、服务器使用Tomcat 3、 使用MVC架构 4、 使用SVN对项目文档进行版本控制与管理 项目包含:扫码获取物品信息,物品的上架与下架,支付功能 5、 负责区域: 整个项目后台代码的编写 衢州市政府大数据平台 职责述: 管理与操作平台的大数据数仓:进行数据的录入与迁移 根据政府工作人员提供的数据进行数据碰撞,筛选出可疑数据反馈上去
技      能: Python  
¥500 / 8小时
立即预约
ID:21040
李鹏 Java开发工程师 3年经验
2025-06-06
个人介绍:◆ 熟练的运用java开发环境和项目构建,熟练应用JAVA应用服务器进行Java软件开发:如Apache Tomcat,JBoss,jetty,netty等 ◆ 熟练应用JSF/JSP/Servlet/JDBC/JavaBean的MVC模式开发项目 ◆ 熟练使用Struts,Hibernate,Spring等框架进行整合项目开发 ◆ 对爬虫、数据采集、分词、海量存储、缓存有过研究 ◆ 熟悉数据库SQL Server、MySql、Oracle,及NoSQL,Mongo,redis ◆ 熟悉掌握ActiveMQ进行开发,研究过spring-mongo-data及Morphia ◆ 熟练的在Window和Linux平台下HA 高可用设计和配置 ◆ 熟练掌握主流的java IDE工具,如:MyEclipse, inteliIDEA ◆ 喜欢开源项目,及热衷于开源项目的参与和架构设计 ◆ 了解Hadoop,Hbase,logtash,kibana分布式日志分析系统 ◆ 熟悉掌握微信公众号、小程序开发
项目经验:1、某智能机器人后端 微信公众号、小程序开发,包括智能机器人端实时信息推送,机器人租赁系统、微信自动回复、店员小程序,微信端课件编辑、推送、自由编程、场景模式切换,对二维码场景扫描关注用户进行统计,实时发送各类信息通知。涉及技术:websocket、心跳检测、tomcat集群、tomcat会话共享、A/B Testing、redis缓存、rabbitMQ消息队列 2、负责koko智能机器人微信后端开发;2、负责推送服务器架构设计开发;3、负责公众号、小程序开发H5功能开发;4、负责项目微信、小程序消息推送实时性技术难点突破;5、展示请在微信搜索公众号“keeko机器人”或小程序“keeko机器人”、“koko管理助手” 实现websocket协议推送服务器 类似于Node.js websocket服务器,主要实现客户端与服务器之间的长连接,并维护连接状态,实现组播、特定广播信息等功能。该系统实现单机linux服务器1G内存下可以同时承载>5W人在线,和tomcat、jetty中的实现相比得出的结果。 3、HA redis缓存系统设计 为了支撑高并发、大流量访问系统的需要,特此设计HA redis的缓存系统,并用spring进行封装,以便其他模块调用。主要原理是用Redis中的分布式、热切、故障转移等功能实现。
技      能: Python  
¥700 / 8小时
立即预约
立即预约
意见反馈