ID:22750
司浩 爬虫工程师 15年经验
2025-05-13
个人介绍:1. 熟练使用 Python 语言和常见的第三方库;有良好的代码风格及编程能力 2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术 3. 熟悉 Scrapy 框架的使用,同时有过 Scrapy-redis 分布式爬虫经验 4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具 5. 熟悉 MySQL、redis 等数据库 6. .熟悉常见的反爬机制,如验证码识别、IP 封禁、UA 监测和 cookie 认证等;了解加密数据的处理 7. 了解 web 框架 Django 和 Flask 8. 了解多进程多线程和协程的相关使用 9. 了解代码管理工具 git 10. 了解多进程多线程和协程的相关使用 11. 了解前端 HTML,CSS,JS,AJAX 等相关前端知识 12. 了解 Linux 操作系统,熟悉其基本操作 13. 了解数据清洗,能够使用 NumPy、Pandas 等工具进行数据处理
项目经验:航空机票信息查询 项目描述: 应客户需求,对某国外航空公司网站进行机票信息爬取,然后把数据交给用户,供用户平台使用。 责任描述: 使用 Scrapy 框架,主要进行页面分析、 数据采集、数据清洗、数据保存等处理 1. 登录验证码的处理-该网站验证码比较简单,采用 Scrapy 自带的验证码处理模块 2. 由于只能使用国外 IP,使用代理 IP,并添加 user-agent 和延时规避反爬 3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取 4. 使用 Mongodb 数据库保存爬取数据
技      能: 其他  
¥200 / 8小时
立即预约
ID:22359
潘红 全栈工程师 5年经验
2025-05-13
个人介绍:Java:我精通Java编程语言,能够使用它进行各种后端开发工作。 MySQL:我熟悉MySQL数据库的管理和优化,能够进行数据库设计、查询优化、性能调优等工作。 SpringCloud:我熟悉SpringCloud微服务框架,能够使用它进行微服务架构的设计和开发。 SpringBoot:我精通SpringBoot框架,能够使用它快速搭建和开发微服务应用。 Python:我熟练掌握Python编程语言,能够使用它进行数据处理和分析。 Vue:我熟练掌握Vue前端框架,能够使用它进行高效的前端开发。 JavaScript:我熟练掌握JavaScript编程语言,能够使用它进行前端开发。 HTML/CSS:我熟练掌握HTML和CSS,能够使用它们进行网页设计和开发。 WebSphere:我熟悉WebSphere应用服务器,能够进行应用部署和性能调优。 Tomcat:我熟悉Tomcat应用服务器,能够进行应用部署和性能调优。 以上这些技术能力,使我能够为客户提供全面的技术咨询和服务,帮助他们实现技术方案的落地实施。
项目经验:“XX教育平台”是一款综合性的信息化教学系统,它整合了备课、授课、考试和资源四大核心模块,旨在通过“Web+App”的模式与学生派平板无缝结合,全方位覆盖教学过程中的关键环节:教、学、练、测、考、评。 ■ 备课模块:该模块为教师提供了一个丰富的教学资源库,包括与课程知识点对应的教学设计、生动的教学动画、情景导入动画、互动式游戏以及专业的习题等。这些资源的设计旨在帮助教师高效备课,激发学生的学习兴趣。 ■ 授课模块:为了尊重并最小程度地改变教师的传统授课习惯,该模块采用了类似PPT的互动式操作界面,简洁直观且易于上手。这种设计使得教师能够快速适应并有效地利用平台进行教学活动。 ■ 考试模块:该模块支持教师根据需要随机选取试题,实现一键组卷功能。此外,它还配备了强大的数据分析工具,能够对考试结果进行智能统计分析,从而极大地提升了教师的工作效率,同时也为学生提供了即时反馈,帮助他们更好地理解学习成果。 ■ 资源包:按照课时划分的资源包内含丰富的教学材料,这些资源与课程知识点紧密对应,为教师提供了便捷的教学支持,同时也为学生提供了全面的学习材料。 综上所述,这款教育平台通过其精心设计的功能和用户友好的界面,不仅提高了教学质量和效率,还为学生创造了一个互动且富有成效的学习环境。
技      能: 其他  
¥900 / 8小时
立即预约
ID:22735
王冬梅 全栈 4年经验
2025-05-12
个人介绍:1. 熟练掌握 java 语言,有扎实的理论基础和良好的编程习惯; 2. 熟悉Spring,SpringMVC,MyBatis,SpringDataJPA 等, 熟练使用 SpringBoot, 了解SpringCloud 等微服务框架; 3. 熟悉 MySQL 数据库的应用开发,熟悉 Lunix 操作系统的常用命令; 4. 熟练使用 IDEA、HBuilderX、Eclipse、Tomcat、Maven等开发工具; 5. 熟悉 Nginx 反向代理、RabbitMQ 消息队列,了解ElasticSearch 全文索引、 FastDFS 静态服务器 ; 6. 熟悉 H5、CSS3、JavaScript、JQuery、BootStrap、ElementUi 、等前端技术; 7. 熟悉Vue和VueCli的开发框架;
项目经验:项目名称:小说审核管理平台 软件架构: Mybatis+SpringBoot 开发环境: jdk1.8、SpringBoot、Mybatis、MySQL 开发时间/开发周期:2021.08-2022.01 项目描述: 该项目是一个用于小说审核管理系统,本系统为小说用户个人信息、评论、图片、文章 内容进行审核,对于违规部分进行修改更新或者屏蔽操作,以及审核质检情况。包括模块如 下: 用户信息:用户昵称、头像是否通过更新; 用户评论:用户评论是否违规,是否可以进行发布; 小说管理:小说、对话体小说以及其中出现的图片,进行文章分类、违规内容进行修改 更新或上报屏蔽处理; 系统管理:员工管理、权限管理; 进度管理:通过员工姓名、工号、日期查询小说审核量; 质检管理:通过员工姓名、工号、日期查询质检的合格率与不合格率; 责任描述: 1、 员工登录模块。 2、用户信息审核模块。 3、 用户评论管理模块。 4、 后台核心管理系统: 员工管理和权限管理。
技      能: 其他  
¥800 / 8小时
立即预约
ID:22727
程梅 大数据开发工程师 12年经验
2025-05-12
个人介绍:1、熟悉数仓建模,做过大型项目的数仓开发经验。 2、精通sql,做过很多复杂的sql指标运算,包括MR、spark作业调优。 3、熟悉bi工具,可以做报表展示。 4、熟悉spark,可以用spark计算指标。 5、熟悉python,掌握常用的python方法,负责过数据治理功能的开发,包括但不限于(数据产出监控,数据质量监控,hdfs和yarn运行资源的监控,自动化开发工具等) 6、掌握数据治理理论,包括元数据管理和数据管理,数据地图,数据血缘开发等。
项目经验:一、网盘核心数仓表全链路迭代 项目背景:出于公司降本指标,核心指标稳定性问题频发,故迭代升级历史核心任务链路(包括:sql 链路调优,spark 性能参数调优,表功能迭代)。 主要职责: 1、调研需要迭代的指标数量,分析各个计算链路存在问题,并设计优化方案。 2、优化上游调用表链路,拉取更合理的分区,以及 sql 调整减少 shuffle ,调整 spark 参数提高性能,并通过 sapark web 观察 stage 的实际产出效能,调整 executor 、core partition 数量,以及内存的大小等参数来提高效能,并尽量精确节约计算资源降低成本。 3、测试优化后的链路是否通路,并校验数据的准确性,并对比优化前后的成本和效能。 项目业绩: 1、提高了任务链路例行成功率,做到除系统故障外几乎0失败。 2、 降低了计算资源成本35%,提高了计算效率20%。 二、网盘部门计算资源治理系统开发 背景:部门确少全局的资源和任务监管系统,很多队列存在资源浪费和作业不规范的情况,故 ,开发网盘队列资源和作业相关的监管系统,实现全局治理计算资源。 项目职责: 个人开发 1、通过对 队列资源信息的抓取,实现队列稳定性相关的监控。 2、通过一些策略对队列任务进行管控,保证队列资源的稳定性和规范性 3、 提取队列上的作业的核心信息入库并通过可视化展示查询。(包括各个时间作业运行时间,是否触发报警,各个作业运行在哪个队列,消耗多少内存以及 core ,并统计资源占用 top榜,各个时间段的队列资源占比,以及各个时间各队列作业数量统计等相关维度展示) 项目业绩: 大盘上实现了网盘队列和作业的稳定性和规范性。 通过该监控系统,节约大盘计算资源成本 20%。 可以全盘监控和统计网盘运行作业的信息,对后续网盘业务链路迭代提供了数据基础。 三、网盘埋点数据用户pv uv 留存的全链路开发和可视化 1、协同 PM 确认数据口径和需求指标。 2、 从数据库和埋点数据进行采集 etl 处理入 ods层。 3、对数据纬度进行加工聚合,行转列降维成 dws 层宽表,方便 ads 指标取数。 4、 对各个埋点类型的用户(包括 tool、card 、资源位、小飞机、电商、push 等多渠道)进行分类统计 展现 pv,uv 点击 pv,uv 和留存,留存率,ads 层指标。 5、将指标数据通过开发 shell 倒库脚本导入到数据库。 6、 通过 bi 可视化展示收益指标
技      能: 其他  
¥1400 / 8小时
立即预约
立即预约
意见反馈