ID:22732
杨平 数据库工程师 12年经验
2025-06-17
个人介绍: 能够熟练使用HTML+CSS/JavaScript等前端开发工具;  熟悉Linux的常规操作,能使用Linux系统进行相关项目的开发和编写shell脚本;  熟悉python语言,能够使用numpy,pandas,等数据分析模块,能结合scrapy框架和bs4模块,flask模块,实现对网页上数据的抓取和提取工作,制作爬虫;  了解pytorch,transform等深度学习框架  掌握Hbase存储原理和读写机制,掌握常用的数据存储工具,Mysql,Redis,mongodb;  熟悉Hadoop结构和其工作原理,掌握HDFS存储机制,编写MapReduce程序,掌握Yarn资源分配策略;  掌握Hive的架构,熟练使用sql语句,对数据进行ETL操作,数仓建模,数据分析,以及hive的相关调优;  能运用Sqoop进行数据的采集和传输;
项目经验:项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3.使用SparkCore/SparkSql对数据进行清洗,最后将数据存到Hdfs,映射的到hive表; 3. 创建ODS、MI、DWD、WT、DIM、TMP层; 5. 将数据进行图表展示,发送给运营、产品、测试、管理层。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22510
唐霞 技术总工 11年经验
2025-06-17
个人介绍:担任 技术总工期间,主要工作内容包括: 1、负责物联网平台建设(负责技术方案解决+关键技术代码实现可行性验证、甲方沟通、开发管理等); 2、公司知识产权申报工作; 3、主导针对开发技术难点的技术评审; 4、根据公司开发现状,制定开发规范,组织技术培训,协助形成奖惩管理制度; 5、负责规划公司产品线,为公司产品整体优化提供解决(包括关键代码验证--主要使用Java、C#、C++、Python语言),规划公司产品面临的未来关键技术突破点(包括生存技术和发展技术); 6、探索建筑物联网领域中大数据分析、机器学习等数据分析方法的应用可行性和方向,为公司决策层提供决策讨论参考。 此外,参与N个投标方案技术架构的设计文档以及部分方案人员分工等工作;负责部分客户的解决方案报价(分析需求,列出模块项工作量、技术难易程度,形成总体报价和周期);提供合作伙伴和甲方的技术解决咨询等。
项目经验:1、参与-路由器开发 持续一年时间参与基于Nuclear企业路由器项目开发工作(C语言X.25、RIP、整体运行、调度等实现,并协调完成综合测试任务) 2、个人完成-单片机与嵌入式软件开发 根据Atmel mega64主芯片+GSM+GPS的产品电路板(有PDF原理图和功能使用说明),三个月单独完成GPS+GSM手机短信定位、电子围栏、电话接打等功能软件实现以及串口升级固件等。 能够读基本数字电路原理图,熟悉单片机、Linux等嵌入式开发流程。 3、个人完成-跨平台消息中间件 单独设计和实现,使用C++,跨Windows和Linux平台。主要用于数据同步。该项目涉及跨平台的多线程并发、互斥访问、MySQL访问、网络通信、自动压力测试、面象对象的开发等技术。 4、个人完成-串口在线侦听软件 为方便实现获取远程计算机串口通信设备的通信数据,开发了针对Windows下串口通信数据的侦听软件,该程序能够嗅探指定串口的收发数据流,保存为文件,以用于分析,系统涉及Windows内核编程相关技术。 5、带领团队-基于30个信息系统的数据集成、联动与利用 为解决“信息孤岛”问题,封闭半年时间,带20-30人的团队,完成联勤保障部门的30多个信息系统(财务、干部、交通、装备、油料、兵员、卫勤、保障卡等等)的数据实时集成、数据组织与存储、展示和数据利用系统 本人角色:作为项目实施总负责人,承担项目经理、构架师、总体设计和关键技术突破的角色。 6、带领团队-Linux北斗数据采集与共享服务器 为充分利用北斗设备的通信、定位、授时能力,解决分布式情况下的数据采集、共享与应用。 本人角色:整体设计、所有后台功能和API服务的设计与实现、Web功能的设计和指导实现。系统曾在行业内部大范围部署使用。 7、带领团队-Linux通信服务器的设计与实现 为充分利用现有通信手段,有效解决用户与用户、用户与应用、应用与应用之间的“动中通”的问题,带领团队,设计并实现一个向下能够支持多类通信通道(IP网络、电台、固定电话、北斗等)、向上为不同用户和应用提供多类通信服务(短信、文件、流等)的可控自适应通信平台,该平台以服务器的方式提供相对独立的功能。 8、带领团队-负责基于亚马逊云的物联网平台架构+技术解决 基于亚马逊云的物联网平台(也包括其他云资源,IoT整套\DynamoDB\VPC\EC2+AutoScale\MySQL\Redis\Redshift\Lambda\API-Gateway\计费等\API开发等),构建面向建筑业务的设备接入、管理和服务平台(相当于开发基于亚马逊云资源的建筑设备物联网平台)。提供总体解决方案(包括系统的全流程逻辑设计),并从事关键开发实现:熟悉亚马逊物联网相关的云资源能力和使用流程,了解其它大厂物联网的基本能力(针对亚马逊、阿里、华为、腾讯解决方案有过部分比较分析),了解如何设计自己的通用物联网平台。 9、带领团队-负责设备采集边缘网关总设计和项目管理 主导设计了一款类似嵌入式网络设备的物联网网关(基于CentOS),支持插件设备接入、可配置式多方数据上报,系统包括采集上报后台和基于JavaWeb的Web配置管理,支持Modbus、Bacnet、OPC、数据库访问等多类插件。本人设计了整个框架结构、关键技术问题的解决方案或算法设计、任务划分、进度跟踪、开发人员协调等工作。该网关应用于公司所有(几十个)物联网平台接入项目中。 10、为所有内网网关远程管理提供解决办法 针对内网部署的 Windows、Linux机器提供远程访问、远程数据接入调试等提供解决办法,并指导设计了一套将 互联网内网机器TCP服务提供到公网服务的映射代理软件,支持Windows和Linux下的TCP 服务访问(如Linux-SSH、Windows远程桌面、Web Http、RTSP协议远程摄像头查看等 )。该方法为公司长期维护上百个内网服务。该软件功能方面类似市面上的 TeamViewer、向日葵等软件,但功能面更广,同时支持Windows和Linux系统下的所有 TCP服务。
技      能: 其他  
¥1100 / 8小时
立即预约
ID:22798
马娜 实施项目经理 7年经验
2025-06-17
个人介绍:1、熟练linux,windows等操作系统 2、熟练掌握Apache、nginx、服务的部署及优化主流中间件如tomcat、等安装部署 3、熟悉Oracl,mysq,oceanbase,等主流数据库安装部署以及数据库工具的使用 4、熟练部署集群redis主从,主主,哨兵负载集群 5、熟练使用mysql数据库,并对其进行管理、备份、以及搭建mysql主从集群 6、熟悉使用office办公工具的使用,具有一定的工作文档编写能力 7、熟悉docker技术,docker部署系统平台及平台维护 8、能够熟练编写shell脚本
项目经验:项目名称:中国石油会管定制项目 项目时间:2021.6-2022.5 项目介绍:中国石油项目在此之前一直采用polycomMCU进行开会,具20年初,国家开始支持国产化系统产品,为此中国石油企业把原有的polycom设备,换成华为以及小鱼平台。但因华为和小鱼是两个操作平台,并不能同时管理,并且在开会当中,操作不能同步,并且每个操作系统的步骤和逻辑也是不一样的,无法达到客户的准确性和效率性,为此,在使用小鱼和华为的设备上,安装会议管理软件,而会议管理软件的优势在于,多种设备兼容,操作步骤一致,多个设备并行管理,满足客户统一管理的需求,在2020年年底中标后开始此项目的准备工作 项目职责:1、会议管理软件的主备方案编写,以及现场实施调试工作 2、现场会管软件的需求功能测试,部分测试用例编写 3、等保三级的漏洞修复方案编写,以及修复工作 4、部署nginx+keepalive反向代理以及负载均衡 5、系统漏扫过的修复工作并出示修复漏洞方案编写 6、mysql主从数据库的异地灾备部署 7、服务器安全基线设置,不仅限于(linux,windows) 8、每日到每周的工作内容汇总,每周的项目例会报告 9、跟踪开发人员的需求计划,保证规定时间内完成 10、项目中客户新提出的需求记录反馈,配合商务层次,促进该需求订单 项目成果:中国石油项目与2020年年底启动,到目前为止,会议管理软件已正式上线,并且在会议保障期间无重大问题发现,实现了多种视频会议设备统一管理的需求,并且对于中国石油相对较大的业务量,,上线初试后一个月视频会议运维组统计当中,平均一个月150场会议,在原先设备上开会会前调试需要20分钟,减少到目前的的单个会前调试约7分钟,减少了13分钟,将近一个月减少了近2000分钟,尽可能的减少了开会-结束-统计审计的时间,初步取得相对较好的成绩,虽然现在已经再走验收流程,但是在验收前得到了,客户的表扬信认可,为此后手机端会管软件项目开发合作奠定了良好的基础
技      能: 其他  
¥1100 / 8小时
立即预约
ID:22344
梁凯 算法工程师 12年经验
2025-06-16
个人介绍:作为某双一流大学的博士研究生,我专注于深入研究人工智能算法、数据处理、软硬件结合以及FPGA电路设计等领域。我的研究旨在探索和解决人工智能与硬件设计交叉融合时遇到的关键技术问题,特别是如何高效地将复杂的人工智能算法映射到硬件平台上,以实现高性能、低功耗的智能计算系统。通过对FPGA等可编程硬件的深入研究,我致力于设计灵活、高效的电路架构,进一步优化算法的硬件实现过程,提升整体系统的处理能力和响应速度。此外,我也在积极探索数据处理技术在人工智能领域的应用,包括大数据分析、实时数据处理等,旨在为复杂环境下的智能决策提供强有力的数据支持。我的研究不仅关注理论探索,更注重实际应用,期望能够通过软硬件的深度融合,推动人工智能技术在多个领域的广泛应用。
项目经验:项目名称:基于FPGA的人工智能图像处理系统 项目概述: 在我的博士研究期间,我主导了一个创新项目——开发一个基于FPGA的人工智能图像处理系统。该项目旨在通过软硬件的深度结合,实现一个高效率、低功耗的图像识别与处理系统,以应对实时图像分析中的挑战。通过精心设计的硬件架构和优化的人工智能算法,我们的系统能够快速准确地完成图像识别任务,为智能监控、自动驾驶等应用提供技术支持。 项目背景: 随着人工智能技术的快速发展,图像处理已成为其重要应用领域之一。然而,传统的基于CPU或GPU的图像处理方案在处理大规模实时数据时面临能耗高和处理速度慢的问题。FPGA以其高并行性和可重配置性,为解决这一挑战提供了新的可能。 项目目标: 设计并实现一个基于FPGA的图像处理硬件架构,优化算法的硬件映射,以提高处理速度和能效比。 开发适用于FPGA平台的高效人工智能图像识别算法,提升系统的识别准确率。 实现软硬件协同设计,通过动态重配置技术,使系统能够支持多种图像处理算法和应用。 项目实施: 硬件设计:我们首先对FPGA平台进行了深入研究,设计了一种灵活的硬件架构,可以根据不同的图像处理需求动态重配置。通过精细的资源管理和流水线技术,大幅提升了数据处理的吞吐量和系统的能效比。 算法优化:针对FPGA的特性,我们重新设计和优化了图像识别算法。通过降低算法的复杂度和精简数据路径,减少了对硬件资源的需求,同时保证了算法的识别性能。 软硬件协同:我们开发了一套软件工具,用于自动将高层次的算法描述转换为FPGA的硬件描述语言(HDL),大大加快了开发周期。同时,通过软件模拟和验证,确保了硬件实现的正确性和稳定性。 项目成果: 该项目成功实现了一个基于FPGA的人工智能图像处理系统,经过测试,与传统的CPU/GPU方案相比,我们的系统在图像处理速度上提升了3倍,能耗降低了50%。系统已在智能监控和自动驾驶原型车上进行了实地测试,展现了良好的实用性和稳定性,得到了合作伙伴的高度评价。
技      能: 其他  
¥1300 / 8小时
立即预约
立即预约
意见反馈