1，主要使用语言python，熟悉Java、JavaScript语言，
2，熟练掌握MySQL数据库、Linux系统的常用命令
3，熟悉数据爬虫技术，常用爬虫框架是Scrapy，BeautifulSoup、Pyquery等爬虫库熟练掌握
4，熟悉使用Elasticsearch搜索引擎
5，熟悉大数据配套技术（Hadoop、Zookeeper、Flume、Hbase、Hive、Kafka等），能自主搭建大数据开发平台
6，掌握数据分析工具numpy，pandas,matplotlib等

数据挖掘与可视化的市场调研项目   
项目描述：
该项目从各种数据源如社交媒体、论坛和新闻网站中采集相关数据，并进行数据清洗，处理和可视化，为项目团队提供市场调研支持和决策依据
 责任描述：
1.	负责编写爬虫程序，从各种数据源中采集相关数据。根据项目需求，编写定制化的爬虫逻辑，包括与社交媒体API的交互，解析论坛页面和新闻网站的爬取等。
2.	使用数据清洗和处理技术对采集到的数据进行整理和筛选，确保数据质量和一致性。处理缺失值、异常值和重复数据等，使数据适合后续的分析和可视化处理
3.	利用数据可视化工具如Matplotlib，创建图表和可视化报告，以呈现数据的统计分析结果和洞察。根据项目需求，设计合适的可视化方式，包括折线图、柱状图、热力图等，以有效传达市场调研的关键信息。
4.	协助团队进行数据分析和解读。提供有力的市场调研支持和决策依据
 项目亮点：
1.	成功开发了定制化的爬虫程序，适应了多个电商网站的不同页面结构和数据提取需求
2.	通过代理池和请求头轮换技术，有效应对了反爬机制。保证了爬虫系统的稳定运行
3.	数据清洗和处理环节的优化，确保采集到的产品信息质量高，并符合后续处理和分析的要求