ID:22750
司浩 爬虫工程师 15年经验
2025-05-13
个人介绍:1. 熟练使用 Python 语言和常见的第三方库;有良好的代码风格及编程能力 2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术 3. 熟悉 Scrapy 框架的使用,同时有过 Scrapy-redis 分布式爬虫经验 4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具 5. 熟悉 MySQL、redis 等数据库 6. .熟悉常见的反爬机制,如验证码识别、IP 封禁、UA 监测和 cookie 认证等;了解加密数据的处理 7. 了解 web 框架 Django 和 Flask 8. 了解多进程多线程和协程的相关使用 9. 了解代码管理工具 git 10. 了解多进程多线程和协程的相关使用 11. 了解前端 HTML,CSS,JS,AJAX 等相关前端知识 12. 了解 Linux 操作系统,熟悉其基本操作 13. 了解数据清洗,能够使用 NumPy、Pandas 等工具进行数据处理
项目经验:航空机票信息查询 项目描述: 应客户需求,对某国外航空公司网站进行机票信息爬取,然后把数据交给用户,供用户平台使用。 责任描述: 使用 Scrapy 框架,主要进行页面分析、 数据采集、数据清洗、数据保存等处理 1. 登录验证码的处理-该网站验证码比较简单,采用 Scrapy 自带的验证码处理模块 2. 由于只能使用国外 IP,使用代理 IP,并添加 user-agent 和延时规避反爬 3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取 4. 使用 Mongodb 数据库保存爬取数据
技      能: 其他  
¥200 / 8小时
立即预约
立即预约
意见反馈