众Java工程师之苦恼

1. 在外包公司做Java开发，薪资高不高低不低，但做来做去技术就那么些，技术水平长期原地踏步，薪资没跃升

2. 刚毕业不久，缺乏项目经验，可招聘信息上看到的满屏都是要求X年工作经验。更可气的是，好不容易花近2万参加了XX培训，出来后发现满大街都是和自己一样的菜鸟，千万次的问“我和比别人优势是什么？”却终究没得到答案

3. 学历不高，高中/大专/不入流二本院校毕业，好不容易熬了几年经验入了行，可面试时总补狠压offer，干着同样的活，去拿别人2/3的薪水，终日愤愤却又无耐的忙得连勾搭妹子的时间都没有

 小讲说

没开发经验不是你的错，诸葛亮出山打仗时一个人都没杀过！非计算机专业NB科班出身也不是你现在的错，国内早期搞计算机的那批人基本都是半路出家，照样很牛掰。过往的锻炼机会少项目很low逼也不是你的错，给个大项目或许你也能加班加点搞出来。错就错在，你太普通。会的技术太普通，做的项目太普通，导致简历太普通，面试时说的技术点也太普通！——小讲@大讲台

第一步：请自问

1. 除了Java、SSH/M框架、MySQL这些别人都会的，你还会些什么？

2. 你过往的项目中，单表数据量过100万吗，过1000万吗，过亿吗？

3.  你过往的项目最多同时有多少人？并发量是多少？服务器有几台？

4. 一天10多个面试的，面试官如何才能挑中你？你有什么技能如众不同体现逼格提升档次拉升offer？

第二步：猜猜这个项目面试官会不会眼前一亮

项目内容：做一个分布式的大数据爬虫

项目流程：数据爬虫、全文检索、数据可视化、爬虫监控、爬虫维护

涉及技术：Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail

项目内容（尝试列举一部分）：

1、下载、解析视频网站详情页面url，提取关键字段数据
2、抽取视频网站解析规则模板，优化解析代码
3、打通数据爬虫的下载、解析、存储流程
4、采用Hbase存储爬虫数据，详解Hbase宽表和窄表设计以及爬虫项目表的详细设计
5、解析视频网站所有分页url并优化解析实现类
6、使用Queue队列存储视频网站所有url，实现视频网站url循环抓取
7、采用高、低优先级队列循环抓取视频网站url
8、采用Redis数据库实现url抓取优先级，并支持分布式爬虫
9、采用多线程爬虫，加快爬虫效率
......

2、全文检索过程：索引创建和搜索索引
3、解决全文检索的核心问题
4、Solr+Hbase组合提升检索效率

......
1、采用SpringMVC框架编写爬虫Web项目
2、编写Hbase工具类查询Hbase数据
3、编写Solr工具类检索爬虫数据
4、采用Freemarker或者jsp展示页面
5、采用Highcharts插件展示收视指数曲线图
6、打通爬虫整个项目流程，实时查看收视排行榜以及收视指数曲线图

......
1、模拟正常用户访问，降低IP被封概率
2、采用Redis 动态IP库，降低同一IP对统一网站的访问频率
3、编写Watcher监视器监控爬虫项目生命周期

第三步：上面的项目你能不能短期学会

全网独一无二的“直播+视频+图文+答疑”混合式学习模式，

每一步操作，每一行代码都可以100% Get到，

绝不走马观花，30天搞定大数据爬虫项目，妥妥滴！

【微信扫描二维码，轻松领走】