計算機畢業(yè)設計hadoop+spark+hive高考數(shù)據(jù)分析可視化大屏 高考推薦系統(tǒng) 大數(shù)據(jù)畢設
2023-08-12 01:54 作者:計算機畢業(yè)設計之家 | 我要投稿
流程
爬取陽光高考約50-100W歷年高考數(shù)據(jù)(含2023年)存入mysql;
使用dump命令將省控線、專業(yè)線、專業(yè)、學校、省份、軟科排名、QS排名等表導出csv存到hdfs上;
使用hive基于CSV文件建立數(shù)據(jù)倉庫;
一部分數(shù)據(jù)使用Spark進行實時分析，一部分數(shù)據(jù)使用Hive進行離線分析;
分析結果使用sqoop導入mysql;
使用flask+echarts進行可視化大屏實現(xiàn)。
開發(fā)技術
spark hadoop? hive sqoop echarts flask requests爬蟲技術 mysql
創(chuàng)新點
爬蟲、大屏、hadoop+hive離線計算+spark實時計算雙實現(xiàn)、海量真實數(shù)據(jù)
如果你還覺得本系統(tǒng)太low13,本系統(tǒng)可以無縫銜接1秒內(nèi)選裝以下系統(tǒng)的推薦算法(深度學習4種)、預測算法(卷積神經(jīng))、后臺管理，感興趣的話可以看下面：
https://www.bilibili.com/video/BV1j8411271E/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1s8411U7rV/?spm_id_from=333.999.0.0
