計(jì)算機(jī)畢業(yè)設(shè)計(jì)hadoop+spark+hive招聘數(shù)據(jù)分析可視化大屏 招聘推薦系統(tǒng) 大數(shù)據(jù)畢設(shè)
2023-08-28 15:02 作者:計(jì)算機(jī)畢業(yè)設(shè)計(jì)之家 | 我要投稿
流程
1.Python采集拉勾網(wǎng)約100萬招聘職位數(shù)據(jù)存入mysql數(shù)據(jù)庫；
2.使用hadoop+mapreduce對mysql中的數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)為.csv文件上傳hadoop的hdfs集群；
3.使用hive數(shù)倉工具建庫建表導(dǎo)入.csv數(shù)據(jù)集；
4.一半指標(biāo)使用hive_sql離線分析得出，一半分析指標(biāo)使用Spark之Cala實(shí)時(shí)分析得出；
5.分析結(jié)果使用sqoop導(dǎo)入mysql;
6.使用Flask+echarts搭建可視化大屏吊炸天；
創(chuàng)新點(diǎn)：Python爬蟲、海量數(shù)據(jù)集、可視化炫酷大屏
選裝
可選裝推薦系統(tǒng)、知識圖譜、后臺管理(0秒無縫銜接選裝對接安裝上立刻使用)：
https://www.bilibili.com/video/BV1Sv4y1F77E/?spm_id_from=333.999.0.0
可選裝項(xiàng)目模塊
1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。
2.預(yù)測系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測 K-means 線性回歸)。
3.知識圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。
4.后臺管理系統(tǒng)。
