信息學(xué)院崔斌研究員課題組在大數(shù)據(jù)實時推薦研發(fā)中取得重要進展

時間：2016-05-31 09:28  作者：  來源：信息科學(xué)技術(shù)學(xué)院

　　隨著大數(shù)據(jù)時代的來臨，從海量信息中迅速獲取有用信息的需求日益強烈。個性化推薦系統(tǒng)以海量數(shù)據(jù)挖掘為基礎(chǔ)，引導(dǎo)用戶發(fā)現(xiàn)自己的信息需求，現(xiàn)已在多 個領(lǐng)域得到廣泛應(yīng)用。傳統(tǒng)上，通過定期分析數(shù)據(jù)來更新模型，導(dǎo)致推薦模型無法保持實時性，破壞對用戶當(dāng)前行為推薦結(jié)果的準(zhǔn)確性。而實時個性化推薦系統(tǒng)可以 通過實時分析用戶產(chǎn)生的數(shù)據(jù)，更準(zhǔn)確地為用戶推薦，與此同時，還可以根據(jù)實時推薦結(jié)果進行反饋，改進推薦模型，提升系統(tǒng)性能。

　　北京大學(xué)信息科學(xué)技術(shù)學(xué)院、高可信軟件技術(shù)教育部重點實驗室崔斌研究員課題組與騰訊公司數(shù)據(jù)平臺部從2014年起聯(lián)合開展大數(shù)據(jù)實時推薦研發(fā)。研究 工作針對海量性、實時性、精準(zhǔn)性等大數(shù)據(jù)應(yīng)用中的實際難點，創(chuàng)新性地同時從系統(tǒng)、數(shù)據(jù)和算法三方面著手解決，即：系統(tǒng)方面，針對現(xiàn)有系統(tǒng)的不足，提出由實 時接入、實時處理和分布式K-V存儲三部分組成的系統(tǒng)架構(gòu)；數(shù)據(jù)方面，針對現(xiàn)實世界中嚴(yán)重的數(shù)據(jù)稀疏、隱反饋數(shù)據(jù)等問題，提出解決方案；算法方面，針對傳 統(tǒng)機器學(xué)習(xí)算法難于應(yīng)對大規(guī)模數(shù)據(jù)實時計算的問題，提出增量計算模型和增量更新方法，有效地實現(xiàn)了分布式流式在線學(xué)習(xí)。由此研發(fā)的實時推薦系統(tǒng)應(yīng)用于包括 視頻、新聞等騰訊的多項實際業(yè)務(wù)，現(xiàn)每天處理千億條用戶行為，支撐百億級用戶請求，推薦效果顯著提升，點擊率（click-through- rate，CTR）平均提高6%～18%。騰訊大數(shù)據(jù)日前的官方報道《大數(shù)據(jù)實時推薦：不只是統(tǒng)計》首日閱讀量達上萬次。

　　上述成果還以題為《TencentRec：實時流推薦的系統(tǒng)實踐》（TencentRec: real-time stream recommendation in practice）和《實時視頻推薦探索》（Real-time video recommendation exploration） 的論文連續(xù)兩年在美國計算機學(xué)會數(shù)據(jù)管理專業(yè)組年會（Association for Computing Machinery Special Interest Group on Management Of Data，ACM SIGMOD）上發(fā)表。論文第一作者均為信息學(xué)院博士研究生黃艷香，通訊作者是崔斌研究員。信息學(xué)院徐嬴、謝怡然等研究生以及騰訊平臺部蔣杰等也參與該研 究。

　　本研究得到國家自然科學(xué)基金、國家重點基礎(chǔ)研究發(fā)展計劃（即“973計劃”）和騰訊云計算數(shù)據(jù)中心的支持。