信息學(xué)院崔斌研究員課題組在大數(shù)據(jù)實(shí)時(shí)推薦研發(fā)中取得重要進(jìn)展

時(shí)間：2016-05-31 09:28  作者：  來(lái)源：信息科學(xué)技術(shù)學(xué)院

　　隨著大數(shù)據(jù)時(shí)代的來(lái)臨，從海量信息中迅速獲取有用信息的需求日益強(qiáng)烈。個(gè)性化推薦系統(tǒng)以海量數(shù)據(jù)挖掘?yàn)榛A(chǔ)，引導(dǎo)用戶(hù)發(fā)現(xiàn)自己的信息需求，現(xiàn)已在多 個(gè)領(lǐng)域得到廣泛應(yīng)用。傳統(tǒng)上，通過(guò)定期分析數(shù)據(jù)來(lái)更新模型，導(dǎo)致推薦模型無(wú)法保持實(shí)時(shí)性，破壞對(duì)用戶(hù)當(dāng)前行為推薦結(jié)果的準(zhǔn)確性。而實(shí)時(shí)個(gè)性化推薦系統(tǒng)可以 通過(guò)實(shí)時(shí)分析用戶(hù)產(chǎn)生的數(shù)據(jù)，更準(zhǔn)確地為用戶(hù)推薦，與此同時(shí)，還可以根據(jù)實(shí)時(shí)推薦結(jié)果進(jìn)行反饋，改進(jìn)推薦模型，提升系統(tǒng)性能。

　　北京大學(xué)信息科學(xué)技術(shù)學(xué)院、高可信軟件技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室崔斌研究員課題組與騰訊公司數(shù)據(jù)平臺(tái)部從2014年起聯(lián)合開(kāi)展大數(shù)據(jù)實(shí)時(shí)推薦研發(fā)。研究 工作針對(duì)海量性、實(shí)時(shí)性、精準(zhǔn)性等大數(shù)據(jù)應(yīng)用中的實(shí)際難點(diǎn)，創(chuàng)新性地同時(shí)從系統(tǒng)、數(shù)據(jù)和算法三方面著手解決，即：系統(tǒng)方面，針對(duì)現(xiàn)有系統(tǒng)的不足，提出由實(shí) 時(shí)接入、實(shí)時(shí)處理和分布式K-V存儲(chǔ)三部分組成的系統(tǒng)架構(gòu)；數(shù)據(jù)方面，針對(duì)現(xiàn)實(shí)世界中嚴(yán)重的數(shù)據(jù)稀疏、隱反饋數(shù)據(jù)等問(wèn)題，提出解決方案；算法方面，針對(duì)傳 統(tǒng)機(jī)器學(xué)習(xí)算法難于應(yīng)對(duì)大規(guī)模數(shù)據(jù)實(shí)時(shí)計(jì)算的問(wèn)題，提出增量計(jì)算模型和增量更新方法，有效地實(shí)現(xiàn)了分布式流式在線(xiàn)學(xué)習(xí)。由此研發(fā)的實(shí)時(shí)推薦系統(tǒng)應(yīng)用于包括 視頻、新聞等騰訊的多項(xiàng)實(shí)際業(yè)務(wù)，現(xiàn)每天處理千億條用戶(hù)行為，支撐百億級(jí)用戶(hù)請(qǐng)求，推薦效果顯著提升，點(diǎn)擊率（click-through- rate，CTR）平均提高6%～18%。騰訊大數(shù)據(jù)日前的官方報(bào)道《大數(shù)據(jù)實(shí)時(shí)推薦：不只是統(tǒng)計(jì)》首日閱讀量達(dá)上萬(wàn)次。

　　上述成果還以題為《TencentRec：實(shí)時(shí)流推薦的系統(tǒng)實(shí)踐》（TencentRec: real-time stream recommendation in practice）和《實(shí)時(shí)視頻推薦探索》（Real-time video recommendation exploration） 的論文連續(xù)兩年在美國(guó)計(jì)算機(jī)學(xué)會(huì)數(shù)據(jù)管理專(zhuān)業(yè)組年會(huì)（Association for Computing Machinery Special Interest Group on Management Of Data，ACM SIGMOD）上發(fā)表。論文第一作者均為信息學(xué)院博士研究生黃艷香，通訊作者是崔斌研究員。信息學(xué)院徐嬴、謝怡然等研究生以及騰訊平臺(tái)部蔣杰等也參與該研 究。

　　本研究得到國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（即“973計(jì)劃”）和騰訊云計(jì)算數(shù)據(jù)中心的支持。