1.采集泛濫化
來(lái)自百度的一項調查顯示,超過(guò)80%的新聞和資訊等都在被人工轉載或機器采集,從傳統媒體的報紙到娛樂(lè )網(wǎng)站花邊消息、從游戲攻略到產(chǎn)品評測,甚至高校圖書(shū)館發(fā)的催還通知都有站點(diǎn)在做機器采集??梢哉f(shuō),優(yōu)質(zhì)原創(chuàng )內容是被包圍在采集的汪洋大海中之一粟,搜索引擎在海中淘粟,是既艱難又具有挑戰性的事情。
2.提高搜索用戶(hù)體驗
數字化降低了傳播成本,工具化降低了采集成本,機器采集行為混淆內容來(lái)源降低內容質(zhì)量。采集過(guò)程中,出于無(wú)意或有意,導致采集網(wǎng)頁(yè)內容殘缺不全,格式錯亂 或附加垃圾等問(wèn)題層出不窮,這已經(jīng)嚴重影響了搜索結果的質(zhì)量和用戶(hù)體驗。搜索引擎重視原創(chuàng )的根本原因是為了提高用戶(hù)體驗,這里講的原創(chuàng )為優(yōu)質(zhì)原創(chuàng )內容。
3.鼓勵原創(chuàng )作者和文章
轉 載和采集,分流了優(yōu)質(zhì)原創(chuàng )站點(diǎn)的流量,不再具屬原創(chuàng )作者的名稱(chēng),會(huì )直接影響到優(yōu)質(zhì)原創(chuàng )站長(cháng)和作者的收益。長(cháng)期看會(huì )影響原創(chuàng )者的積極性,不利于創(chuàng )新,不利于 新的優(yōu)質(zhì)內容產(chǎn)生。鼓勵優(yōu)質(zhì)原創(chuàng ),鼓勵創(chuàng )新,給予原創(chuàng )站點(diǎn)和作者合理的流量,從而促進(jìn)互聯(lián)網(wǎng)內容的繁榮,理應是搜索引擎的一個(gè)重要任務(wù)。
百度識別原創(chuàng )之路如何走
1.成立原創(chuàng )項目組,打持久戰
面對挑戰,為了提高搜索引擎用戶(hù)體驗、為了使優(yōu)質(zhì)原創(chuàng )者原創(chuàng )網(wǎng)站得到應有的收益、為了推動(dòng)中文互聯(lián)網(wǎng)的前進(jìn),我們抽調大量人員組成原創(chuàng )項目組:技術(shù)、產(chǎn)品、運營(yíng)、法務(wù)等等,這不是臨時(shí)組織不是1個(gè)月2個(gè)月的項目,我們做好了打持久戰的準備。
2.原創(chuàng )識別“起源”算法
互 聯(lián)網(wǎng)動(dòng)輒上百億、上千億的網(wǎng)頁(yè),從中挖掘原創(chuàng )內容,可以說(shuō)是大海撈針,千頭萬(wàn)緒。我們的原創(chuàng )識別系統,在百度大數據的云計算平臺上開(kāi)展,能夠快速實(shí)現對全 部中文互聯(lián)網(wǎng)網(wǎng)頁(yè)的重復聚合和鏈接指向關(guān)系分析。首先,通過(guò)內容相似程度來(lái)聚合采集和原創(chuàng ),將相似網(wǎng)頁(yè)聚合在一起作為原創(chuàng )識別的候選集合;其次,對原創(chuàng )候 選集合,通過(guò)作者、發(fā)布時(shí)間、鏈接指向、用戶(hù)評論、作者和站點(diǎn)的歷史原創(chuàng )情況、轉發(fā)軌跡等上百種因素來(lái)識別判斷出原創(chuàng )網(wǎng)頁(yè);最后,通過(guò)價(jià)值分析系統判斷該原創(chuàng )內容的價(jià)值高低進(jìn)而適當的指導最終排序。
3.原創(chuàng )星火計劃
我們一直致力于原創(chuàng )內容的識別和排序算法調整,但在當前互聯(lián)網(wǎng)環(huán)境下,快速識別原創(chuàng )解決原創(chuàng )問(wèn)題確實(shí)面臨著(zhù)很大的挑戰,計算數據規模龐大,面對的采集方式 層出不窮,不同站點(diǎn)的建站方式和模版差異巨大,內容提取復雜等等問(wèn)題。這些因素都會(huì )影響原創(chuàng )算法識別,甚至導致判斷出錯。這時(shí)候就需要百度和站長(cháng)共同努力 來(lái)維護互聯(lián)網(wǎng)的生態(tài)環(huán)境,站長(cháng)推薦原創(chuàng )內容,搜索引擎通過(guò)一定的判斷后優(yōu)待原創(chuàng )內容,共同推進(jìn)生態(tài)的改善,鼓勵原創(chuàng ),這就是“原創(chuàng )星火計劃”,旨在快速解 決當前面臨的嚴重問(wèn)題。另外,站長(cháng)對原創(chuàng )內容的推薦,將應用于“起源”算法,進(jìn)而幫助百度發(fā)現算法的不足,不斷改進(jìn),用更加智能的識別算法自動(dòng)識別原創(chuàng )內 容。
目前,原創(chuàng )星火計劃也取得了初步的效果,一期對部分重點(diǎn)原創(chuàng )新聞?wù)军c(diǎn)的原創(chuàng )內容在百度搜索結果中給予了原創(chuàng )標記、作者展示等等,并且在排序及流量上也取得了合理的提升。
最后,原創(chuàng )是生態(tài)問(wèn)題,需要長(cháng)期的改善,我們將持續投入,與站長(cháng)攜手推動(dòng)互聯(lián)網(wǎng)生態(tài)的進(jìn)步;原創(chuàng )是環(huán)境問(wèn)題,需要大家來(lái)共同維護,站長(cháng)們多做原創(chuàng ),多推薦原創(chuàng ),百度將持續努力改進(jìn)排序算法,鼓勵原創(chuàng )內容,為原創(chuàng )作者、原創(chuàng )站點(diǎn)提供合理的排序和流量。