Oxylabs 首席執(zhí)行官：了解靜態(tài)和動(dòng)態(tài)數(shù)據(jù)

　 域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

數(shù)據(jù)收集的操作行為受到越來(lái)越多的關(guān)注,也變得越來(lái)越復(fù)雜。網(wǎng)絡(luò)抓取以及自動(dòng)獲取過(guò)程總體來(lái)說(shuō)極大地改變了數(shù)據(jù)收集的性質(zhì),舊的挑戰(zhàn)得到解決,而新的問(wèn)題也隨之浮現(xiàn)出來(lái)。

其中一個(gè)問(wèn)題就是關(guān)于動(dòng)態(tài)性的數(shù)據(jù)選擇。由于現(xiàn)在我們能夠在幾秒內(nèi)收集難以想象的巨量信息,進(jìn)行特定采樣不再是問(wèn)題。此外,在業(yè)務(wù)上,我們常常會(huì)反復(fù)搜尋相同來(lái)源,以監(jiān)控友商、品牌以及對(duì)于行業(yè)相關(guān)的其他任何內(nèi)容。

因此,數(shù)據(jù)動(dòng)態(tài)性就是一個(gè)優(yōu)化問(wèn)題。在一些情況下,特定字段可能不會(huì)頻繁更新,或者對(duì)于用例來(lái)說(shuō)這些更改并不重要,因此可能不需要每次刷新數(shù)據(jù)。

靜態(tài)與動(dòng)態(tài)數(shù)據(jù)

靜態(tài)數(shù)據(jù)可以通過(guò)兩個(gè)方面來(lái)定義。作為信息對(duì)象,靜態(tài)數(shù)據(jù)是不會(huì)(頻繁)變化的對(duì)象。這種來(lái)源的例子可能包括社論文章、國(guó)家/地區(qū)或城市名稱、活動(dòng)和場(chǎng)所說(shuō)明,等等。事實(shí)新聞報(bào)道一經(jīng)發(fā)表,就不大可能在未來(lái)發(fā)生改動(dòng)。

另一方面,動(dòng)態(tài)數(shù)據(jù)是不斷變動(dòng)中的對(duì)象,常常是由于外部因素而發(fā)生變化。經(jīng)常遇到的動(dòng)態(tài)數(shù)據(jù)類型可能是產(chǎn)品定價(jià)、庫(kù)存數(shù)量、預(yù)訂數(shù)量,等等。

它們中間存在兩大定義的模糊地帶,正如企圖將一切東西都放入整整齊齊的小盒子那樣。產(chǎn)品說(shuō)明、文章元標(biāo)題和內(nèi)容商業(yè)片段等信息對(duì)象有一定的變化頻率。

這些到底屬于靜態(tài)還是動(dòng)態(tài)數(shù)據(jù),取決于預(yù)期用途。無(wú)論數(shù)據(jù)類型如何,項(xiàng)目或多或少會(huì)利用具體的參考來(lái)源。例如,SEO 工具可能發(fā)現(xiàn)定價(jià)數(shù)據(jù)的價(jià)值較低,但會(huì)希望更新元標(biāo)題、描述和其他許多功能。

另一方面,定價(jià)模型則很少用到頻繁更新的產(chǎn)品描述。它們可能需要抓取該信息一次,以進(jìn)行產(chǎn)品匹配。如果將來(lái)出于 SEO 目的對(duì)其進(jìn)行更新,那么仍然沒(méi)有理由再次訪問(wèn)描述。

規(guī)劃數(shù)據(jù)

每個(gè)數(shù)據(jù)分析和收集項(xiàng)目都有其必要性?；氐角懊娴亩▋r(jià)模型例子,這需要兩個(gè)技術(shù)功能:產(chǎn)品比對(duì)和定價(jià)數(shù)據(jù)。

產(chǎn)品需要進(jìn)行比對(duì),因?yàn)槿魏巫詣?dòng)定價(jià)實(shí)施都需要準(zhǔn)確性。錯(cuò)配的產(chǎn)品和變化的定價(jià)可能會(huì)對(duì)營(yíng)收造成巨大損失,尤其是如果這些變化得不到解決的情況下。

大部分比對(duì)工作是通過(guò)產(chǎn)品標(biāo)題、描述和規(guī)格進(jìn)行的。前兩者會(huì)經(jīng)常變化,尤其是在電商平臺(tái)中,其中關(guān)鍵詞優(yōu)化是一項(xiàng)重要的排名因素。不過(guò),它們不會(huì)影響比對(duì)產(chǎn)品編號(hào)的能力,因?yàn)榛A(chǔ)功能不會(huì)變化(例如,iPhone 始終是 iPhone)。

因此,描述和標(biāo)題可以視為靜態(tài)數(shù)據(jù),即使它們有一點(diǎn)動(dòng)態(tài)性質(zhì)。就項(xiàng)目用途而言,變化的影響力不夠大,不值得繼續(xù)監(jiān)控。

可能顯而易見(jiàn)的是,定價(jià)數(shù)據(jù)不僅自然而然地在不斷變化,而且捕捉發(fā)生的任何變化對(duì)于項(xiàng)目也十分重要。因此,它當(dāng)然應(yīng)該視為動(dòng)態(tài)數(shù)據(jù)。

通過(guò)規(guī)劃降低成本

無(wú)論采用的是內(nèi)部還是外部集成方法,數(shù)據(jù)收集和存儲(chǔ)實(shí)踐的成本都非常高。此外,大部分公司將使用基于云的存儲(chǔ)解決方案,其中可能會(huì)將所有寫入操作包括到總體成本中,這意味著更新數(shù)據(jù)將會(huì)削減預(yù)算。

規(guī)劃數(shù)據(jù)類型(即靜態(tài)還是動(dòng)態(tài))可以通過(guò)多個(gè)途徑優(yōu)化數(shù)據(jù)收集過(guò)程。首先,頁(yè)面可以分為靜態(tài)數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)或混合數(shù)據(jù)。雖然第一個(gè)類別可能有點(diǎn)膚淺,但它仍表示不需要頻繁再訪問(wèn)這些頁(yè)面。

利用混合頁(yè)面可能也更容易降低寫入操作和存儲(chǔ)成本。降低從一個(gè)地方傳輸?shù)搅硪粋€(gè)地方的數(shù)據(jù)量,這本身就是一種優(yōu)化形式,但這些在考慮到帶寬、讀寫和存儲(chǔ)成本時(shí)會(huì)變得更加有意義。

不過(guò),由于爬蟲通常會(huì)下載整個(gè) HTML,對(duì) URL 的任何訪問(wèn)都會(huì)將整個(gè)對(duì)象存儲(chǔ)在內(nèi)存中。使用外部提供商時(shí),通常會(huì)針對(duì)每個(gè)請(qǐng)求分配成本,因此更新所有數(shù)據(jù)字段與僅更新動(dòng)態(tài)字段之間沒(méi)有區(qū)別。

然而,在一些應(yīng)用場(chǎng)景中,歷史數(shù)據(jù)可能是必要的。每個(gè)時(shí)間段下載并更新含有相同數(shù)據(jù)的相同字段會(huì)無(wú)緣無(wú)故地增加寫入操作和存儲(chǔ)成本。可以實(shí)現(xiàn)一個(gè)簡(jiǎn)單的比較函數(shù)來(lái)檢查是否有任何更改,并僅在更改時(shí)執(zhí)行寫入操作。

最后,使用內(nèi)部抓取系統(tǒng)時(shí),上述全部情況仍然適用,但程度要大得多。想要優(yōu)化成本,可以減少不必要的抓取,限制寫入操作數(shù)量,并僅解析 HTML 的必要部分。

最后,開(kāi)發(fā)框架是實(shí)現(xiàn)真正優(yōu)化的第一步措施。它們可能一開(kāi)始過(guò)于理論化,就像這個(gè)框架那樣,但框架讓我們能夠更好地解讀已經(jīng)實(shí)施到位的過(guò)程。

作者:Julius Cerniauskas,Oxylabs 首席執(zhí)行官

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！