數(shù)據(jù)架構(gòu)就像常規(guī)架構(gòu)一樣。在這兩個(gè)領(lǐng)域，都應(yīng)該遵守良好架構(gòu)的基本原則。當(dāng)然，有些設(shè)計(jì)適用于廣泛的應(yīng)用程序和其他更小眾的設(shè)計(jì)，但無論結(jié)構(gòu)的確切性質(zhì)如何，你可以打賭，如果它是成功的，建筑師會(huì)厭煩牢記要點(diǎn)。

什么是數(shù)據(jù)架構(gòu)？

數(shù)據(jù)架構(gòu)可能會(huì)變得復(fù)雜。但是沒有必要馬上把這個(gè)復(fù)雜化。大多數(shù)架構(gòu)方法都是從基礎(chǔ)開始的，這就是我們要在這里闡述的內(nèi)容。數(shù)據(jù)架構(gòu)可以描述為實(shí)體如何組織其數(shù)據(jù)。

這包括三個(gè)方面：

• 數(shù)據(jù)是如何存儲(chǔ)的？
• 數(shù)據(jù)是如何處理的？
• 數(shù)據(jù)如何使用？

我們將看到這些問題出現(xiàn)在數(shù)據(jù)架構(gòu)問題中，有時(shí)會(huì)同時(shí)出現(xiàn)兩個(gè)或所有三個(gè)問題。但是，為了依次處理每一個(gè)問題，存儲(chǔ)包括準(zhǔn)確性、訪問、控制和可擴(kuò)展性等因素。這是原始數(shù)據(jù)的“數(shù)據(jù)湖”。處理包括安全性、與外圍資源之間的數(shù)據(jù)傳輸以及靈活性。處理后的數(shù)據(jù)形成“數(shù)據(jù)倉(cāng)庫(kù)”。

用途包括接口、數(shù)據(jù)共享和應(yīng)用程序。有些公司對(duì)數(shù)據(jù)架構(gòu)的這三個(gè)方面有非常正式的方法，有些則更少。但是所有公司都應(yīng)該以某種方式覆蓋它們。這樣，他們可以確保數(shù)據(jù)管理得到應(yīng)有的優(yōu)先級(jí)。

這就是對(duì)數(shù)據(jù)粗心大意的處罰（2021 年，因數(shù)據(jù)泄露而被判有罪的美國(guó)公司的平均罰款為 424 萬美元），這是組織對(duì)自己、客戶和任何聯(lián)系人的責(zé)任數(shù)據(jù)。數(shù)據(jù)是寶貴的，因此企業(yè)需要將其視為資本，如果不是更高的話。我們將首先轉(zhuǎn)向這種對(duì)數(shù)據(jù)的必要尊重。

1. 數(shù)據(jù)文化

對(duì)于任何范式轉(zhuǎn)變，如果您想要進(jìn)行重大變革，那么孤立地關(guān)注公司的一個(gè)方面是沒有好處的。例如，工作場(chǎng)所的性別歧視正在受到挑戰(zhàn)（盡管速度很慢），但并非只專注于招聘或任何其他單一領(lǐng)域。為了確保所需的根本和分支變化，有必要解決工作場(chǎng)所的整個(gè)環(huán)境和心理問題。換句話說，它的文化。

與數(shù)據(jù)完全相同。必須優(yōu)先考慮數(shù)據(jù)問題，這是通過讓每個(gè)人都遵守?cái)?shù)據(jù)信條來賦予的。數(shù)據(jù)不再只是數(shù)據(jù)科學(xué)家的專利。

這是描述這一點(diǎn)的一種方式：

公司犯的最大錯(cuò)誤之一是招募數(shù)據(jù)員工團(tuán)隊(duì)，給他們一個(gè)配備所有最新設(shè)備的高檔辦公室，然后坐下來，認(rèn)為數(shù)據(jù)工作已經(jīng)完成。問題是，您的新部門正在為您處理的數(shù)據(jù)將被許多其他人訪問，包括內(nèi)部團(tuán)隊(duì)和公司以外的人。如果其他人不那么注意數(shù)據(jù)問題，您可能會(huì)遇到麻煩。

這些其他人最終可能會(huì)將數(shù)據(jù)傳播給無權(quán)訪問它的人。我們已經(jīng)提到了數(shù)據(jù)安全和訪問治理價(jià)值的重要性。幾乎同樣糟糕的是，他們可能不會(huì)將它提供給需要它的人，并且工作流程可能會(huì)受到影響。

所有員工都有責(zé)任確保數(shù)據(jù)絕對(duì)到達(dá)需要它的每個(gè)人，絕對(duì)沒有其他人。您的工作是將這一點(diǎn)灌輸給他們，以便他們開始看到有價(jià)值商品的數(shù)據(jù)，而不僅僅是可能會(huì)或可能不會(huì)被誰知道誰搶奪的東西。分享的需要引導(dǎo)我們得出下一個(gè)原則。

2. 整理數(shù)據(jù)

因此，員工應(yīng)該在任務(wù)需要的地方相互提供數(shù)據(jù)。但它比這更進(jìn)一步。應(yīng)該注意讓數(shù)據(jù)以同樣的方式為每個(gè)人服務(wù)。其中一個(gè)非常突出的方面是指標(biāo)。特定指標(biāo)在營(yíng)銷中的含義應(yīng)與對(duì)銷售團(tuán)隊(duì)的含義相同。必須有一個(gè)共同的詞匯，沒有晦澀的辦公室方言。

假設(shè)業(yè)務(wù)的兩個(gè)部分使用相似的數(shù)據(jù)，但一個(gè)只處理月度數(shù)據(jù)，而另一個(gè)只處理周度數(shù)據(jù)。如果可能的話，應(yīng)該努力統(tǒng)一他們的數(shù)據(jù)，以便更容易和更快地進(jìn)行有意義的比較和關(guān)系評(píng)估。跨部門對(duì)特定數(shù)據(jù)代表什么以及它引導(dǎo)組織的方向達(dá)成的共識(shí)越多，您的企業(yè)就越能從聯(lián)合部門的聯(lián)合思維中受益。

首先，在分享方面，您優(yōu)秀的數(shù)據(jù)專家可能需要一點(diǎn)鼓勵(lì)。通常情況下，數(shù)據(jù)工作人員可以將自己視為監(jiān)護(hù)人，而他們應(yīng)該真正將自己視為促進(jìn)者。這種便利的一部分歸結(jié)為減少行話。在這方面，從真正意義上講，應(yīng)該努力讓每個(gè)人都說一種共同的語言。

最后一點(diǎn)：確保您公司的數(shù)據(jù)的組織方式能夠保護(hù)其可訪問性。例如，嘗試使其免受斷電的影響，以便優(yōu)化正常運(yùn)行時(shí)間并保護(hù)客戶使用您的服務(wù)的能力。

3. 避免供應(yīng)商鎖定

供應(yīng)商鎖定是當(dāng)您獲得一項(xiàng)技術(shù)時(shí)發(fā)生的情況，由于它不容易從您的架構(gòu)中換出，您最終會(huì)被卡住。例如，當(dāng)一家公司從一系列托管 PBX 提供商中進(jìn)行選擇時(shí)，它應(yīng)該尋找一條簡(jiǎn)單的退出路線，就像一個(gè)誘人的入口一樣。否則，它的通信可能由未來發(fā)展可能被證明不適合的服務(wù)運(yùn)行。

因此，任何技術(shù)采購(gòu)都需要著眼于未來。您需要考慮的不僅僅是這項(xiàng)技術(shù)在成為您業(yè)務(wù)的一部分時(shí)可以做出什么貢獻(xiàn)。您需要考慮如何通過輕松拋棄它來做出貢獻(xiàn)。

4. 安全

您如何將確保合法訪問的需求與阻止未經(jīng)授權(quán)的訪問的需求結(jié)合起來？數(shù)據(jù)架構(gòu)通過根據(jù)數(shù)據(jù)項(xiàng)對(duì)其進(jìn)行分類來確保這一點(diǎn)。敏感度以及誰可以訪問它們。以托管聯(lián)絡(luò)中心軟件為例，將制定一項(xiàng)規(guī)定，以確保只有那些有明確和允許使用該信息的目的的人才能訪問客戶詳細(xì)信息。

例如，醫(yī)療保健數(shù)據(jù)架構(gòu)將確保僅用于宏觀分析的任何數(shù)據(jù)都將被匿名化。數(shù)據(jù)架構(gòu)將列出隱私控制保證機(jī)密性的方法。可以在數(shù)據(jù)架構(gòu)中構(gòu)建多層安全性，以確保數(shù)據(jù)在任何階段都不會(huì)受到攻擊，無論是在存儲(chǔ)、處理還是應(yīng)用程序中。

這是一個(gè)來自傳統(tǒng)建筑領(lǐng)域的有趣統(tǒng)計(jì)數(shù)據(jù)，發(fā)現(xiàn)一半的受訪建筑師因擔(dān)心數(shù)據(jù)安全而不愿使用他們的 BIM（建筑信息模型）團(tuán)隊(duì)軟件。因此，很多有價(jià)值的合作并沒有發(fā)生，因?yàn)閰⑴c其中的員工感覺環(huán)境不夠安全。您需要提供這種安全性。

5. 成為更出色的數(shù)據(jù)策展人

現(xiàn)在到處都有更多的數(shù)據(jù)。有時(shí)我們幾乎沉浸在其中。當(dāng)它處于原始和/或雜亂無章的狀態(tài)時(shí)，數(shù)據(jù)的有用性可能會(huì)受到損害。在達(dá)到其功效潛力之前，需要進(jìn)行一定的梳理。

例如，我們擁有的電視比我們知道的要多得多。有時(shí)，剛開始決定當(dāng)晚要看什么可能會(huì)令人困惑。這就是為什么電視服務(wù)通常具有策展人模式的原因，根據(jù)之前的觀看和其他數(shù)據(jù)，某些電影或連續(xù)劇被突出顯示為觀眾可能更可能感興趣。

觀眾可能會(huì)或可能不會(huì)根據(jù)其建議接受服務(wù)。如果他們決定不這樣做，他們幾乎肯定會(huì)通過查看各種節(jié)目分組來尋找其他材料——戲劇、驚悚片、科幻片等。這是另一層策展，稱為分類法。

對(duì)于工作場(chǎng)所的數(shù)據(jù)，同樣的原則也適用。為確保為您的員工提供最適合其任務(wù)的材料，數(shù)據(jù)架構(gòu)必須使信息以易于理解和易于訪問的模式顯示。精選數(shù)據(jù)必須對(duì)業(yè)務(wù)用戶有所幫助，因此應(yīng)定期進(jìn)行質(zhì)量檢查。出于這個(gè)原因，數(shù)據(jù)架構(gòu)應(yīng)該包括測(cè)試自動(dòng)化的最佳實(shí)踐。

6. 靈活

商業(yè)中有一個(gè)不變的東西：變化。您對(duì)它的期望越高，甚至接受它，您的業(yè)務(wù)就會(huì)表現(xiàn)得越好。考慮到這一點(diǎn)，您實(shí)施的任何數(shù)據(jù)架構(gòu)都應(yīng)該具有輕松發(fā)展的潛力。例如，模塊化就受到高度重視，它使組織有機(jī)會(huì)更新系統(tǒng)而無需大規(guī)模更換系統(tǒng)。

另一個(gè)靈活性領(lǐng)域在于員工訪問數(shù)據(jù)的方式。將您的數(shù)據(jù)架構(gòu)設(shè)計(jì)為允許多種格式的訪問請(qǐng)求是有意義的。這樣，您的系統(tǒng)將能夠處理例如非結(jié)構(gòu)化的電子郵件以及結(jié)構(gòu)化的 CSV 文件。這種應(yīng)對(duì)非技術(shù)人員投入的能力將消除對(duì)可能耗時(shí)且昂貴的培訓(xùn)的需求。

7. 減少數(shù)據(jù)副本

您的數(shù)據(jù)架構(gòu)應(yīng)以減少不斷復(fù)制數(shù)據(jù)的需要的方式安排。生產(chǎn)無休止的數(shù)據(jù)副本在處理空間和財(cái)務(wù)方面都是浪費(fèi)的。這本身也是一種安全風(fēng)險(xiǎn)。數(shù)據(jù)虛擬化可以消除傳輸和復(fù)制數(shù)據(jù)的需要。使用 Azure Synapse Analytics 等工具，無需傳輸即可對(duì)所有數(shù)據(jù)運(yùn)行查詢。

8. 反向 ETL

您可能已經(jīng)知道 ETL 是什么。以防萬一，ETL（或提取、轉(zhuǎn)換、加載）是創(chuàng)建企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的常用方法。它是一種將來自多個(gè)來源的數(shù)據(jù)組合成一個(gè)連貫整體的方法。

因此，反向 ETL 是一種從數(shù)據(jù)倉(cāng)庫(kù)中獲取數(shù)據(jù)并更改其格式的方法。為了使數(shù)據(jù)與來自 Salesforce、Hubspot 或 Marketo 等第三方來源的應(yīng)用程序兼容，需要將其從存儲(chǔ)位置取出并轉(zhuǎn)換為更合適的形狀。

因此，您的數(shù)據(jù)架構(gòu)必須允許這樣做。有一些反向 ETL 工具已預(yù)先安裝了 API 集成，從而簡(jiǎn)化了使用和維護(hù)。但是，即使您不使用實(shí)際的反向 ETL，您也必須意識(shí)到需要一個(gè)流程，通過該流程可以訪問數(shù)據(jù)以供各種應(yīng)用程序使用。應(yīng)根據(jù)業(yè)務(wù)的性質(zhì)和所存儲(chǔ)的數(shù)據(jù)實(shí)現(xiàn)標(biāo)準(zhǔn)化接口，例如 SQL、RESTful API 或 OLAP。這種標(biāo)準(zhǔn)化將確保檢索到的數(shù)據(jù)以可預(yù)測(cè)并因此立即可用的格式到達(dá)。

9. 攝取問題

您的攝取工具是將數(shù)據(jù)從攝取堆棧加載到數(shù)據(jù)倉(cāng)庫(kù)的方法。這些數(shù)據(jù)將以多種形式來自大量來源，因此您的數(shù)據(jù)架構(gòu)需要一個(gè)可以處理盡可能多的攝取工具。

與許多單一來源的攝取工具相比，擁有一些通用的攝取工具更好。必須在工具之間進(jìn)行交換會(huì)浪費(fèi)時(shí)間，并且會(huì)影響您的數(shù)據(jù)性能。因此，您需要做的是確定您需要支持哪些攝取形式，例如 FTP、Batch、CDC、API），并確保您的數(shù)據(jù)架構(gòu)是圍繞可以處理它們的攝取工具構(gòu)建的。

10. 數(shù)據(jù)發(fā)現(xiàn)

您的數(shù)據(jù)架構(gòu)中應(yīng)該包含自動(dòng)數(shù)據(jù)發(fā)現(xiàn)會(huì)話的規(guī)定。這可以揭示有趣且有價(jià)值的數(shù)據(jù)模式，并突出顯示應(yīng)用程序可以在哪些方面進(jìn)行更新。例如，云電話系統(tǒng)應(yīng)執(zhí)行定期數(shù)據(jù)發(fā)現(xiàn)掃描，以檢查過時(shí)或沖突的個(gè)人信息。

結(jié)論

因此，數(shù)據(jù)架構(gòu)主要是關(guān)于確保您已經(jīng)考慮過您的信息持有結(jié)構(gòu)。它是否具有符合要求的輸入方式？輸出格式是否符合您的業(yè)務(wù)需求？任何系統(tǒng)規(guī)劃方法都必須包括這些問題的答案。

回到我們最初的存儲(chǔ)、處理和使用模式，很明顯，您的數(shù)據(jù)架構(gòu)的大多數(shù)部分影響的不僅僅是這些領(lǐng)域中的一個(gè)。在這方面，良好的數(shù)據(jù)架構(gòu)通常與良好的操作系統(tǒng)設(shè)計(jì)有很多共同之處。雖然通過分解事物進(jìn)行分析通常很好，但有時(shí)必須有一個(gè)整體的觀點(diǎn)才能看到結(jié)構(gòu)是如何工作的。這種觀點(diǎn)將對(duì)數(shù)據(jù)架構(gòu)帶來好處。