數(shù)據(jù)安全治理工作將以“數(shù)據(jù)資產(chǎn)化”為中心,聚焦于數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資產(chǎn)開發(fā)利用、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展三條主線。同時(shí)強(qiáng)調(diào)數(shù)據(jù)治理要服務(wù)于業(yè)務(wù),應(yīng)用于業(yè)務(wù);要抓牢“數(shù)據(jù)產(chǎn)在本地,存在本地,用在本地”的定位,既要立足長遠(yuǎn)、夯實(shí)基礎(chǔ),又要長短結(jié)合、持續(xù)迭代。 整體思路為“田”字型架構(gòu),三橫從下往上分別為數(shù)據(jù)資源、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn),三豎從左往右分別為制度保障、組織保障、安全保障?! 〗ㄔO(shè)思路為
發(fā)布日期:2024-06-25 03:51瀏覽次數(shù):
數(shù)據(jù)安全治理工作將以“數(shù)據(jù)資產(chǎn)化”為中心,聚焦于數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資產(chǎn)開發(fā)利用、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展三條主線。同時(shí)強(qiáng)調(diào)數(shù)據(jù)治理要服務(wù)于業(yè)務(wù),應(yīng)用于業(yè)務(wù);要抓牢“數(shù)據(jù)產(chǎn)在本地,存在本地,用在本地”的定位,既要立足長遠(yuǎn)、夯實(shí)基礎(chǔ),又要長短結(jié)合、持續(xù)迭代。
整體思路為“田”字型架構(gòu),三橫從下往上分別為數(shù)據(jù)資源、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn),三豎從左往右分別為制度保障、組織保障、安全保障。
建設(shè)思路為“1234”,即1個(gè)宗旨:保障數(shù)據(jù)質(zhì)量與安全,降低數(shù)據(jù)使用成本,提升數(shù)據(jù)價(jià)值,2個(gè)范圍:關(guān)注公共數(shù)據(jù)和企業(yè)數(shù)據(jù),3個(gè)支撐:組織支撐、標(biāo)準(zhǔn)支撐、安全支撐,4個(gè)過程:采、存、管、用四個(gè)過程開展工作。
核心目標(biāo)以海量、高速、多維、異構(gòu)數(shù)據(jù)為基礎(chǔ),通過大數(shù)據(jù)技術(shù)將數(shù)據(jù)整合起來應(yīng)用在業(yè)務(wù)領(lǐng)域,一方面應(yīng)用于政務(wù)領(lǐng)域整體提升城市運(yùn)行管理、政務(wù)服務(wù)、城市綜合管理決策和產(chǎn)業(yè)轉(zhuǎn)型升級等方面能力,加快政府“用數(shù)據(jù)決策、數(shù)據(jù)服務(wù)、數(shù)據(jù)創(chuàng)新”的現(xiàn)代化治理模式。另一方面與廣大市場主體的創(chuàng)造力更好地結(jié)合,尋求應(yīng)用場景進(jìn)行落地。同時(shí)幫助各類組織建立健全數(shù)據(jù)合規(guī)治理與安全保障體系來驅(qū)動(dòng)業(yè)務(wù)發(fā)展,進(jìn)行數(shù)字化轉(zhuǎn)型。通過緊扣培育數(shù)據(jù)要素市場發(fā)展、釋放公共數(shù)據(jù)資源價(jià)值、賦能數(shù)字政府建設(shè)、激活社會(huì)數(shù)據(jù)資源四個(gè)目標(biāo)的建設(shè)過程實(shí)現(xiàn)數(shù)據(jù)治理工作的成果展示。
數(shù)據(jù)治理需要覆蓋數(shù)據(jù)生命周期的全鏈路,通常數(shù)據(jù)治理的內(nèi)容劃分為幾大部分:組織、標(biāo)準(zhǔn)規(guī)范、技術(shù)、衡量指標(biāo)。整體數(shù)據(jù)治理的路徑是以標(biāo)準(zhǔn)化的規(guī)范和組織保障為前提,通過做技術(shù)體系整體保證數(shù)據(jù)治理策略的實(shí)現(xiàn)。同時(shí),搭建數(shù)據(jù)治理的衡量體系,隨時(shí)觀測和監(jiān)控?cái)?shù)據(jù)治理的效果,做好長期迭代過程來保障數(shù)據(jù)治理的發(fā)展。
數(shù)據(jù)標(biāo)準(zhǔn)化包括三個(gè)方面:一是標(biāo)準(zhǔn)制定;二是標(biāo)準(zhǔn)執(zhí)行;三是在標(biāo)準(zhǔn)制定和執(zhí)行過程中的組織保障,從標(biāo)準(zhǔn)制定上,需要制定一套覆蓋數(shù)據(jù)生產(chǎn)到使用全鏈路的數(shù)據(jù)標(biāo)準(zhǔn)方法,從數(shù)據(jù)采集、數(shù)倉開發(fā)、指標(biāo)管理到數(shù)據(jù)生命周期管理都需建立相應(yīng)環(huán)節(jié)的標(biāo)準(zhǔn)化的研發(fā)規(guī)范,數(shù)據(jù)從接入到消亡整個(gè)生命周期必須全部實(shí)現(xiàn)標(biāo)準(zhǔn)化。
建議政務(wù)數(shù)據(jù)公司增設(shè)數(shù)據(jù)管理室,作為數(shù)據(jù)管理部門,設(shè)四個(gè)組,規(guī)劃組、產(chǎn)品組、開發(fā)組、運(yùn)營組;建議各部門各二、三級公司增設(shè)數(shù)據(jù)管理專員(專/兼職人員)負(fù)責(zé)本單位的數(shù)據(jù)歸集;建議數(shù)據(jù)實(shí)驗(yàn)室作為數(shù)據(jù)治理的技術(shù)支撐單位。
在數(shù)倉分層上建議采用最常見的四層分層方式,分別是貼源層、明細(xì)層、匯總層、應(yīng)用層和維度信息。為實(shí)現(xiàn)應(yīng)用數(shù)據(jù)快速供給,區(qū)別于業(yè)務(wù)數(shù)倉分層設(shè)計(jì)方式,應(yīng)從明細(xì)層就按維度建模思路組織數(shù)據(jù),避免過度設(shè)計(jì),只需要做好主題劃分和解耦。在匯總層從分析習(xí)慣出發(fā)耦合數(shù)據(jù),提升易用性。應(yīng)用層按需創(chuàng)建所需接口支撐應(yīng)用。
貼源層:來源的原始數(shù)據(jù)直接入庫不做加工,只添加相關(guān)時(shí)間、備注等基礎(chǔ)信息方便溯源。
明細(xì)層:按照不同的主題組織數(shù)據(jù)進(jìn)行整合加工解耦數(shù)據(jù)源,針對各類場景所需的詳細(xì)數(shù)據(jù)進(jìn)行篩查并關(guān)注、標(biāo)記,同時(shí)此層可作數(shù)據(jù)探查、數(shù)據(jù)價(jià)值相關(guān)工作。
匯總層:按分析對象做一部分的數(shù)據(jù)聚合與維度建模(維度表和事實(shí)表),元數(shù)據(jù)管理、主特征提取等相關(guān)工作均在此層,
應(yīng)用層:按應(yīng)用需求進(jìn)行數(shù)據(jù)模型開發(fā),實(shí)現(xiàn)可視化大屏、API接口、數(shù)據(jù)報(bào)告等數(shù)據(jù)產(chǎn)品。
數(shù)據(jù)治理工作涉及范圍較廣,工作內(nèi)容較為繁瑣,為提升效能,需通過技術(shù)系統(tǒng)化和自動(dòng)化的方式進(jìn)一步提效,讓系統(tǒng)代替人工。主要從數(shù)據(jù)規(guī)劃、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)等幾個(gè)方向來實(shí)現(xiàn)技術(shù)方案。
規(guī)劃組的數(shù)據(jù)規(guī)劃方案是整體工作的基石,主要以對當(dāng)前數(shù)據(jù)來源部門的業(yè)務(wù)現(xiàn)狀進(jìn)行分析,完成數(shù)據(jù)和業(yè)務(wù)的調(diào)研為主。調(diào)研包括表范圍、存儲(chǔ)位置、中英文名、來源系統(tǒng)、優(yōu)先級、更新方式、業(yè)務(wù)場景以及數(shù)據(jù)的條數(shù)和增量條數(shù)等。表級別的數(shù)據(jù)調(diào)研主要是為了數(shù)據(jù)接入做準(zhǔn)備,根據(jù)存儲(chǔ)位置、來源系統(tǒng)、優(yōu)先級制定接入計(jì)劃以及確認(rèn)哪些資源需要實(shí)時(shí)接入、哪些資源需要離線接入。字段調(diào)研則包括表結(jié)構(gòu)、字段類型格式、樣例數(shù)據(jù)、有值行、有值率、是否需要制定標(biāo)準(zhǔn)、是否掛載已存在標(biāo)準(zhǔn)、值域分布等,字段級別調(diào)研可以增加數(shù)據(jù)標(biāo)準(zhǔn)化的效率。此外通過業(yè)務(wù)的調(diào)研,對指標(biāo)、模型分層、主題進(jìn)行初步的梳理為后續(xù)的指標(biāo)和模型設(shè)計(jì)做準(zhǔn)備。
產(chǎn)品組的治理數(shù)據(jù)質(zhì)量方案覆蓋了數(shù)據(jù)生命周期的各個(gè)環(huán)節(jié),主要有統(tǒng)一數(shù)倉規(guī)范建模、統(tǒng)一指標(biāo)邏輯管理、統(tǒng)一數(shù)據(jù)服務(wù)。
通過統(tǒng)一數(shù)倉規(guī)范建模系統(tǒng)化保障數(shù)倉規(guī)范執(zhí)行,做到業(yè)務(wù)數(shù)倉規(guī)范標(biāo)準(zhǔn)化,并及時(shí)監(jiān)控和刪除重復(fù)和過期的數(shù)據(jù)。主要由三個(gè)方面組成。
數(shù)倉建模規(guī)范,數(shù)倉建設(shè)最基礎(chǔ)的規(guī)范,包括分層、命名、碼值、指標(biāo)定義、分層依賴等維度。
主數(shù)據(jù)管理規(guī)范,通常數(shù)倉有3-5層構(gòu)成,為避免數(shù)據(jù)混亂,每層的各個(gè)主題的數(shù)據(jù)只有一份,一般不得重復(fù)開發(fā)。
數(shù)據(jù)使用規(guī)范,在查詢數(shù)據(jù)時(shí)優(yōu)先查詢主題層,不再提供明細(xì)層和貼源層的查詢訪問入口。
使用數(shù)據(jù)的第一步是構(gòu)建指標(biāo)體系,場景的實(shí)現(xiàn)目標(biāo)和執(zhí)行情況需要通過指標(biāo)來分析,指標(biāo)體系的合理性和指標(biāo)數(shù)據(jù)的質(zhì)量直接影響到場景的使用情況。前期我們通過數(shù)商的應(yīng)用場景來積累自身的指標(biāo)體系,逐漸形成自身的指標(biāo)建設(shè)能力,主要以指標(biāo)定義規(guī)范化與指標(biāo)管理系統(tǒng)化來實(shí)現(xiàn)開發(fā)人員對指標(biāo)管理的認(rèn)知一致。
指標(biāo)定義:首先是指標(biāo)的定義,將業(yè)務(wù)指標(biāo)進(jìn)行分析和拆解,得到原子指標(biāo)、派生指標(biāo)以及復(fù)合指標(biāo),同時(shí)明確數(shù)據(jù)域、業(yè)務(wù)過程、修飾詞、衍生詞等相關(guān)內(nèi)容。
指標(biāo)管理:主要對表的基礎(chǔ)元數(shù)據(jù)信息、表類型(維表或事實(shí)表)、表的推薦度、描述信息和樣例數(shù)據(jù)等管理。數(shù)據(jù)表管理主要是面向開發(fā)組,通過維護(hù)數(shù)據(jù)表信息,為數(shù)據(jù)模型和指標(biāo)管理提供數(shù)據(jù)基礎(chǔ)支持。
隨著應(yīng)用場景的增加,數(shù)倉對外提供數(shù)據(jù)的越來越多,常用的提供數(shù)據(jù)的方式主要包括同步數(shù)據(jù)表(結(jié)果信息)、提供SQL模型和開發(fā)定制化API接口等方式,在對外提供的過程中需要著重考慮服務(wù)的管控、數(shù)據(jù)一致性、開發(fā)效率和穩(wěn)定性提升。
服務(wù)管控:開發(fā)組必須隨時(shí)了解到數(shù)據(jù)被哪些場景使用、調(diào)用了多少次和數(shù)據(jù)服務(wù)是否穩(wěn)定等信息。
數(shù)據(jù)一致性:當(dāng)應(yīng)用層數(shù)據(jù)出現(xiàn)更改時(shí),需要保障所有涉及此項(xiàng)數(shù)據(jù)的應(yīng)用場景都需實(shí)時(shí)同步更新保證數(shù)據(jù)準(zhǔn)確性。
開發(fā)效率和穩(wěn)定性提升:接口的配置化開發(fā)與模型算法的強(qiáng)壯是保證效率和穩(wěn)定性的前提。
事前:以標(biāo)準(zhǔn)化規(guī)范為前提進(jìn)行數(shù)倉分層、命名、開發(fā)流程、關(guān)聯(lián)關(guān)系、代碼編寫、注釋等工作;
事中:以配置化開發(fā)作為主要開發(fā)手段,具體有集成(ETL)工具開發(fā)、數(shù)據(jù)產(chǎn)品模型開發(fā)、數(shù)倉分層等工作;
事后:對場景應(yīng)用產(chǎn)品進(jìn)行規(guī)范化驗(yàn)證,對數(shù)據(jù)血緣進(jìn)行分析關(guān)注數(shù)據(jù)使用安全、產(chǎn)品穩(wěn)定性等工作內(nèi)容。
數(shù)據(jù)安全治理工作將始終秉持著以數(shù)據(jù)要素價(jià)值鏈為理念,以市場需求為導(dǎo)向,秉持著“安全合規(guī)是生命線、安全事件零容忍、詳細(xì)數(shù)據(jù)不出域”為原則,將技術(shù)創(chuàng)新與應(yīng)用場景深度融合,全面化、規(guī)?;_展數(shù)據(jù)治理,打造集數(shù)據(jù)資源+數(shù)據(jù)產(chǎn)品+服務(wù)目錄多元結(jié)構(gòu)的數(shù)據(jù)治理成果,根據(jù)現(xiàn)階段業(yè)務(wù)場景需求,建立以金融、文旅、農(nóng)業(yè)、政務(wù)領(lǐng)域的數(shù)據(jù)全覆蓋為目標(biāo)的數(shù)據(jù)治理,通過分析現(xiàn)有場景的數(shù)據(jù)需求、評分體系,建立體系化的、可持續(xù)更新的動(dòng)態(tài)數(shù)據(jù)支撐體系和配套機(jī)制。
主要業(yè)務(wù)流程工作為首先進(jìn)行資源梳理形成相關(guān)數(shù)據(jù)實(shí)體和關(guān)系的知識圖譜,再以元數(shù)據(jù)、主數(shù)據(jù)、質(zhì)量、安全合規(guī)、模型管理等開展治理及優(yōu)化工作,最終將治理后的圖譜庫開展數(shù)據(jù)統(tǒng)計(jì)分析、標(biāo)簽標(biāo)注等工作以實(shí)現(xiàn)模型的快速開發(fā)。
大金融領(lǐng)域目前已有普惠、信貸、4166am金沙信心之選保險(xiǎn)等細(xì)分場景,涉及公安、人社、稅務(wù)、公積金、教育、財(cái)政、交通、衛(wèi)健委、市監(jiān)、發(fā)改等部門數(shù)據(jù),主要解決征信機(jī)構(gòu)的個(gè)企數(shù)據(jù)互補(bǔ)、保司的核保放款、綠色金融合作、金融機(jī)構(gòu)的放款資質(zhì)審查等問題。目前金融領(lǐng)域細(xì)分場景較多且從數(shù)據(jù)評估來說落地性極強(qiáng)。
文旅領(lǐng)域目前有文物數(shù)字化、文旅業(yè)態(tài)服務(wù)、數(shù)字營銷等細(xì)分場景,涉及公安、交通、文旅等部門數(shù)據(jù)主要提供智能講解、數(shù)字文創(chuàng)藏品、文旅業(yè)態(tài)產(chǎn)業(yè)精準(zhǔn)營銷等服務(wù)內(nèi)容。目前從數(shù)據(jù)評估上看還需要OTA(攜程、美團(tuán)等)、銀聯(lián)消費(fèi)、運(yùn)營商信令等數(shù)據(jù),還需加強(qiáng)生態(tài)合作后共同合作開發(fā)。
農(nóng)業(yè)領(lǐng)域目前有農(nóng)產(chǎn)品溯源、農(nóng)業(yè)遙感應(yīng)用等細(xì)分場景,涉及農(nóng)業(yè)農(nóng)村、自規(guī)局、市監(jiān)等部門數(shù)據(jù),主要提供農(nóng)業(yè)產(chǎn)業(yè)鏈數(shù)字化追溯、農(nóng)業(yè)全范圍精準(zhǔn)監(jiān)測,目前從數(shù)據(jù)評估上看能夠滿足,涉及自規(guī)局的遙感影像數(shù)據(jù)還需GIS類公司進(jìn)行專門的圖層建模,還需加強(qiáng)生態(tài)合作后共同合作開發(fā)。
政務(wù)服務(wù)領(lǐng)域目前場景較多,主要分為兩類,一類是聯(lián)動(dòng)指揮類型,為政府提供統(tǒng)一聯(lián)動(dòng)協(xié)調(diào)能力,將涉及的12345、應(yīng)急、公安、城管、水利等部門的事件數(shù)據(jù)進(jìn)行打通后統(tǒng)一分析發(fā)放以達(dá)到各個(gè)部門之間的實(shí)時(shí)通信做到互聯(lián)互通、協(xié)同作戰(zhàn),可賦能駕駛艙的聯(lián)動(dòng)指揮。另一種以數(shù)據(jù)預(yù)測,比如人口流入流出監(jiān)控、民生訴求分析等場景,主要從數(shù)據(jù)層面幫助政府部門優(yōu)化業(yè)務(wù)和對部門進(jìn)行數(shù)據(jù)服務(wù)。但是存在一定的公益性行為與牽扯部門較多等問題,具體的合作方式還有待加強(qiáng)研究。
經(jīng)過在數(shù)據(jù)治理體系化建設(shè)上的持續(xù)思考與實(shí)踐,在數(shù)據(jù)治理的標(biāo)準(zhǔn)化、數(shù)字化和系統(tǒng)化三個(gè)方向上有了一定的了解,但是目前行業(yè)內(nèi)所用的流程規(guī)范、元數(shù)據(jù)數(shù)倉、指標(biāo)體系、資產(chǎn)分級等工作還是依賴專家經(jīng)驗(yàn)、人為判斷、人工操作的串聯(lián)行為,所以智能化(如智能化元數(shù)據(jù)服務(wù)、智能化數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)等)、自動(dòng)化(基于治理框架的治理應(yīng)用場景的線上化建設(shè)等)等既是趨勢,也是我們學(xué)習(xí)的方向和目標(biāo)。
個(gè)人所得稅APP “收入納稅明細(xì)”新增顯示五項(xiàng)個(gè)人所得,12366:主要是查詢、展示
保不起了!特斯拉3年保費(fèi)從7000漲到2萬多,車主:一年用車成本高達(dá)四五萬,寧愿賣車后打車,也不愿續(xù)高額保費(fèi)【附新能源汽車保險(xiǎn)行業(yè)現(xiàn)狀分析】
U18亞洲杯:中國女籃59分狂勝印尼 張子宇9中9轟19分徐培琳20分
鴻博股份全家套現(xiàn)背后:毛偉7億收購空手套白狼,財(cái)務(wù)顧問華英證券和中信證券數(shù)據(jù)打架!
與中堅(jiān)力量共成長,2024建信信托藝術(shù)大獎(jiǎng)評委會(huì)特別獎(jiǎng)獲獎(jiǎng)藝術(shù)家凌海鵬
TTS新傳論文帶讀:Manner甚至監(jiān)控員工上廁所時(shí)間!!不要太離譜!!!4166am金沙