敦煌，是一個(gè)傳承的夢(mèng)

博大而精深，浩瀚而深廣

2018?東軟解決方案論壇（NSF）走進(jìn)敦煌

作為本次解決方案論壇最受關(guān)注的平行論壇之一 ——“數(shù)據(jù) 智能 驅(qū)動(dòng)新時(shí)代”平行論壇座無虛席。

東軟平臺(tái)產(chǎn)品事業(yè)本部基礎(chǔ)軟件事業(yè)部咨詢總監(jiān)毛軍老師誠(chéng)摯分享了題為《激活數(shù)據(jù)資產(chǎn) 融合場(chǎng)景賦能》的數(shù)據(jù)智能應(yīng)用實(shí)踐案例及平臺(tái)產(chǎn)品在大數(shù)據(jù)方面的解決方案。

下面，就將本次演講干貨第一時(shí)間分享給大家。

01

如果說人類的進(jìn)步在于不斷突破創(chuàng)新，那么下一個(gè)創(chuàng)新的推動(dòng)引擎就是數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為重要資源和戰(zhàn)略資產(chǎn)，大數(shù)據(jù)不僅帶來思維上的變更，同時(shí)也給人們帶來生活上變革。有了大數(shù)據(jù)支持，政府管理工作會(huì)高效、精準(zhǔn)、科學(xué)，金融行業(yè)大數(shù)據(jù)正在創(chuàng)新經(jīng)濟(jì)模式，促進(jìn)資源有效配置，激活市場(chǎng)活力，企業(yè)基于大數(shù)據(jù)可以改善經(jīng)營(yíng)性決策、個(gè)性化營(yíng)銷，甚至可以改變企業(yè)的商業(yè)模式。

這一切看起來很美好，但是數(shù)據(jù)作為一種資源，在“沉睡”的時(shí)候很難創(chuàng)造價(jià)值。打個(gè)比方，沉眠的數(shù)據(jù)如同深藏地下的礦藏，沒有被發(fā)掘時(shí)毫無價(jià)值，只有被發(fā)現(xiàn)，被開采，被提煉，被加工成為成品融入于各生活場(chǎng)景才能真正發(fā)揮價(jià)值。因而我們可以得出一個(gè)結(jié)論，大數(shù)據(jù)的本質(zhì)并不在于“大”而在于“用”，數(shù)據(jù)價(jià)值的挖掘在于融合具體業(yè)務(wù)場(chǎng)景，通過場(chǎng)景驅(qū)動(dòng)大數(shù)據(jù)落地。

無論是來自于 IDC 的大數(shù)據(jù)調(diào)查報(bào)告，還是《中國(guó)大數(shù)據(jù)白皮書》及 Gartner 分析，都將重點(diǎn)指向了數(shù)據(jù)應(yīng)用。

02

數(shù)據(jù)應(yīng)用的場(chǎng)景多種多樣，不同的行業(yè)有不同的應(yīng)用場(chǎng)景。這樣看來，要想推動(dòng)落地、發(fā)揮價(jià)值還有不小的難度。而東軟對(duì)各行業(yè)的業(yè)務(wù)有多年的積累，我們能歸納出通用的應(yīng)用范式和應(yīng)用場(chǎng)景，這樣就極大的簡(jiǎn)化了這個(gè)問題域。

這些范式主要包括數(shù)據(jù)集成共享、敏捷 BI 分析、數(shù)據(jù)超級(jí)檢索、多維動(dòng)態(tài)分析。

1.數(shù)據(jù)集成共享：信息流動(dòng)和分享的范圍越大，創(chuàng)造的價(jià)值就越高，數(shù)據(jù)集成共享解決的即是數(shù)據(jù)開放共享的問題，加速數(shù)據(jù)流轉(zhuǎn)。

2.敏捷BI分析：可視化是對(duì)于大數(shù)據(jù)應(yīng)用效果直觀展示，它降低了數(shù)據(jù)分析門檻，不懂復(fù)雜的數(shù)學(xué)公式也可以快速發(fā)現(xiàn)問題。

3.數(shù)據(jù)超級(jí)檢索：搜索已經(jīng)成為人們獲取新知，探索未知的重要手段，同樣在大數(shù)據(jù)海洋中，提供靈活、即席的查詢檢索是必然。

4.多維動(dòng)態(tài)分析：在大數(shù)據(jù)應(yīng)用中，多維分析是大數(shù)據(jù)體現(xiàn)智能、展現(xiàn)魅力所在，挖掘數(shù)據(jù)，提煉真知，形成決策。

03

數(shù)據(jù)的應(yīng)用離不開技術(shù)的支撐，通過對(duì)以上的通用范式提供技術(shù)保障，我們可以把這些范式應(yīng)用在不同的數(shù)據(jù)場(chǎng)景中，帶來源源不斷的不可窮盡的價(jià)值。

所以我們可以歸納為，要應(yīng)用好數(shù)據(jù)，就需要“數(shù)據(jù)+技術(shù)+場(chǎng)景”，怎么理解？數(shù)據(jù)是原材料，是基礎(chǔ)，技術(shù)是加工工具，負(fù)責(zé)提煉、加工，最終融合到各類應(yīng)用場(chǎng)景賦予數(shù)據(jù)生命和智慧。

下面來看看幾個(gè)行業(yè)的大數(shù)據(jù)應(yīng)用場(chǎng)景。

04

對(duì)于 金融行業(yè) 來說，一個(gè)典型的業(yè)務(wù)場(chǎng)景是用戶通過移動(dòng)端進(jìn)行支付，其背后數(shù)據(jù)流轉(zhuǎn)的過程需要經(jīng)過銀行的前置系統(tǒng)，渠道系統(tǒng)，與第三方系統(tǒng)結(jié)算，最后與銀行記賬核心交互。可以看出一個(gè)交易過程在背后涉及多個(gè)系統(tǒng)，一旦中間有差錯(cuò)需要通過日志排查多個(gè)系統(tǒng)。然而對(duì)某金融機(jī)構(gòu)來說，原有的日志處理系統(tǒng)不能勝任自動(dòng)化基于日志定位排錯(cuò)，原因在于每個(gè)系統(tǒng)日志單獨(dú)存儲(chǔ)，格式不統(tǒng)一，無法關(guān)聯(lián)，造成出錯(cuò)時(shí)人工排查為主，并附以額外的監(jiān)控手段，成本及人工均耗費(fèi)較大。

因此，建立全新統(tǒng)一的日志數(shù)據(jù)分析平臺(tái)提上日程，新系統(tǒng)定位目標(biāo)是實(shí)現(xiàn)一分鐘發(fā)現(xiàn)問題、五分鐘定位問題、十分鐘解決問題。一分鐘發(fā)現(xiàn)問題，主要涉及交易監(jiān)控，應(yīng)用監(jiān)控，任務(wù)監(jiān)控，健康檢查；五分鐘定位問題，主要涉及交易查找，報(bào)錯(cuò)定位，業(yè)務(wù)流排錯(cuò)；十分鐘解決問題，主要涉及構(gòu)建專家知識(shí)庫，做到故障自愈，智能回答。

針對(duì)上述提到問題癥狀，我們?cè)敿?xì)論證，提供對(duì)癥方案：

1.改—針對(duì)現(xiàn)有日志格式不統(tǒng)一，風(fēng)格各異的現(xiàn)象，制定統(tǒng)一日志規(guī)范。

2.替—采用大數(shù)據(jù)存儲(chǔ)，提供集中、海量存儲(chǔ)能力。

3.聚—通過23個(gè)采集節(jié)點(diǎn)高速采集日志，實(shí)現(xiàn)每天日增量1TB日志數(shù)據(jù)的采集，每秒吞吐量最高可達(dá)17萬條。

4.智—基于大數(shù)據(jù)智能分析日志數(shù)據(jù)，自動(dòng)關(guān)聯(lián)排查故障。

政府大數(shù)據(jù) 也是當(dāng)前建設(shè)熱點(diǎn)，政府由于職能需求，保有大量的各行業(yè)數(shù)據(jù)。國(guó)家對(duì)于如何利用這些數(shù)據(jù)，發(fā)揮政府主體數(shù)據(jù)價(jià)值，從2015年相繼提出“大數(shù)據(jù)發(fā)展行動(dòng)綱要”，“政府?dāng)?shù)據(jù)開放”，“互聯(lián)網(wǎng)+政務(wù)”等政策文件，大力推動(dòng)政府大數(shù)據(jù)發(fā)展。

不僅是政策在驅(qū)動(dòng)，一股內(nèi)部自我改進(jìn)的驅(qū)動(dòng)力也呼喚大數(shù)據(jù)技術(shù)。各類問題困擾著政府大數(shù)據(jù)的實(shí)施，主要有:

1.首先是當(dāng)前在各級(jí)政府機(jī)構(gòu)內(nèi)及機(jī)構(gòu)間，存在著“部門墻”問題，數(shù)據(jù)由于“安全”，“只能遠(yuǎn)觀”等理由，不能有效共享與交換；

2.其次有些機(jī)構(gòu)有一定的數(shù)據(jù)共享基礎(chǔ)，但共享開放多為靜態(tài)文本，更新不及時(shí)

3.最后數(shù)據(jù)質(zhì)量堪憂，缺少統(tǒng)一管理，以政務(wù)服務(wù)為例，同樣的服務(wù)在不同的機(jī)構(gòu)中，名稱、內(nèi)容格式都不盡相同，導(dǎo)致在協(xié)同服務(wù)，辦件數(shù)據(jù)交換困難。

對(duì)此，按照“互聯(lián)網(wǎng)+政務(wù)”建設(shè)的要求，在 2018 年底各省級(jí)要建成省級(jí)政務(wù)資源共享交換平臺(tái)，同時(shí)構(gòu)建政務(wù)信息資源目錄。以某省為例，構(gòu)建升級(jí)數(shù)據(jù)共享交換平臺(tái)連接各政府機(jī)構(gòu)，提供數(shù)據(jù)交換通道；同時(shí)基于政務(wù)信息資源目錄系統(tǒng)梳理信息資源目錄，開放政府?dāng)?shù)據(jù)，對(duì)外共享。目前接入系統(tǒng)部門數(shù)量 90 余個(gè)，梳理數(shù)據(jù)資源目錄 2.2 萬個(gè)，開放提供目錄信息項(xiàng)達(dá) 30 萬余個(gè)，日均服務(wù)調(diào)用 500 余次，惠及 7000余萬群眾與企業(yè)。

公安行業(yè) 中，由于信息化、互聯(lián)網(wǎng)化不斷發(fā)展，新的犯罪形式如網(wǎng)絡(luò)犯罪、電信詐騙等，對(duì)于治安防控提出了嚴(yán)重的挑戰(zhàn)。如何根據(jù)舉報(bào)線索，快速的在十億級(jí)數(shù)據(jù)中查出嫌疑人的身份、住址、從業(yè)、背景、軌跡、違法犯罪等信息？如何從交通視頻信息、通話等碎片化無序的信息中抓住蛛絲馬跡，分析出嫌疑人的行為軌跡？

大數(shù)據(jù)平臺(tái)可解答上述疑問，平臺(tái)全面采集和整合海量數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理、分析、深度挖掘，發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律，為預(yù)防、打擊犯罪提供強(qiáng)有力的支撐。

以某地市的智慧公安項(xiàng)目為例，既有的基礎(chǔ)信息不能適應(yīng)新的治安防控需要；黨政機(jī)關(guān)、重點(diǎn)部位、主要路口、公共復(fù)雜場(chǎng)所等視頻監(jiān)控資源，與各部門、各警種業(yè)務(wù)資源數(shù)據(jù)無法結(jié)合；警員不能實(shí)時(shí)、直觀地了解和掌握監(jiān)控區(qū)域的治安動(dòng)態(tài)，難以及時(shí)發(fā)現(xiàn)、處理各類突發(fā)事件、群體事件，無法有效支撐公安“大情報(bào)”戰(zhàn)略。對(duì)此大數(shù)據(jù)平臺(tái)建設(shè)重點(diǎn)圍繞信息集成整合，信息實(shí)戰(zhàn)運(yùn)用。數(shù)據(jù)整合層面采集2區(qū)5縣18個(gè)委辦局?jǐn)?shù)據(jù)，范圍包括視頻數(shù)據(jù)、社會(huì)面數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、警務(wù)系統(tǒng)數(shù)據(jù)，統(tǒng)一標(biāo)準(zhǔn)，嚴(yán)控質(zhì)量，形成專項(xiàng)主題庫，如類案庫、輿情庫等等，為進(jìn)一步數(shù)據(jù)運(yùn)用提供唯一標(biāo)準(zhǔn)數(shù)據(jù)來源。上層應(yīng)用數(shù)據(jù)分析平臺(tái)提供超級(jí)檔案，超級(jí)檢索能力，可秒級(jí)在億條數(shù)據(jù)中自動(dòng)聚合人員、案件相關(guān)數(shù)據(jù)，形成案情、嫌疑人全面畫像；可根據(jù)人員視頻、運(yùn)營(yíng)商手機(jī)信令等，抽取位置信息，根據(jù)時(shí)間先后，勾勒重點(diǎn)人員軌跡。

在 教育行業(yè)，教育部推動(dòng)“三通兩平臺(tái)”建設(shè)多年，各級(jí)教育機(jī)構(gòu)、教育行政部門已有相關(guān)教育資源平臺(tái)和教育管理平臺(tái)，但當(dāng)前系統(tǒng)數(shù)據(jù)無法有效互通互融，造成一定的信息孤島的現(xiàn)象，很多統(tǒng)計(jì)信息需要人工采集、逐級(jí)上報(bào)，如統(tǒng)計(jì)留守兒童信息、統(tǒng)計(jì)人才流失和人才引進(jìn)效果、可以支持的貧困補(bǔ)助等。

除了解決數(shù)據(jù)連通共享問題，某省教育廳進(jìn)一步提出了整合教育教學(xué)資源和公共服務(wù)，面向全省提供統(tǒng)一服務(wù)能力平臺(tái)。通過構(gòu)建教育能力開放平臺(tái)，整合 7 個(gè)國(guó)家系統(tǒng)和 16 個(gè)省級(jí)自建系統(tǒng)數(shù)據(jù)和能力，連通省市兩級(jí)教育能力，打造集能力抽取、能力整合、能力拓展、能力開放、能力調(diào)用、能力運(yùn)營(yíng)為一體的開放性平臺(tái)，進(jìn)行能力全生命周期管理，實(shí)現(xiàn)省廳和各地市教育機(jī)構(gòu)能力聚合，全方位提供能力支撐與運(yùn)營(yíng)。平臺(tái)以“數(shù)據(jù)”為核心，把數(shù)據(jù)封裝成能力，實(shí)現(xiàn)數(shù)據(jù)共享、資源整合和資源的最大化利用，把大量繁瑣耗時(shí)的人工查詢轉(zhuǎn)向?qū)崟r(shí)自助的查詢方式，提高工作人員工作效率。

智能制造 是落實(shí)“中國(guó)制造2025”規(guī)劃綱要的一個(gè)重要抓手，而工業(yè)大數(shù)據(jù)是實(shí)現(xiàn)智能制造的基礎(chǔ)與必要條件；沒有工業(yè)大數(shù)據(jù)，智能化就只能是紙上談兵。在制造領(lǐng)域有大量的設(shè)備，現(xiàn)代化工業(yè)制造生產(chǎn)線安裝有數(shù)以千計(jì)的小型傳感器，來探測(cè)溫度、壓力、熱能、振動(dòng)和噪聲，每隔幾秒就收集一次數(shù)據(jù)，利用這些數(shù)據(jù)可以實(shí)現(xiàn)很多形式的分析，包括設(shè)備診斷、用電量分析、能耗分析、質(zhì)量事故分析（包括違反生產(chǎn)規(guī)定、零部件故障）等。

以某設(shè)備制造廠商為例，生產(chǎn)的關(guān)鍵設(shè)備廣泛用于軍事、民用設(shè)施。當(dāng)前面臨的問題是在設(shè)備銷售維保期間，如果設(shè)備發(fā)生較難處理故障，由于引進(jìn)國(guó)外技術(shù)因而需要協(xié)調(diào)海外專家，成本較高，而且此成本在維保期內(nèi)由企業(yè)承擔(dān)，每年此項(xiàng)花費(fèi)近百萬。為改變現(xiàn)狀，計(jì)劃構(gòu)建物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)，采集設(shè)備的運(yùn)行狀態(tài)，包括電壓、電流、油壓、水溫、轉(zhuǎn)速等參數(shù)，實(shí)時(shí)監(jiān)控狀態(tài)，感知波動(dòng)異常，提前預(yù)警；除了監(jiān)控，對(duì)于設(shè)備健康、設(shè)備壽命預(yù)測(cè)是減少維保期費(fèi)用重要手段，根據(jù)使用負(fù)載度、投產(chǎn)時(shí)間、故障頻次綜合評(píng)估其可靠性；根據(jù)能耗和做功比評(píng)估性能，進(jìn)而提前識(shí)別做功不足，故障空轉(zhuǎn)等現(xiàn)象，做到大病早防，小病早治。通過大數(shù)據(jù)平臺(tái)，企業(yè)產(chǎn)出的設(shè)備維保期大故障率降低40%，維修費(fèi)用節(jié)省過半。

對(duì)于 醫(yī)療行業(yè) 來說，精細(xì)化運(yùn)營(yíng)，全局工作評(píng)估基于大數(shù)據(jù)分析方式來做。

一個(gè)大中型醫(yī)院擔(dān)負(fù)著繁重的醫(yī)療、科研任務(wù)，以及繁雜的事務(wù)性工作，院長(zhǎng)必須時(shí)刻與各科室保持密切的聯(lián)系。隨著醫(yī)院信息化建設(shè)逐步深化醫(yī)院積累了大量數(shù)據(jù)，挖掘這些數(shù)據(jù)并通過可視化技術(shù)展現(xiàn)，有助于醫(yī)院決策層及時(shí)發(fā)現(xiàn)并解決問題。

作為醫(yī)院的決策中心，其工作效率、工作質(zhì)量關(guān)系到醫(yī)院的社會(huì)效益和經(jīng)濟(jì)效益。在以往多部門系統(tǒng)分立的情況下，難免有因數(shù)據(jù)量大，界面雜亂分化，以至于出現(xiàn)不能全面及時(shí)理解全院情況，不能高效指導(dǎo)醫(yī)院各部門協(xié)調(diào)工作的情況。

通過醫(yī)院院長(zhǎng)查詢系統(tǒng)，對(duì)各部門的資料信息統(tǒng)一管理、統(tǒng)計(jì)。分析查詢各個(gè)科室病人數(shù)、醫(yī)生工作量、護(hù)士工作量及特種科室人員工作量等情況，以及在院、出院或住院未結(jié)病人情況，醫(yī)院的財(cái)務(wù)收支狀況，藥品價(jià)格、報(bào)銷、報(bào)缺等情況。提高院長(zhǎng)掌握信息的及時(shí)度和準(zhǔn)確度，幫助院長(zhǎng)對(duì)醫(yī)療、財(cái)務(wù)、人事各部門的信息提供動(dòng)態(tài)的查詢并提供輔助決策支持。

房地產(chǎn) 正從黃金時(shí)期進(jìn)入到白銀時(shí)期，房地產(chǎn)商從過去的粗放經(jīng)營(yíng)轉(zhuǎn)向精細(xì)化經(jīng)營(yíng)，大數(shù)據(jù)分析正在幫助地產(chǎn)行業(yè)在土地開發(fā)、小區(qū)規(guī)劃、商鋪規(guī)劃發(fā)揮巨大作用。

另一方面，國(guó)家對(duì)于房產(chǎn)調(diào)控、規(guī)范愈加嚴(yán)格，大量房產(chǎn)市場(chǎng)消費(fèi)者由于高房?jī)r(jià)轉(zhuǎn)而選擇租賃房屋。但是當(dāng)前的房屋租賃市場(chǎng)缺乏行業(yè)統(tǒng)一規(guī)范，房源信息數(shù)據(jù)缺乏管理，信息不準(zhǔn)確，租金不透明，住房租賃企業(yè)良莠不齊，亟需統(tǒng)一管理平臺(tái)整合資源，加強(qiáng)管理，統(tǒng)一服務(wù)。對(duì)此某省規(guī)劃構(gòu)建住房租賃服務(wù)平臺(tái)，圍繞住房租賃數(shù)據(jù)打造“一網(wǎng)一中心一平臺(tái)”的格局：

一張數(shù)據(jù)交換網(wǎng)覆蓋各住房租賃企業(yè)，實(shí)現(xiàn)房源信息的匯集；

一個(gè)基礎(chǔ)數(shù)據(jù)中心，編訂全省房地產(chǎn)業(yè)務(wù)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，省、市、縣三級(jí)按職責(zé)分別采集、存儲(chǔ)和管理房地產(chǎn)數(shù)據(jù)；

一個(gè)服務(wù)平臺(tái)，實(shí)現(xiàn)房屋租賃備案監(jiān)管，統(tǒng)計(jì)分析及輔助決策；同時(shí)也為公安、房產(chǎn)提供入住人口信息及房產(chǎn)信息，便于社會(huì)治安防控及房產(chǎn)管理。

05

以上各行的大數(shù)據(jù)智能應(yīng)用案例，能夠快速落地，就需要成型的產(chǎn)品作為支撐。這些案例均是基于SaCa Data Integration,SaCa DataInsight,SaCa DataViz，SaCa API Management 大數(shù)據(jù)平臺(tái)套件有機(jī)配合完成。

從數(shù)據(jù)到應(yīng)用，從懵懂到智能，大數(shù)據(jù)平臺(tái)套件針對(duì)性的提供了端到端的能力支撐。

在萬物互聯(lián)的時(shí)代，數(shù)據(jù)來源多種多樣，數(shù)據(jù)格式各異，數(shù)據(jù)平臺(tái)可采集來自于數(shù)據(jù)庫的、文本的、存在于頁面的、應(yīng)用 API 的等多種來源數(shù)據(jù)。

采集到數(shù)據(jù)的還不能立刻用于分析，還有很多的噪聲數(shù)據(jù)，錯(cuò)誤數(shù)據(jù)，數(shù)據(jù)平臺(tái)提供清洗、過濾、轉(zhuǎn)換、治理，保障數(shù)據(jù)標(biāo)準(zhǔn)和高質(zhì)量，奠定大數(shù)據(jù)分析準(zhǔn)確的基石。

面向海量數(shù)據(jù)提供數(shù)據(jù)湖存儲(chǔ)方案能力，根據(jù)實(shí)際業(yè)務(wù)綜合搭配關(guān)系型存儲(chǔ)、列式存儲(chǔ)、鍵值存儲(chǔ)，可應(yīng)對(duì)日增量 TB 級(jí)數(shù)據(jù)。

基于全集合分布式檢索技術(shù)，提供海量數(shù)據(jù)秒級(jí)檢索，并可基于函數(shù)命令靈活組合檢索條件；可實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，實(shí)現(xiàn)歷史數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘。

最終數(shù)據(jù)應(yīng)用分析的結(jié)果，通過可視化手段展現(xiàn)，業(yè)務(wù)人員可以實(shí)現(xiàn)與數(shù)據(jù)直接對(duì)話，既可以宏觀鳥瞰，也可查看剖面某一維度數(shù)據(jù)，繁簡(jiǎn)由人。

東軟大數(shù)據(jù)產(chǎn)品在經(jīng)過多年在領(lǐng)域的深耕，積累了大量的實(shí)戰(zhàn)經(jīng)驗(yàn)、技術(shù)能力，取得了國(guó)家、省級(jí)多個(gè)重要賽會(huì)的獎(jiǎng)項(xiàng)，同時(shí)沉淀大量的專利資產(chǎn)，成為客戶的放心選擇。

總結(jié)來看我們認(rèn)為大數(shù)據(jù)最重要的是應(yīng)用，數(shù)據(jù)智能是數(shù)據(jù)結(jié)合技術(shù)在具體場(chǎng)景的運(yùn)用，而東軟在二十多年服務(wù)于各行業(yè)客戶過程，積累大量的業(yè)務(wù)場(chǎng)景，可以幫助企業(yè)準(zhǔn)確找到大數(shù)據(jù)落地點(diǎn)，并提供配套解決方案，幫助大數(shù)據(jù)真正落地?fù)P塵。