近幾年來，隨著勘察設計行業信息化建設的高速發展，行業大部分企業已經從原來幾乎沒有業務系統，進入到業務系統全面開花階段[1]。經過幾年的運行，行政管理系統、生產經營系統、財務系統、協同設計系統等已積累了大量的業務數據，但由于各系統間相互獨立，且往往缺乏統一的數據標準，數據不僅共享困難，還會出現不一致的情況，因而難以實現數據的集成、深度分析和再利用。相較于原先分散的數據源，借助商務智能（Business Intelligence，BI）平臺可以將分散的數據建立起統一的數據倉庫，使企業數據更加規范，可以更好地被分析利用。BI平臺作為企業管理中一種以數據為驅動力的智能化管理工具，可以幫助企業有效地收集、整合、分析和可視化數據，顯著提高企業的決策水平和管理能力。在當前日益嚴峻的經濟形勢下，市場環境越來越復雜，商業競爭越來越激烈，迫使企業必須加快數字化轉型，而BI平臺正是通過大數據分析助力企業實現商業價值的重要方式之一。
大數據時代，企業管理人員利用大數據BI工具進行企業經營狀況分析和數據挖掘，已成為現代企業提高競爭力的重要舉措[2]。汪少鋒[3]從數據采集、優化數據預處理流程、數據分析建模、數據可視化等方面進行了深入研究，提出了BI平臺如何應用在企業財務管理中的一套解決方案；胡志剛[4]等主要研究了BI在科研管理領域中的應用，介紹了科研智能的整體框架和關鍵技術；侯杰[5]等綜合運用數據倉庫技術、數據挖掘算法和多維數據建模與分析方法，建立了一套面向礦業集團經營和發展的商務智能分析體系；胡立勇[6]等則將BI技術應用到醫院急救設備管理中，實現了醫院急救設備的快速調配。
(資料圖)
盡管BI平臺在商業領域得到了廣泛應用和驗證，但其在勘察設計行業中的應用成果相對較少，研發面向勘察設計行業的BI平臺有著重要的現實意義。本文旨在探索BI平臺在勘察設計行業的落地應用研究，重點關注如何利用現有的前沿技術和方法，讓業務人員基于業務需求快速地搭建各類應用。筆者基于當前國內外研究現狀，結合行業企業實際情況，設計了一套企業BI平臺的實現方案，其整體架構如圖1所示。
圖1 企業BI平臺整體架構圖
數據連接層： 用于梳理企業各個業務系統和管理流程中的原始業務數據，以及重要的線下數據，并分別通過不同的方式接入數據同步引擎。
數據治理層： 針對線上數據，使用數據同步工具對業務數據進行數據清洗、數據轉換、數據關聯等操作，以全量同步、增量同步的方式搭建數據倉庫；針對線下數據，使用經過數據預處理后的EXCEL或CSV文件進行數據導入；針對其他邏輯非常復雜的線上業務數據，通過API數據服務的方式進行構建。通過這些不同的數據集成方式，完成數據倉庫的搭建，確保數據倉庫中的數據與原始業務數據的同步和實時更新，再對外提供數據存儲和數據服務。
自助分析層： 針對各類企業數據分析可視化場景需求，通過平臺提供的各類功能特性，創建和使用各種報表及其他組件、儀表盤和故事板進行可視化數據分析，構建可視化數據應用等。
應用發布層： 對構建的數據應用設置用戶角色和數據權限的分配，發布并分享應用給各類管理者使用。
數據倉庫是BI運行的數據基礎，BI需要依賴數據倉庫去做數據分析。因此，建立數據倉庫是BI平臺能否成功搭建的關鍵。
在企業信息化建設過程中，常常會出現大量異構系統和數據的情況。這些異構系統和數據來源于不同部門、業務流程或技術平臺，可能具有不同的數據格式、數據結構和數據標準，容易導致數據孤島、數據冗余和數據集成困難等問題，對企業的數據管理和應用形成挑戰。
在沒有數據倉庫之前，企業的數據查詢和分析系統、數據集市、報表系統、駕駛艙等各類系統的數據訪問操作，通常直接基于業務系統數據。這種簡單的數據訪問模式，容易形成以下幾個問題：一是業務系統對應的多個報表系統的更新和維護問題；二是不同業務系統之間的數據互通問題；三是業務系統的數據存在臟數據的問題；四是直接操作業務數據做分析，對業務數據庫的壓力太大，影響線上業務的穩定，同時還有破壞業務數據的風險問題。
數據倉庫是一個面向主題的、集成的、隨時間變化但信息本身相對穩定的數據集合，用于支持管理決策。具體而言，數據倉庫中的數據不是企業業務數據的簡單堆積，而是被組織成面向主題的數據模型，以便用戶能夠輕松地進行查詢、分析和決策。
本文的目標是搭建一個企業數據倉庫，通過數據抽取、轉換、裝載的過程（Extract–Transform–Load，ETL）工具，將原本分散、不同信息流、標準不統一的企業經營、生產、財務、項目和人力資源等數據載入并實時更新到數據倉庫中，用以提供一致、準確的數據視圖，為決策者和分析師提供強大的數據分析和洞察能力，支持業務決策、市場分析、業績評估等重要活動。
對于勘察設計企業來說，借助功能強大的ETL工具，實現對各種業務數據的處理、轉換、遷移，是建立企業數據中心，確保數據邏輯統一的理想途徑之一。市面上有很多ETL工具，本文選用DataX工具用于數據倉庫建設，它是阿里巴巴旗下的一款優秀的開源產品，能提供各種數據存儲的讀寫插件，支持多線程執行，使用操作也很簡單。
DataX是阿里云DataWorks數據集成的開源版本，是在阿里巴巴集團內被廣泛使用的離線數據同步工具，實現了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase等各種異構數據源之間高效的數據同步功能。DataX先通過ETL進行數據清洗、轉換、合并與集成，再將底層數據導入到數據倉庫中。
DataX采用Framework+Plugin架構，將數據源讀取和寫入抽象稱為Reader/Writer插件，納入到整個同步框架中，如圖2所示。本文在實際搭建數據倉庫時的一項重要工作就是編寫各類Reader和Writer，完成定義好的各主題域下的數據同步和更新。在進行主題域劃分時，需要了解企業不同的業務流程都有哪些業務活動參與其中。劃分主題域的方法有很多種，不同企業選取的方法也有所不同，其中較為常用的方法包括按部門劃分、按需求劃分、按功能劃分和按業務系統劃分四種類型。
圖2 DataX設計框架
本文根據筆者所在企業實際運作情況，選取了最為常見的按部門劃分方式來設計主題域。不同部門對應不同的職責范圍，從事不同業務內容，管理不同的數據對象，會形成各種不同的主題域，如經營域、生產域、人事域、財務域等。這些主題域由不同的主題內容組成，具體如表1所示。
目前，大部分勘察設計企業做數據分析的現狀是：首先由部門員工提出具體業務需求，其次由IT人員完成數據的采集、處理、可視化和分析等一系列任務，業務人員再對IT人員完成的結果進行確認并提出修改意見。這個過程往往會迭代好幾輪，工作量較大。
隨著企業業務的快速發展，這種模式暴露出一些問題：一是已完成的應用難以適應業務的快速變化，且維護成本較高；二是IT人員需要面對各類業務人員提出的需求，他們對業務的理解往往沒有專業人員理解得透徹，導致產出結果無法滿足預期；三是該模式由于多方的參與，從需求到開發至最終交付需要一個過程，這使得產出成果的時效性較差。
為此，本文嘗試一種新模式，那就是讓IT人員只負責數據標準定義、數據倉庫和數據集市的建立，提供各類數據服務，剩下的工作讓業務人員自己來完成。他們通過建好的BI平臺，在不需要編寫任何代碼的情況下，根據具體業務需求，通過“拖拉拽”式的自助式服務，靈活搭建各類應用，完成對業務數據的可視化、分析和挖掘等工作。
基于上述目標，在選擇BI平臺時，需要考慮以下幾個關鍵因素：
一是業務需求。 不同的BI平臺在功能和特性上有所不同，這就需要評估選擇的工具擁有的各項基本功能和分析能力是否能夠滿足企業的業務需求和目標。
二是可視化和報表功能。 需要評估工具的可視化能力是否足夠強大，是否能提供各種圖表類型和自定義選項，創建易于理解和互動的儀表盤和報表。
三是數據整合和連接。 需要能夠連接和整合各種數據源，最好可以輕松進行數據提取、轉換和加載（ETL）操作。
四是數據分析功能。 是否能夠提供高級分析功能，如數據挖掘、預測分析、趨勢分析和多維分析。
五是用戶友好性。 選擇易于使用和學習的BI平臺對于用戶的推廣使用非常重要，故需考慮工具的用戶界面和交互體驗，以及是否具有豐富的培訓資源來幫助用戶上手。
六是擴展性和靈活性。 具有擴展性和靈活性的BI平臺，能夠適應企業業務變化和增加新功能要求。
七是安全性和數據隱私。 數據安全和隱私保護是非常重要的考慮因素，需確保BI平臺能提供適當的安全功能，如訪問控制、數據加密和安全審計等。
八是成本效益。 需要考慮BI平臺的總體成本效益，包括實施和維護成本，以及是否存在附加費用（例如培訓、技術支持等）。
目前，市場上有許多BI平臺可供選擇，包括大型企業級平臺，如國外的TaBIeau、PowerBI和國內的FineBI，開源平臺如Redash、Superse、Datart等。根據上述選型時要考慮的幾個關鍵點，本文對市面上的主流BI平臺進行了調研和實際使用比較，結果如表2所示。
表2 國內外主流BI平臺比較
如上所述，相比于TaBIeau、PowerBI、FineBI等業界使用最為廣泛的商務BI平臺，Datart無論在功能、可擴展性、上手難度，還是用戶友好性等方面都可與之媲美，加之它是開源免費的，各方面都比較符合勘察設計企業的實際情況，本文最終選擇Datart作為企業實施BI的平臺。
本文以筆者所在企業為例，介紹如何搭建企業級的BI平臺并進而利用BI平臺搭建一個基于企業級關鍵指標要素的數據分析及可視化應用——企業級數字駕駛艙，主要從指標設計、數據連接、數據治理、自助分析、應用發布五個層面分別介紹實際平臺搭建及應用的過程。
指標設計
經過調研確定相關指標項，這些指標項涉及到的業務數據來自生產、經營、財務和人力資源管理等多個業務系統。由于整個企業的指標項體系極其龐大，作為示例僅列出經營概況、外務概況、人員概況三個方面的幾個關鍵指標，如圖3所示。
圖3 企業級數字駕駛艙數據指標體系
數據連接
此過程的主要工作是梳理筆者所在企業業務系統現狀，了解不同業務系統底層數據實現的邏輯，從而完成企業主要的生產及管理系統的數據庫接入，如圖4所示。
圖4 數據連接
數據治理
由于上述建立的業務系統的合作軟件供應商不同，數據庫的類型也不同，故需要針對不同類型的數據庫編寫任務。本文創建了基于Oracle、SqlServer、Mysql等多種類型數據庫的任務，同時根據表1設計的主題域，創建了各個主題下的數據同步任務，通過ETL工具創建一系列定時任務，同步及更新業務數據到數據倉庫中，任務列表如圖5所示。
表1 主題域分析設計
圖5 數據治理
任務列表中的任務根據具體要同步更新的業務數據，編寫了不同的數據處理規則；根據數據的新增和更新頻率，設置了不同的任務執行周期表達式，以保證數據的實時更新。平臺提供日志管理功能，可實時查看每個任務的執行情況，大大方便了對任務的管控。
自助分析
自助分析的前提是有足量的數據，這就首先需要保證有足夠的數據源被接入進來。BI平臺有專門的“數據源”模塊用于配置和管理可視化數據的來源，新建一個數據源通常是開始分析或制作可視化界面的第一步，Datart默認支持以下三種數據獲取方式：
一是數據倉庫。平臺通過JDBC連接數據倉庫，獲取數據倉庫中的信息和數據。
二是文件。平臺支持Excel和CSV文件作為數據源存儲在服務端。以筆者所在企業為例，生產部門的水電費和房租是通過行政人員手工錄入到Excel文件的，在查詢文件數據源時，平臺支持在數據視圖中編寫SQL語句對一個數據源下的多個文件進行關聯與聚合操作。
三是接口服務。平臺支持HTTP接口響應數據作為數據來源，通過程序實現復雜的業務邏輯，獲取的數據一般通過封裝成接口獲取。在查詢HTTP數據源時，支持在數據視圖中編寫SQL語句對一個數據源下的多個HTTP接口響應數據進行關聯與聚合操作。
Datart將構建可視化分析應用的過程分解成幾個步驟，這使得系統功能非常直觀且內容可以很方便地被復用和更改。其中，數據視圖用于從數據源中選取所需的數據，支持對所選數據進行轉換和加工，用于分析和可視化制作；數據圖表是可視化的基礎單元，通過對數據視圖中的字段做可視化屬性配置，將查詢結果進行可視化編碼，最終以圖表的形式進行展現；儀表盤是可視化的核心部分，用于呈現一組具有相關性的數據圖表，從多角度掌握關鍵信息。
由于企業級數據駕駛艙涉及到的指標項繁多，圖6僅以其中的部分指標項——合同數據可視化分析為例，展示了數據視圖、數據圖表組件、儀表盤的構建過程。其中，數據視圖的創建是由企業IT人員來完成的，他們負責將合同數據從數據倉庫中接入，接著由業務人員結合業務實際需求自助分析數據之間的關聯，創建不同形式的可視化和交互組件并與數據視圖綁定，將分析結果通過圖表、動畫等可視化方式呈現出來，最后將各個完成的組件布局排版組合成儀表盤。
圖6 數據視圖、數據圖表組件、儀表盤的構建過程
應用發布
在上述工作完成后，就到了應用發布階段。平臺使用RBAC模型控制權限，支持創建和管理角色，以及設置用戶或角色對資源的權限，能夠精確控制發布與分享指定的應用給各類管理者使用。圖7是企業級數字駕駛艙的一個數據指標展示頁面案例。
圖7 企業級數字駕駛艙頁面案例
本文借助開源的數據倉庫搭建工具和BI分析工具，結合筆者所在的勘察設計企業的實際情況，搭建了企業的商務智能（BI）平臺，具有一定的行業普適性和推廣價值。通過該平臺提供的功能和數據，業務部門人員可以根據業務需求，搭建多種數據分析應用模 塊，并進行數據的深入挖掘和可視化展現。系統解決方案在企業內得到了成功應用，在業務部門層面，培養出了部門內的數據分析能手；在企業層面，企業的綜合管控和分析決策能力得到了有效提升，大大增強了行業競爭力。 （本文作者朱曉偉、胡迅、黃爭舸來自浙江大學建筑設計研究院有限公司，丁晨杰來自浙江大學計算機學院）
參考文獻
[1]黃爭舸,胡迅,朱曉偉,等.一體化信息體系助力設計院快速提升企業效能[J].中國勘察設計,2019(07):56–61.
[2]喬冰琴,段全虎,高翠蓮.企業大數據分析挖掘及大數據BI工具應用實踐[J].會計之友,2021(24):131–137.
[3]汪少鋒.大數據技術下企業BI分析系統在財務管理中的應用[J].中國集體經濟,2023(14):134–137.
[4]胡志剛,王欣,李海波.從商業智能到科研智能：智能化時代的科學學與科技管理[J].科學學與科學技術管理,2021,42(01):3–20.
[5]侯杰,胡乃聯,李國清,等.基于商務智能的礦業集團運營決策系統解決方案[J].計算機集成制造系統,2016,22(01):202–212.
[6]胡立勇,李璟,胡小蘭,等.基于商務智能技術的急救設備使用智能分析平臺的構建與應用[J].中國醫學裝備,2023,20(04):119–123.
來源：《中國勘察設計》雜志
標簽：
