航天遙感大數據集群處理(lǐ)工(gōng)廠将滿足不同業務(wù)的大量用(yòng)戶同時登錄、數據入庫、數據處理(lǐ)、信息計算等功能(néng),工(gōng)廠采用(yòng)高性能(néng)存儲計算節點。航天遙感大數據集群處理(lǐ)工(gōng)廠是一套自主研發、全流程、高效快速遙感數據處理(lǐ)平台,其核心部分(fēn)是基于高性能(néng)集群/GPU 計算環境的海量遙感影像自動處理(lǐ)算法。
工(gōng)廠采用(yòng)先進的數字攝影測量技(jì )術、多(duō)任務(wù)調度技(jì )術、高性能(néng)計算技(jì )術,集 數據生産(chǎn)、任務(wù)管理(lǐ)調度、成果質(zhì)檢為(wèi)一體(tǐ),通過合理(lǐ)調配計算資源與數據資源, 實現規模化、快速、智能(néng)化的遙感數據處理(lǐ)流程。 工(gōng)廠能(néng)夠接收和處理(lǐ)多(duō)種國(guó)内外中(zhōng)高分(fēn)辨率遙感影像,快速生成多(duō)種數據處 理(lǐ)産(chǎn)品及遙感解譯産(chǎn)品;系統建立了規範化、标準化的海量影像數據生産(chǎn)流程, 同時構建了完備的全過程質(zhì)量控制體(tǐ)系,最終可(kě)以為(wèi)用(yòng)戶提供專業級及消費級應用(yòng)。
為(wèi)了減少數據遷移造成的資源消耗,在技(jì )術方案上拟用(yòng)“存儲—計算”一體(tǐ)化的集群系統;為(wèi)了滿足對時空大數據快速積累的需要,存儲和計算節點必須能(néng)夠動态配置,實現熱插拔式的即插即用(yòng)。同時,集群架構采用(yòng)機架式。
采用(yòng)适合于海量數據的大規模存儲與高性能(néng)并行處理(lǐ)的“存儲—計算”一體(tǐ)化的分(fēn)布式高性能(néng)構架是一種典型的無共享系統構架,分(fēn)而治之的辦(bàn)法,将數據規律地分(fēn)布到節點上,充分(fēn)利用(yòng)節點主機的I/O能(néng)力,以使總體(tǐ)達到最大的I/O速率。
航天遙感大數據挖掘解譯工(gōng)廠是一個面向多(duō)源空間數據實時挖掘解譯的複雜系統,以攝影測量與遙感技(jì )術為(wèi)核心的,GIS/CAD以及諸多(duō)IT技(jì )術相集成的,軟、硬件一體(tǐ)化的超大規模空間數據生産(chǎn)系統,我們把它叫做現代航測遙感數據挖掘解譯工(gōng)廠(GDF)。該平台支持衛星、航空、地面等多(duō)種來源的光學(xué)、雷達、激光等空間數據的靈活處理(lǐ)解譯,滿足影像、地圖、三維模型等地理(lǐ)信息産(chǎn)品的快速制作(zuò)。
目标自動識别模塊
遙感影像植被檢測效果圖
平台适用(yòng)于國(guó)内外各類遙感影像數據,挖掘解譯自傳感器下行原始數據至各級地形産(chǎn)品、影像産(chǎn)品、三維産(chǎn)品及信息産(chǎn)品。平台本身自帶完整多(duō)源遙感影像數據完整處理(lǐ)業務(wù),并支持集成及擴展新(xīn)型遙感應用(yòng)業務(wù),集處理(lǐ)平台與集成平台與一體(tǐ)。
智慧行業專題圖制作(zuò)工(gōng)廠可(kě)以進行集群硬件狀況與性能(néng)的監控;能(néng)夠實現大規模栅格數據的接入、存儲、管理(lǐ)、檢索、快速可(kě)視化與制圖、共享服務(wù)等(數據單景可(kě)達500GB,數據總量可(kě)達500TB);同樣實現大規模矢量數據的接入、存儲、管理(lǐ)、檢索、快速可(kě)視化與制圖、共享服務(wù)等(單個數據可(kě)達3GB,屬性字段支持中(zhōng)文(wén),并支持WCS、WFS等标準服務(wù));還有(yǒu)實現大規模三維模型數據的接入、存儲、管理(lǐ)、檢索、快速可(kě)視化與制圖、共享服務(wù)等(支持三維模型的漸進傳輸模型的存儲與抽取);與此之外還可(kě)以提供非時空數據的接入、存儲、管理(lǐ)、共享等支持,設計實現大規模時空數據的計算框架,支持集群/多(duō)核/GPU等多(duō)層次的高性能(néng)計算技(jì )術,實現分(fēn)布式的空間計算(調用(yòng)計算工(gōng)具(jù));提供空間數據模型(多(duō)種栅格與矢量數據格式),開放計算框架接口與工(gōng)具(jù)編寫規範,并可(kě)由用(yòng)戶自主開發計算工(gōng)具(jù);提供10~20個具(jù)有(yǒu)代表性的計算工(gōng)具(jù)(RS計算工(gōng)具(jù)、GIS計算工(gōng)具(jù)),實現多(duō)層次的空間大數據計算與分(fēn)析;大規模時空大數據的實時渲染與交互制圖,支持地圖配置、圖層配置、樣式配置等;達到單個地圖瓦片的服務(wù)響應時間控制在45ms以内。
在平台功能(néng)服務(wù)的需求上,要求該平台技(jì )術先進、成熟,核心技(jì )術自主研發;所有(yǒu)服務(wù)的使用(yòng)都通過完善的加密控制和權限管理(lǐ),确保用(yòng)戶的數據安(ān)全;支持分(fēn)布式和集群式部署,能(néng)夠實現系統服務(wù)能(néng)力的動态擴充。
基于智慧行業專題圖制作(zuò)工(gōng)廠,根據行業的特點和需求,本着急用(yòng)先建的原則,開展智慧行業應用(yòng)示範。主要開展水、綠、地、文(wén)、環等行業的實時監測、管理(lǐ)、執法等專題服務(wù)。
1、水專題圖服務(wù)
主要針對智慧水務(wù)行業提供水污染在線(xiàn)監測服務(wù)以及水資源分(fēn)布及資源量分(fēn)布專題圖服務(wù)。平台主要利用(yòng)衛星和航空遙感手段,利用(yòng)多(duō)光譜高光譜和紅外遙感反演,獲得水體(tǐ)的位置、面積以及水污染變化情況,同時快速監測水質(zhì)(水體(tǐ)透明度、葉綠素濃度和懸浮物(wù)濃度),分(fēn)析城市黑臭水體(tǐ)等級,進行排污口的高頻次監測識别,獲得水污染的精(jīng)确位置、源頭位置及時追溯排污企業和個人。
2、綠專題圖服務(wù)
航天遙感大數據平台主要針對智慧園林及林業行業提供綠被動态監測服務(wù)以及林木(mù)分(fēn)布專題圖等服務(wù)。利用(yòng)多(duō)源遙感數據,開展綠被監測技(jì )術、不透水面監測技(jì )術和水提取技(jì )術等手段,獲得城市區(qū)域内的景觀布局、城市宜居環境及功能(néng)區(qū)分(fēn)布情況。利用(yòng)無人機、系留飛艇等平台,及時發現城市綠地破壞行為(wèi)。
3、地專題圖服務(wù)
主要針對規劃國(guó)土行業提供地災監測以及地災風險分(fēn)布專題圖等服務(wù)。基于多(duō)時相衛星和航空遙感數據,提取地面塌陷前後的紋理(lǐ)特征和幾何特征,利用(yòng)深度學(xué)習的開展地面塌陷動态監測和風險預測。結合合成孔徑雷達,分(fēn)析地面沉降趨勢,提供可(kě)行的預警措施。
4、文(wén)專題圖服務(wù)
主要針對規劃及城市建設行業提供城市違法建設及文(wén)物(wù)保護專題圖等服務(wù)。違章建築一般通過城市管理(lǐ)執法來解決,而違章建築的界定是這一過程的關鍵前置工(gōng)作(zuò),其界定标準主要包括規模、時間以及地域等三方面内容。對于城市違章建築的界定,采用(yòng)人工(gōng)巡查、航空遙感和衛星遙感等天空地一體(tǐ)化手段。利用(yòng)天基衛星數據全面普查,依托航空平台監測,從空、地兩個維度對區(qū)域建築進行大範圍、多(duō)視角的長(cháng)期監控,及時發現,快速定位,為(wèi)行政執法提供有(yǒu)力證據。
5、環專題圖服務(wù)
主要針對環保行業提供空氣污染監測以及城市熱島效應等服務(wù)。整合地面監測資源,輔以激光雷達或飛艇和無人機、衛星遙感等垂直監測,構建并完善立體(tǐ)監測網絡,開展區(qū)域大氣污染物(wù)立體(tǐ)監測、源解析和機制分(fēn)析。聚焦工(gōng)業排放、居民(mín)散燒、稭稈燃燒、汽車(chē)排放等排放源,利用(yòng)遙感等技(jì )術手段追溯霾污染來源。
城市熱島效應監測,通過多(duō)通道的熱紅外遙感數據,結合大氣廓線(xiàn)、風場和地形分(fēn)布,反演獲得地表溫度和發射率等産(chǎn)品,分(fēn)析城市熱島效應,提供城市高溫預警和公(gōng)共場所安(ān)全保障,指導城市規劃,構建宜居城市。
火情監測專題圖服務(wù):指利用(yòng)高頻次氣象衛星進行火點判識,主要是遙感分(fēn)析的手段判識火點像元的經緯度、所在位置的行政區(qū)劃、土地利用(yòng)類型、火點判識的可(kě)信度(火點、可(kě)能(néng)火點、雲區(qū)火點等)等。同時加入了可(kě)能(néng)影響到火勢發展的實況風力、天氣、相對濕度、氣壓、降水等,同時可(kě)提供天氣及自然災害預警,給森林防火監測、稭稈焚燒監測等帶來了時效性更高的監測方式,與此同時可(kě)提供緊急調度、災害專報自動生成、曆史回顧,全面滿足火情監測的需求。