디지털 쌍둥이가 빅 데이터를 사용하여 현실 세계를 반영하는 방법

링크 표

초록 및 1 소개

1.1. 공간 디지털 쌍둥이 (SDT)

1.2. 응용 프로그램

1.3. SDT의 다른 구성 요소

1.4. 이 작업의 범위와 기여

2. 관련 작업 및 2.1. 디지털 쌍둥이 및 변형

2.2. 공간 디지털 쌍둥이 사례 연구

3. 공간 디지털 쌍둥이의 빌딩 블록 및 3.1. 데이터 수집 및 처리

3.2. 데이터 모델링, 스토리지 및 관리

3.3. 빅 데이터 분석 시스템

3.4. 지도 및 GIS 기반 미들웨어

3.5. 주요 기능 구성 요소

4. 기타 관련 현대 기술 및 4.1. AI & ML

4.2. 블록 체인

4.3. 클라우드 컴퓨팅

5. 도전과 미래의 작업, 5.1. 멀티 모달 및 다중 해상도 데이터 수집

5.2. 공간 쿼리의 경우 NLP 및 5.3. SDT의 데이터베이스 및 빅 데이터 플랫폼 벤치마킹

5.4. 자동 공간 통찰력 및 5.5. 다중 모달 분석

5.6. 구축 시뮬레이션 환경

5.7. 복잡하고 다양한 상호 작용을 시각화합니다

5.8. 보안 및 개인 정보 보호 문제를 완화합니다

6. 결론과 참고 문헌

3.3. 빅 데이터 분석 시스템

모바일 위치 기반 앱, GPS 지원 자동차, 자율 주행 차, UAV, IoT 장치, 위성 이미지 등의 빠르고 광범위한 사용으로 인해 전례없는 공간 데이터가 생겼습니다. 예를 들어, 매일 약 10 억 개의 트윗이 생성되며 그 중 30-40%가 지리적 위치 정보를 포함합니다. 자율 스펙트럼의 하단에있는 자율 차량은 시간당 약 1.4 테라 바이트 데이터를 생성합니다.[7]. SDT 에서이 대량의 시공간 데이터를 주최하고 다양한 분석 및 쿼리 운영을 지원하기 위해 최근 연구는 Hadoop과 같은 빅 데이터 분석 시스템의 공간 확장에 중점을 둡니다. [51]불꽃 [52]및 NOSQL [46]. 이러한 빅 데이터 시스템은 분산 처리를 통해 SDT 시스템을 확장 할 수있게 할 수 있습니다.

Hadoop [51] 빅 데이터의 분산 처리에 MapReduce 프레임 워크를 사용합니다. Hadoop에는 시공간 데이터에 대한 지원이 없기 때문에 Hadoop-Gis와 같은 많은 확장 [53] 및 SpatialHadoop [54] Hadoop은 디스크 기반 시스템이므로 많은 I/O 작업으로 성능이 악화 될 수 있기 때문에 공간 데이터 유형과 같은 공간 데이터 유형을 처리하도록 개발되었습니다. 이 문제를 해결하기 위해 주 메모리 기반 빅 데이터 시스템, 예 : SpatialSpark [55]지오 스파크 [56] 등이 개발되었습니다. NOSQL 패러다임 (예 : MD-HBase)을 사용하여 큰 공간 데이터 처리 시스템의 또 다른 그룹이 등장했습니다. [57]삼 [58]등.

시공간 데이터 데이터가 전례없는 속도로 증가하고 있으며 SDT는 다양한 데이터 유형을 호스팅하여 통찰력을 찾고 예측 결정을 내리기 위해 SDT를 구축 할 때 이러한 큰 공간 데이터 처리 시스템의 도움이 필요합니다. 그러나 수십 년의 연구를 가지고 있고 광범위하게 테스트 된 데이터베이스 관리 시스템과 달리, 이러한 큰 공간 데이터 처리 시스템은 여전히 ​​성장 단계에 있으며 다양한 공간 데이터 유형 및 데이터 스트림을 사용하여 이러한 시스템의 성능에 대한 벤치 마크 연구는 없습니다.

3.4. 지도 및 GIS 기반 미들웨어

이 섹션에서는지도에서 공간 (또는 지리적 데이터)을 시각화하고 다양한 공간 작업을 쉽게 수행하는 데 사용되는 소프트웨어 및 도구에 대해 논의합니다. 우리는이 도구와 소프트웨어를 세 그룹으로 분류했습니다. GIS 소프트웨어; 기본지도; 및 API 및 도서관. 이 시스템은 SDT의 현명하고 빠르고 효율적인 개발에 필수적입니다. 다음으로 세부 사항을 제시합니다.

3.4.1. GIS 소프트웨어

통합 지리 정보 시스템 (GIS)은 맵을 통합하여 공간 데이터와 시각화하고 상호 작용하는 환경과 해당 데이터에 대한 다양한 작업을 수행하는 도구를 제공합니다. 또한 데이터에서 흥미로운 패턴과 통찰력을 찾고지도에서 시각화 할 수있는 플랫폼을 제공합니다. 널리 사용되는 일부 GIS 소프트웨어는 ArcGI (ESRI)입니다. [59]및 QGIS (오픈 소스) [60]. 이 GIS 소프트웨어는 모든 기본 공간 데이터 운영 및 분석 시설을 지원하고지도에서 시각화합니다. 이들은 또한 DBMS 및 기타 기본 공간 데이터 분석 플랫폼과 통합 될 수 있습니다. 또한 이러한 소프트웨어에는 Python, R 등과 같은 다양한 언어에 대한 프로그래밍 지원이 있습니다. Boston Digital Twin은 ArcGIS 기술을 사용하여 SDT를 구축합니다. [61].

SDT의 주요 특징 중 하나는 도시 환경, OpenSource 3D Globe 플랫폼, Cesium과 상호 작용하는 것입니다. [62] 개발되었습니다. Cesium을 통해 개발자는 3D 맵 주위에 지리 공간 응용 프로그램을 구축 할 수 있으며 Cesium은 특히 지형, 건물 및 실시간 센서 데이터와 같은 대규모 데이터 세트를 시각화하고 몰입 형 지리 공간 경험을 만드는 데 최적화됩니다. Cesiumjs는 최상의 성능, 정밀, 시각적 품질 및 사용 편의성을 갖춘 세계적 수준의 3D 글로브 및 맵을 만드는 오픈 소스 JavaScript 라이브러리입니다. 뉴 사우스 웨일즈 디지털 쌍둥이 [63] 공간 디지털 트윈을 구축하려면 세슘을 사용하십시오.

3.4.2. 지도 서비스

광범위한 수준에서는 OpenStreetMap, Bing Maps 또는 Google지도와 같은 기존지도 서비스를 공간 디지털 쌍둥이로 볼 수 있습니다. 이 플랫폼은 물리적 도로 네트워크, 강, 관심 지점 등의 디지털 표현을 생성하고 활용하여 관심 지점을 찾거나 목적지로가는 경로를 찾는 것과 같은 다양한 쿼리를 해결합니다. 위성 맵, 트래픽 맵, 지형지도, 3D 맵을 포함한 여러 가지 맵 레이어 도이 맵 서비스에서 널리 사용할 수 있습니다. API로서 다른 맵 서비스에서 사용할 수있는 이러한 기본 레이어 외에도 SDT에는 유틸리티 맵 레이어, 실내지도 계층 또는 온실 가스 배출 또는 에너지 사용과 같은 다른 유틸리티 기반 레이어와 같은 여러 다른 맵 레이어가 있어야합니다. 따라서 맵 레이어는 SDT를 개발하는 데 중요한 역할을합니다. 따라서 널리 사용되는 이러한 맵 서비스를 자신의 SDT를 구축하기위한 기본으로 사용할 수 있습니다.

3.4.3. 도구, API 및 라이브러리

지금까지 우리는 공간 데이터를 관리하고 처리하는 데 사용되는 RDBMS, Geojson 파일, GIS 소프트웨어 및 공간 빅 데이터 분석 플랫폼과 같은 광범위한 공간 기술을 보았습니다. SDT는 이러한 많은 플랫폼의 통합 기능에 의존합니다. 따라서 SDT를 구축하려면 SDT 플랫폼을 표준 GI 및 공간 기술 관련 플랫폼과 통합하고 다양한 처리, 분석, 광업 및 시각화를 수행하기 위해 다양한 프로그래밍 언어의 라이브러리 및 API에 대한 강력한 지원이 필요합니다. 공간 기능이있는 다양한 API 및 라이브러리는 C ++/Java, Python 등과 같은 거의 모든 인기있는 언어로 제공됩니다.

JTS와 같은 저수준 라이브러리 [64]지오스 [65]공간 4J [66] 공간 데이터 모델링 및 처리를 위해 C ++ 또는 Java를 사용하여 개발되었습니다 (예 : 벡터 형상 생성). 공간 데이터 모델링을위한 이러한 기초 라이브러리는 GIS 소프트웨어, 대형 공간 데이터 처리 및 분석 시스템 등을 구축하는 데 사용되고 있으며, 반면에, Python 및 R과 같은 고급 언어의 인기는 빅 데이터 분석 및 처리를 위해 여러 API 및 라이브러리를 사용할 수 있습니다. 이 라이브러리는 주로 I/O 최적화 데이터 페치, 다양한 공간 알고리즘을 사용한 공간 데이터 처리, 통계 및 고급 ML을 사용하여 분석을 수행하고 다양한 유형의 공간 데이터를 시각화하는 것을 포함한 다양한 공간 데이터 관련 작업에 대해 주로 설계되었습니다. Python은 AI & ML 시대에 빅 데이터 처리에 가장 인기있는 고급 언어 인 것처럼 보이기 때문에 Python 라이브러리와 API에 대해 간단히 설명합니다.

지오판 다판 다 [67] 데이터 과학을위한 인기있는 파이썬 라이브러리 인 Pandas의 공간 확장입니다. Scipy. 공간 [68] 공간 알고리즘 및 가장 가까운 이웃 검색 알고리즘과 같은 데이터 구조를위한 라이브러리가 있습니다. 파이썬 공간 분석 라이브러리 (pysal) [69] 클러스터링, 핫스팟 분석, 상관 관계, 시각화 등과 같은 공간 데이터 분석 작업을 위해 설계되었습니다. 여기에는 벡터 및 래스터 공간 데이터를 처리하는 지원이 포함되어 있습니다. 궤적 데이터를 관리하고 처리하기 위해 Python에는 Traja가 있습니다 [70] 도서관. 위의 라이브러리 외에도 SDT 개발에 유용 할 수있는 다른 공간 라이브러리가 많이 있습니다 (예 : 참조 [71] 자세한 내용은).

위의 소프트웨어 및 기술 도구 외에도 일부 상용 소프트웨어 솔루션 [12] 위의 많은 공간 도구 및 기술을 결합하여 최근에 개발되었으며, 이는 SDT를 개발하기위한 출발 기반으로도 사용될 수 있습니다. Microsoft Azure Digital Twins 플랫폼 [14] 지식 그래프 형태로 디지털 트윈을 만들 수있게되면 개발자는 실제 자산과 서로의 관계를 나타내는 디지털 트윈 데이터 모델을 만들 수 있습니다. 또한 연속 데이터 피드를 위해 IoT 장치와의 원활한 통합을 허용합니다. 3dexperience [15] 플랫폼 (Dassault Systemes의)은 3D 모델을 만들기위한 도구와 실제 객체 및 프로세스를 시뮬레이션하기위한 여러 시뮬레이션 도구를 제공합니다. HXDR 플랫폼 [72] (Hexagonis)는 주로 도시 환경의 3D 복제본을 만드는 데 필요한 도구를 제공하는 데 주로 중점을 둔 SaaS 플랫폼입니다. Opencities Planner [73] 구부러진 시스템은 도시 규모의 SDT 계획 및 시각화 애플리케이션 소프트웨어입니다.