Spark UI에 대한 초보자 안내서 : 개념 및 사용 방법
페타 바이트의 데이터와 협력하거나 데이터 엔지니어이거나 데이터 엔지니어링에 참여하려는 경우 분산 데이터 처리 시스템 인 Apache Spark에 대해 들었습니다. Apache Spark는 통합 컴퓨팅 엔진으로, 컴퓨팅 클러스터에서 병렬 데이터 처리를위한 일련의 라이브러리가있는 클럽이 있습니다. 주로 스토리지 시스템으로 설계되지 않았습니다.
Apache Spark는 AWS EMR, AWS Glue, Google Cloud Dataproc, Databricks 등을 사용하여 시스템 또는 클라우드에서 로컬로 실행할 수 있습니다. 그러나 시작하기 전에 한 가지는 기본 사항을 이해하는 것입니다. Spark UI, RDD, 데이터 프레임, 변환/작업, 작업, 단계, 작업.
Post Comment