뉴스 정보 뉴스 컴퓨터 소프트웨어 및 개발

AWS Glue용 AWS CloudTrail Insights

AWS Glue용 AWS CloudTrail Insights

AWS CloudTrail 통찰력 AWS 계정의 API 활동을 항상 확인하여 비정상적인 패턴과 동작을 찾아내는 AWS CloudTrail의 일부입니다. CloudTrail Insights는 CloudTrail 로그를 보고 일반적인 활동과의 차이점을 지적하여 잠재적인 보안 위험, 운영상의 이상한 점 또는 리소스 설정 문제를 찾는 데 도움이 됩니다.

AWS Glue의 경우 CloudTrail Insights는 다음을 감시할 수 있습니다.

  • 접착 작업이 실행됩니다.
  • 작업 오류
  • Glue 서비스와 함께 작동하는 API 호출(예: 데이터 카탈로그를 다루는 작업 시작 및 중지 등)

CloudTrail 로그에서 이상한 패턴을 검사하면 Glue 작업이 어떻게 작동하는지에 대한 유용한 통찰력을 얻고 실행 실패, 설정 오류 또는 보안 위반과 같은 문제를 나타낼 수 있는 이상을 발견할 수 있습니다.

AWS Glue와 함께 작동하도록 CloudTrail Insights 설정

AWS Glue와 함께 CloudTrail Insights를 사용하기 전에 다음 작업을 완료했는지 확인하세요.

1. CloudTrail 켜기

  • 액세스 AWS 관리 콘솔 그리고 로 가세요 CloudTrail 부분.
  • 확인해보세요 CloudTrail 귀하의 계정에 대해 활성화되어 있으며 모든 관리 및 데이터 이벤트를 기록합니다.

2. CloudTrail Insights 시작

시작하면 CloudTrail Insights는 AWS Glue 작업과 관련된 이벤트를 포함하여 API 활동을 검사하기 시작합니다.

  • 에서 CloudTrail 콘솔아래를 봐 트레일 활성 트레일을 선택하세요.
  • 찾기 통찰력 아래 부분 트레일 설정.
  • CloudTrail Insights 켜기 AWS Glue 활동을 기록하는 추적용입니다.

AWS Glue와 함께 CloudTrail Insights를 사용하는 방법

CloudTrail Insights를 켜면 AWS Glue 이벤트를 감시하고 기록하기 시작합니다. 그런 다음 Insights는 AWS Glue에 연결된 API 호출을 살펴보고 일반적인 활동 패턴과 비교하여 이상한 점을 지적합니다.

CloudTrail Insights 보기

1. CloudTrail Insights로 이동

  • 다음으로 향하세요. CloudTrail 콘솔 그리고 클릭 통찰력 사이드바에서.
  • 이벤트 유형(예: “비정상적인 Glue 작업 실패”, “높은 Glue 작업 실행 기간” 등)별로 그룹화된 발견된 통찰력 목록을 찾을 수 있습니다.

2. 접착제 관련 통찰력을 찾으십시오

  • 에 CloudTrail Insights 대시보드다음을 선택하여 결과 범위를 좁힐 수 있습니다. AWS 글루 리소스 유형으로.
  • 그러면 Glue 작업에 대한 통찰력이 표시되고 데이터를 더 깊이 파고들 수 있습니다.

3. 인사이트 세부정보 확인

  • 특정 이벤트에 대한 자세한 정보를 얻으려면 통찰력을 클릭하세요. 여기에는 다음이 포함됩니다 이벤트 시간, 이벤트 소스 및 이벤트 이름(예: StartJobRun, BatchCreatePartition), API 요청 매개변수 및 통찰력 유형(이상, 실패, 기간 등).

CloudTrail Insights를 사용하여 AWS Glue 작업 문제 조사

CloudTrail Insights를 설정한 후에는 실행되지 않는 작업이나 완료하는 데 예상치 못한 시간이 걸리는 작업과 같은 문제에 대해 AWS Glue를 모니터링할 수 있습니다.

예시 상황 및 코드 샘플

다음은 CloudTrail Insights가 AWS Glue 문제를 감시하고 해결하는 데 유용하다고 입증된 몇 가지 일반적인 상황입니다.

상황 1: 예상치 못한 접착제 작업 문제 발견

때때로 Glue 작업 실패가 갑자기 증가하면 작업 매개변수 설정 또는 IAM 권한 부족과 같은 근본적인 문제가 있음을 나타낼 수 있습니다. CloudTrail Insights는 작업 실패를 감시하고 이상한 패턴을 조사하는 데 도움이 됩니다.

단계별 예

1. CloudTrail Insight 예: CloudTrail Insights는 Glue 작업 실패율의 급격한 증가를 알리는 데 영향을 미칩니다. 예는 다음과 같습니다.

  • 통찰력 유형: Unusual Glue Job Failures
  • 이벤트 이름: StartJobRun
  • 이벤트 소스: glue.amazonaws.com
  • 실패 세부정보: 실패한 작업 실행으로 인한 오류 메시지가 포함되어 있습니다(예: “액세스 거부”, “메모리 부족”).

2. 통찰력을 조사하기 위해: 이 통계를 확인한 후 다음 단계를 수행할 수 있습니다.

  • 실패한 이유를 이해하려면 작업 로그를 살펴보세요.
  • Glue 작업 설정에 실수가 있는지 검토하세요.
  • IAM 역할과 권한을 확인하여 작업이 필요한 작업을 수행할 수 있는지 확인하세요.

프로그래밍을 통해 Glue 작업 상태를 확인하는 코드 조각

AWS SDK(예: Python용 boto3)를 사용하면 프로그래밍을 통해 Glue 작업 상태를 확인할 수 있습니다.

import boto3

# Start the Glue client
glue_client = boto3.client('glue')

# Set the job name
job_name="my-glue-job"

# Retrieve the job run history
response = glue_client.get_job_runs(JobName=job_name)

# Show the status of the most recent job run
latest_run = response['JobRuns'][0]
print(f"Job run status: {latest_run['JobRunState']}")

만약 JobRunState ~이다 "FAILED"CloudTrail Insights가 실패를 지적합니다.

상황 2: 비정상적인 접착제 작업 기간 발견

또 다른 일반적인 문제는 Glue 작업이 예상보다 훨씬 오래 걸릴 때 발생하며, 이는 비효율성 또는 근본적인 문제(예: 데이터 병목 현상)를 나타낼 수 있습니다.

단계별 예

1. CloudTrail Insight 예:

  • 통찰력 유형: Unusual Glue Job Duration
  • 이벤트 이름: StartJobRun
  • 이벤트 소스: glue.amazonaws.com
  • 지속: Glue 작업이 평소보다 오래 실행되면 Insight가 시작됩니다.

2. 인사이트 살펴보기: 너무 오래 걸리는 Glue 작업에 대한 알림을 받은 후 다음을 확인하세요.

  • 작업 로그를 통해 작업의 일부가 평소보다 느려졌는지 확인합니다.
  • 속도 저하를 파악하기 위한 리소스 제한(예: 메모리 네트워크 I/O)

작업 기간을 모니터링하는 코드 조각

boto3를 사용하여 Glue 작업이 실행되는 시간을 계속 관찰하고 확인할 수 있습니다.

import boto3
import time

# Set up the Glue client
glue_client = boto3.client('glue')

# Pick the job name
job_name="my-glue-job"

# Kick off the Glue job
start_time = time.time()
glue_client.start_job_run(JobName=job_name)

# Watch job status
response = glue_client.get_job_runs(JobName=job_name)

# Work out how long the job ran
duration = time.time() - start_time
print(f"Job run duration: {duration} seconds")

기간이 예상 임계값을 초과하면 CloudTrail Insights는 이 비정상적인 이벤트를 지적합니다.

AWS Glue와 함께 CloudTrail Insights를 사용하는 모범 사례

  • 작업 실행 시간 제한 설정: 다양한 Glue 작업에 대해 합리적인 시간 제한을 결정합니다. 작업이 예상보다 오래 실행될 때 알림을 보내도록 CloudTrail Insights를 설정합니다.
  • 취업 실패에 주목하라: CloudTrail Insights는 비정상적인 패턴을 찾아 작업 실패를 발견하는 데 도움이 됩니다. 즉시 알림을 받으려면 AWS CloudWatch 경보와 연결하세요.
  • IAM 모범 사례 따르기: Glue 작업에 올바른 IAM 정책이 연결되어 있는지 확인하고 보안 문제를 방지하는 데 필요한 권한을 부여하십시오.
  • 로그를 자주 확인하세요: CloudTrail Insights가 자동으로 이상 현상을 발견하더라도 로그를 살펴보면 즉각적인 알림을 트리거하지 않을 수 있는 진행 중인 문제를 발견하는 데 도움이 됩니다.

문제 해결 및 제한 사항

제한사항

  • CloudTrail Insights에는 API 호출량에 따라 제한이 있습니다. 트래픽이 많지 않으면 모든 비정상적인 활동을 즉시 발견하지 못할 수도 있습니다.
  • CloudTrail은 활성화된 추적의 이벤트를 기록합니다. 필요한 Glue 이벤트를 캡처하고 있는지 확인하세요.

문제 해결

  • CloudTrail Insights에 Glue 작업 활동에 대한 정보가 표시되지 않으면 CloudTrail이 필요한 로그를 수집하도록 설정되어 있는지 다시 확인하십시오.
  • 봐 AWS Glue 작업 로그 CloudTrail Insights가 충분한 정보를 제공하지 않는 경우 자세한 정보를 확인하세요.

결론

AWS CloudTrail Insights는 AWS Glue 작업을 감시하고 수정하는 데 도움이 됩니다. 작업이 실패하거나 너무 오래 걸리는 등의 비정상적인 상황을 발견합니다. CloudTrail Insights를 켜고 Glue 이벤트를 감시하도록 설정하면 Glue 작업이 더 잘 실행되는 것을 확인하고 속도를 늦추거나 안정성을 저하시킬 수 있는 문제를 찾을 수 있습니다. 이 가이드는 시스템 감시 방법에 CloudTrail Insights를 추가하기 위한 예제와 코드를 제공하고 AWS Glue 작업이 정상 상태로 유지되고 실행되도록 하는 데 도움이 됩니다.

출처 참조

Related Posts

Post Comment

당신은 놓쳤을 수도 있습니다