개발자 플랫폼에서 AI 혁신 추진

전통적인 내부 개발자 플랫폼(IDP)은 조직이 코드와 인프라를 관리하는 방식을 변화시켰습니다. CI/CD 파이프라인 및 IaC(코드형 인프라)와 같은 도구를 통해 워크플로를 표준화함으로써 이러한 플랫폼은 신속한 배포를 가능하게 하고 수동 오류를 줄이며 개발자 경험을 향상시켰습니다. 그러나 그들은 주로 운영 효율성에 중점을 두었고 종종 데이터를 나중에 고려하는 경우가 있었습니다.

이러한 누락은 오늘날의 AI 중심 환경에서 매우 중요해졌습니다. 기존 IDP는 인프라 관리에 탁월하지만 확장 가능하고 규정을 준수하는 AI 혁신에 필요한 기본 요소에 있어서는 부족합니다.

통치: 데이터가 정책 및 규제 표준을 준수하는지 확인하는 것은 수동으로 이루어지거나 고립된 노력으로 이루어지는 경우가 많습니다.
추적성: 워크플로우 전반에 걸쳐 데이터 계보 및 변환을 추적하는 것이 완전히 누락된 것은 아니지만 일관성이 없습니다.
품질: 데이터의 신뢰성과 AI 준비 상태를 검증하는 데 자동화와 표준화가 부족합니다.

이러한 과제를 해결하려면 데이터가 IDP 내에서 일류 시민으로 승격되어야 합니다. 데이터 우선 IDP는 IaC를 넘어 거버넌스, 추적성, 품질 및 PaC(Policy as Code)를 플랫폼 핵심에 직접 포함합니다. 이 접근 방식은 기존 자동화를 인프라와 함께 데이터 워크플로를 운영화하는 포괄적인 프레임워크로 변환하여 DPaC(Data Products as Code)를 활성화합니다.

이 아키텍처는 데이터 제품이 정의되고 소비되는 방식을 표준화하는 ODPS(개방형 데이터 제품 사양) 및 ODC(개방형 데이터 계약)와 같은 프레임워크를 지원합니다.

하는 동안 아르 자형자원 식별자 (RID)는 추적성과 상호 운용성을 구현하는 데 중요하며, 데이터 우선 IDP의 핵심은 확장 가능하고 규정을 준수하는 데이터 생태계에 필요한 구조, 규칙 및 컨텍스트를 제공하는 메타메타데이터에 있습니다.

무엇(선언적 정의)

데이터 우선 접근 방식: 자동화 확장

템플릿과 레시피는 IDP가 높은 수준의 추상화를 달성하고 시스템 환경을 구성 요소화할 수 있도록 하는 중요한 기술입니다.

에이 레시피 플랫폼 내에서 특정 리소스나 워크로드가 프로비저닝, 배포 또는 관리되는 방식을 정의하는 매개변수화된 구성인 IaC입니다. 레시피는 특정 상황이나 환경에 맞게 맞춤화되고 재사용 가능하므로 표준화를 보장하는 동시에 특정 사용 사례에 대한 유연성을 허용합니다.

에이 주형 “를 형성하는 레시피 그룹입니다.골든패스” 개발자를 위한 것입니다. 스트리밍, API 또는 파일에 대한 데이터 수집 패턴과 같은 아키텍처 설계 패턴인 템플릿은 전달 평면에서 구축, 검증 및 실행되는 매니페스트를 생성합니다.

데이터 우선 IDP는 “데이터 제품” 사양을 구성 요소, 리소스, 즉 레시피로 IDP에 추가합니다. 이는 ODPS 및 ODC의 매개변수화된 버전일 수 있습니다.

소프트웨어의 수명주기와 관리는 데이터의 수명주기와 관리보다 훨씬 성숙합니다. DPaC의 개념은 이를 변화시키는 데 큰 도움이 됩니다. 이는 데이터 관리의 성숙도를 소프트웨어 엔지니어링의 잘 확립된 원칙과 일치시킵니다.

DPaC는 데이터를 프로그래밍 가능하고 시행 가능한 자산으로 처리하고 검증된 소프트웨어 개발 방식에 맞춰 수명주기를 조정함으로써 데이터 관리를 혁신합니다. DPaC는 데이터와 소프트웨어 간의 성숙도 격차를 해소함으로써 조직이 자신감, 거버넌스, 민첩성을 바탕으로 데이터 기반 운영을 확장할 수 있도록 지원합니다. IaC가 인프라에 혁명을 일으키면서 DPaC는 데이터를 관리하고 신뢰하는 방법을 재정의할 준비가 되어 있습니다.

그만큼 데이터 마켓플레이스이전 기사에서 논의된 는 CI/CD 파이프라인의 구성 요소이자 일부이기도 한 관찰 가능성, 데이터 품질 서비스 및 그래프 데이터베이스와 같은 다른 서비스에 의존할 수 있는 구성 요소, 리소스 및 레시피입니다.

거버넌스 및 엔지니어링 기준

거버넌스 및 엔지니어링 기준은 다음과 같습니다. 성문화된 PaC를 통해 프로그래밍 방식으로 관리, 버전 관리 및 시행되는 정책으로 전환됩니다. 거버넌스 규칙과 엔지니어링 표준을 기계가 읽을 수 있는 형식(예: YAML, JSON, Rego)에 내장함으로써 규정 준수가 자동화되고 리소스 전반에 걸쳐 일관성이 유지됩니다.

거버넌스 정책: 거버넌스 규칙은 규정 준수 요구 사항, 액세스 제어, 데이터 마스킹, 보존 정책 등을 정의합니다. 이는 조직 및 규제 표준이 일관되게 적용되도록 보장합니다.
엔지니어링 기준: 기준선은 리소스 구성, 파이프라인 검증 단계, 보안 프로토콜 등 인프라, 애플리케이션 및 데이터 워크플로우에 대한 최소 기술 표준을 설정합니다.

RID의 역할

메타메타데이터가 데이터 우선 IDP를 주도하는 반면, RID 모든 데이터 관련 리소스에 대한 고유한 참조를 제공하여 원칙을 운영화합니다. RID는 아키텍처가 생태계 전반에 걸쳐 추적성, 품질 및 거버넌스를 지원하도록 보장합니다.

혈통 촉진: RID는 데이터 제품, 스토리지 및 컴퓨팅 리소스에 대한 고유한 참조이므로 외부 도구가 종속성과 변환을 추적할 수 있습니다.
관찰 가능성 단순화: 이를 통해 풍경 전체에서 객체를 추적할 수 있습니다.

RID 형식 예

제거하다::::

데이터 제품 RID: 제거:고객-거래:데이터-제품:erp-a:v1.0
스토리지 RID: 제거:고객-트랜잭션:스토리지:s3-bucket-a:v1.0

커뮤니티 협업을 통한 중앙 집중식 관리 및 연합된 책임

에이 데이터 우선 IDP 중앙 집중식 관리, 연합 책임, 커뮤니티 협업의 균형을 유지하여 확장 가능하고 적응 가능하며 규정을 준수하는 플랫폼을 만듭니다. 중앙 집중식 거버넌스는 일관성과 제어를 위한 기반을 제공하는 반면, 연합 책임은 도메인 팀이 데이터 제품을 혁신하고 소유권을 가질 수 있도록 지원합니다. 커뮤니티 중심 접근 방식을 통합하면 실제 요구 사항을 충족하기 위해 동적으로 발전하는 프레임워크가 생성되고 집단적 전문 지식을 활용하여 정책, 템플릿 및 레시피를 개선할 수 있습니다.

중앙 집중식 관리: 일관성을 위한 기반

중앙 집중식 거버넌스는 규정 준수, 보안, 품질 규칙 등의 글로벌 표준을 정의하고 고유한 RID 및 메타데이터 카탈로그와 같은 중요한 인프라를 관리합니다. 이 계층은 분산 실행을 가능하게 하는 도구와 프레임워크를 제공합니다.

표준화된 정책

글로벌 정책은 PaC를 사용하여 코드화되고 자동화된 시행을 위해 워크플로에 통합됩니다.

연합 책임: Shift-Left 권한 부여

책임과 책임은 도메인 팀에 위임되어 템플릿을 사용자 정의하고, 레시피를 정의하고, 소스에 더 가까운 데이터 제품을 관리할 수 있습니다. 이러한 Shift-Left 접근 방식은 유연성을 유지하면서 라이프사이클 초기에 규정 준수 및 품질을 적용하도록 보장합니다.

셀프 서비스 워크플로우: 도메인 팀은 셀프 서비스 도구를 사용하여 리소스를 구성하고 정책은 백그라운드에서 자동으로 적용됩니다.
가드레일 내 맞춤화: 팀은 도메인별 요구 사항에 대한 거버넌스 규칙을 확장하는 등 상황에 맞게 중앙 템플릿과 정책을 조정할 수 있습니다.
실시간 검증: 자동화된 피드백을 통해 규정 미준수를 조기에 발견하여 오류를 줄이고 책임성을 강화합니다.

커뮤니티 협업: 역동적이고 적응력이 뛰어난 거버넌스

환경은 실제 요구 사항과 통찰력을 기반으로 정책, 템플릿, 레시피를 발전시키기 위한 협업을 장려합니다. 이 분산형 혁신 계층은 플랫폼의 관련성과 적응성을 유지하도록 보장합니다.

기여 및 피드백: 도메인 팀은 버전 관리 저장소 또는 풀 요청을 통해 새로운 레시피를 제공하거나 정책 개선을 제안합니다.
반복적인 개선: 도메인 간 커뮤니티는 기여도를 검토하고 개선하여 조직 목표에 부합하도록 합니다.
표창 및 인센티브: 팀은 모범 사례와 재사용 가능한 아티팩트를 공유하여 협업 문화를 조성하도록 장려됩니다.

조력자로서의 자동화

자동화는 거버넌스 및 표준이 플랫폼 전체에 일관되게 적용되도록 보장하여 시간이 지남에 따라 편차를 방지합니다. 정책과 RID는 프로그래밍 방식으로 관리되므로 다음이 가능합니다.

대규모 규정 준수: 새로운 정책은 원활하게 통합되고 조기에 검증되며 수동 개입 없이 시행됩니다.
측정 가능한 결과

오케스트레이션 확장 및 거버넌스 엔진 추가

에이 데이터 우선 IDP 오케스트레이션 엔진을 확장하여 데이터 중심 워크플로를 자동화하고 거버넌스 엔진을 도입하여 규정 준수를 강화하고 표준을 동적으로 유지합니다.

오케스트레이션 향상

정책 통합: 워크플로 중에 거버넌스 규칙(PaC)을 검증하여 비준수 배포를 차단합니다.
자원 인식: RID를 사용하여 계보, 품질 및 규정 준수를 추적하고 시행합니다.
데이터자동화: 스키마 유효성 검사, 메타데이터 강화 및 계보 등록을 자동화합니다.

거버넌스 엔진

중앙 집중식 정책: 준수 규칙을 PaC로 정의하고 자동으로 적용합니다.
동적 시행: 규정 위반을 모니터링하고 수정하여 표준에서 벗어나는 것을 방지합니다.
실시간 피드백: 배포 중에 개발자에게 실행 가능한 통찰력을 제공합니다.

이러한 엔진은 워크플로우에 거버넌스를 내장하고 추적성을 자동화하며 시간이 지남에 따라 표준을 유지함으로써 사전 규정 준수, 확장성 및 개발자 권한 부여를 보장합니다.

비즈니스 영향

대규모 거버넌스: 메타메타데이터와 ODC는 모든 데이터 제품에 규정 준수 규칙을 내장하고 시행하도록 보장합니다.
생산성 향상: 골든 경로는 인지 부하를 줄여 개발자가 품질이나 규정 준수를 저하하지 않고 더 빠르게 제품을 제공할 수 있도록 합니다.
신뢰와 투명성: ODPS 및 RID는 데이터 제품의 추적 가능성과 신뢰성을 보장하여 이해관계자의 신뢰를 조성합니다.
AI 지원 생태계: 프레임워크는 데이터 준비를 줄이고 솔루션에 가치와 탄력성을 더하는 모든 정보로 데이터를 상품화함으로써 안정적인 AI 모델 훈련 및 운영화를 가능하게 합니다.

데이터 우선 IDP의 성공 여부는 다음과 같습니다. 메타메타데이터이는 거버넌스, 품질 및 추적성의 기반을 제공합니다. ODPS 및 ODC와 같은 프레임워크에서 지원되고 RID를 통해 운영되는 이 아키텍처는 개발자의 복잡성을 줄이는 동시에 확장 가능하고 규정을 준수하는 데이터 생태계에 대한 비즈니스 요구 사항을 충족합니다. 데이터 우선 IDP는 스마트 추상화 및 모듈성을 내장하여 차세대 AI 기반 혁신을 강화할 준비가 되어 있습니다.

출처 참조