우리가 주점을 설계하기 위해 신경망을 가르쳤는지

사람들이 머신 러닝을 생각할 때 헤드 스톤은 아마도 떠오르지 않을 것입니다. 그러나 생성 AI의보다 심오한 응용 중 하나에서 우리는 기계 학습을 사용하여 개인 취향과 문화적 민감성에 일치하는 맞춤형 기념 제품 (묘비 등)을 설계하기 위해 머신 러닝을 사용하는 시스템을 구축했습니다.

이것은 기발한 ML 실험이 아닙니다. 생식 모델, 자연 언어 처리 및 인간-루프 시스템의 전체 스택 응용 프로그램으로, 삶을 기념하는 매우 민감하고 깊은 인간의 필요를 해결하기 위해.

문제 : 존엄성으로 디자인

기념 디자인은 예술이자 전통입니다. 가족은 개인적이고 정중하며 종종 상징적 인 것을 원합니다. 문제는 설계 과정이 느리고 감정적으로 과세되며 재료, 묘지 규정 및 종교적 또는 문화적 전통에 의해 제한된다는 것입니다.

우리는 대체 할 수있는 도움이 될 수있는 것을 만들기 시작했습니다. 대체 설계자 : 사전 데이터 및 고객 선호도를 기반으로 현실적이고 의미있는 설계 옵션을 생성 할 수있는 주석 생성기.

여기에서 시도해 볼 수 있습니다 : Headstonesdesigner.com/generator (모든 교육 데이터는 라이브 사이트에서 제공됩니다.

1 단계 : 도메인 이해

우리가 Tensorflow를 만지거나 한 줄의 코드를 작성하기 전에, 우리는 기념 예술의 세계에 몰입했습니다. 우리는 공부했습니다 :

• 전통적이고 현대적인 스타일
• 종교적, 문화적 규범
• 재료 제약 (화강암, 대리석 등)
• 줄거리 당 Max Monument 너비와 같은 묘지 규정

이것은 선택 사항이 아닙니다. 이와 같은 민감한 도메인을 위해 AI를 설계하려면 깊은 존중과 뉘앙스가 필요합니다. 잘못 이해하는 것은 단지 UX 버그가 아니 었습니다.

2 단계 : 데이터 세트 구축

우리는 놀랍도록 다양한 데이터 세트를 모았습니다.

• 수천 개의 주석이 달린 디자인 이미지
• 기존 주점의 CAD 파일
• 고객 선호 기록
• 비문의 텍스트
• 묘지 차원 표준

이 모든 것이 청소, 정규화 및 벡터화되어야했습니다. 텍스트는 Bert와 같은 모델을 사용하여 내장되었습니다. 이미지는 전처리 및 증강되었습니다. 이것은 단지 데이터를 모델에 던지는 것이 아니라 그것을 만드는 것이 었습니다. 배울 수 있습니다.

3 단계 : 모델 아키텍처 및 교육

몇 가지 모델 유형을 병렬로 테스트했습니다.

• styegan2: 고품질의 양식화 된 기념 디자인 이미지를 생성하기 위해
• VAES (변형 자동 인코더): 디자인 스타일을 보간하고 사용자 제어 변형 가능
• 변압기 (GPT): 개인적이고 관련성 있고 존중하는 느낌을주는 비문 생성

특히 까다로운 부분은 텍스트와 비주얼이 일치하는지 확인하는 것이 었습니다. 고딕 양식의 비석에는 만화 산 비문이 없어야합니다.

우리는 이것을 다음과 같이 해결했습니다.

• 멀티 모달 훈련: 정렬을 평가하기 위해 비전 및 언어 모델 (클립)을 결합
• 조건부 간 인: 시각적 생성을 안내하기 위해 텍스트를 입력으로 사용

4 단계 : 미지의 관리

우리는“Ai Gone Weird”순간이 많았습니다.

• 일부 초기 출력은 기념관보다 현대식 조각처럼 보였습니다.
• 스타일 전이는 때때로 문화적 선을 어색한 방식으로 교차 시켰습니다.
• GPT는 때때로 톤 청각 장애인을 생성했습니다.

이를 완화하기 위해, 우리는 인간의 루프 피드백을 구축했습니다. 디자이너와 문화 고문은 출력과 플래그가 큰 문제를 검토했습니다. 이 피드백은 모델 튜닝으로 돌아갔습니다.

또한 GAN의 스타일 식별기와 같은 기술을 사용하여 제약 조건 및 생성 필터를 시행하여 텍스트 내용을 검증했습니다.

5 단계 : 평가 및 결과

우리는 단지 결과를 안경하지 않았습니다. 평가는 다단계입니다.

• FID 점수 이미지 현실주의
• 블루 스코어 텍스트 정확도에 대한 인간 평가
• 사용자 연구 그리고 전문가 리뷰 미적, 문화적 충실도

최종 결과? 정서적으로 공명하고 시각적으로 정확하며 상황을 인식하는 비석 디자인을 생성 할 수있는 시스템.

Generator와 상호 작용할 수 있습니다 : Headstonesdesigner.com/generator

배운 교훈

일부 테이크 아웃 :

• 문화적 맥락은 에지 사례가 아니며 민감한 설계 영역의 핵심 요구 사항입니다.
• 생성 AI는 강력하지만 제약이 없으면 쉽게 변하지 않거나 부적절한 영역으로 표류합니다.
• 인간의 피드백은 도움이되지 않습니다. 필수입니다.

미래

우리는이 기술이 어떻게 다른 도메인 (청첩장 디자인, 개인화 된 시상식, 기념 예술 등)으로 어떻게 확장 될 수 있는지 탐구하고 있습니다. 어디에서나 개인적이고 높은 스테이크이며, 생성 ML을 인간 관리와 혼합 할 수있는 기회가 있습니다.