부동산 브로셔 제작을 위한 다중 모달 에이전트 프레임워크

다중 모드 에이전트 프레임워크는 텍스트, 이미지, 오디오, 비디오 등 다양한 데이터 유형을 통합하여 지능형 시스템의 기능을 향상시키는 인공 지능의 최첨단 접근 방식을 나타냅니다. 이러한 프레임워크는 다양한 정보 소스를 자율적으로 처리하고 분석할 수 있는 지능형 에이전트를 활용하여 보다 미묘한 이해와 의사 결정을 가능하게 합니다. 다중 양식과 에이전트 기능을 결합함으로써 이러한 시스템은 동적 환경과 사용자 상호 작용에 실시간으로 적응할 수 있습니다. 이러한 통합은 산업 전반의 운영 효율성을 향상시킬 뿐만 아니라 인간과 컴퓨터의 상호 작용을 풍부하게 하여 보다 직관적이고 상황을 인식하게 만듭니다. 따라서 다중 모드 에이전트 프레임워크는 수많은 애플리케이션에서 기술을 활용하는 방식을 변화시킬 준비가 되어 있습니다.

학습 목표

• 이미지 생성을 통한 Agentic AI 이해
• Camel AI 기능 탐색
• CAMEL AI를 사용한 다중 모드 에이전트 시스템 개발
• 부동산 사업에 대한 이점

이 기사는 의 일환으로 게재되었습니다. 데이터 과학 블로그톤.

MultiModal Agentic AI: 이미지 생성 기능을 갖춘 에이전트

Agentic AI는 자율성과 고급 의사 결정 기능을 특징으로 하는 인공 지능의 중요한 발전을 나타냅니다. 에이전트 프레임워크를 이미지 생성 기능과 통합하면 아래에 언급된 바와 같이 상당한 이점을 얻을 수 있습니다.

• 향상된 창의성: 이러한 시스템은 고유한 시각적 콘텐츠를 생성하고 아티스트, 디자이너 및 마케팅 담당자가 새로운 아이디어와 개념을 효율적으로 탐색할 수 있도록 하여 창의적인 프로세스를 지원할 수 있습니다.
• 개인화: 사용자 선호도 또는 데이터 입력을 기반으로 맞춤형 이미지를 생성함으로써 에이전트 시스템은 마케팅, 광고 및 엔터테인먼트 분야에서 개인화된 경험을 만들 수 있습니다.
• 신속한 프로토타이핑: Agentic 시스템은 제품이나 컨셉에 대한 시각적 프로토타입을 빠르게 생성하여 디자인 프로세스 중에 더 빠른 반복과 피드백을 촉진할 수 있습니다.
• 데이터 시각화: 복잡한 데이터 세트를 직관적인 시각적 표현으로 변환하여 비즈니스 분석 및 과학 연구와 같은 다양한 분야에서 정보를 더 잘 이해하고 전달하는 데 도움을 줄 수 있습니다.
• 접근성: 이러한 시스템은 고품질의 시각적 콘텐츠에 대한 액세스를 민주화하여 광범위한 디자인 리소스 없이도 개인과 조직이 전문가 수준의 이미지를 만들 수 있도록 해줍니다.
• 반복 작업 자동화: 이미지 생성 프로세스를 자동화함으로써 에이전트 시스템은 일상적인 디자인 작업에 소요되는 시간과 리소스를 줄여 인간 제작자가 보다 전략적인 계획에 집중할 수 있도록 합니다.

카멜 AI란 무엇인가요?

Camel AI(대규모 언어 모델 사회의 정신 탐구를 위한 의사소통 에이전트의 약어)는 자율적이고 의사소통이 가능한 에이전트의 개발 및 연구에 전념하는 혁신적인 프레임워크입니다. 주요 목표는 AI 시스템이 어떻게 상호 작용하고 협력하는지 조사하여 다양한 작업에 인간이 개입할 필요성을 줄이는 것입니다. 다중 에이전트 시스템 내의 행동, 능력 및 잠재적 위험 분석에 초점을 맞춘 Camel AI는 AI 연구 커뮤니티 내에서 협업을 촉진하고 혁신을 촉진하도록 설계된 오픈 소스 프로젝트입니다.

Camel AI의 핵심 모듈

CAMEL 프레임워크는 여러 핵심 구성 요소를 통합하여 다중 에이전트 시스템을 생성하고 관리하도록 설계되었습니다. 그것은 다음을 포함합니다 모델 에이전트 인텔리전스를 정의하기 위해 메시지 의사소통을 위한 그리고 메모리 시스템 데이터 저장 및 검색을 위해. 프레임워크도 통합됩니다. 전문 작업을 위한 도구, 상담원 행동을 안내하는 프롬프트, 워크플로 관리를 위한 작업. 그만큼 인력 모듈을 사용하면 협업을 위한 상담원 팀을 구성할 수 있으며, 사회 모듈은 에이전트 간의 상호 작용을 촉진합니다. 이러한 구성 요소를 함께 사용하면 동적인 협업 다중 에이전트 환경을 개발할 수 있습니다.

Camel AI 사용의 가장 큰 장점 중 하나는 다중 에이전트 시스템을 만드는 데 원활하게 활용할 수 있는 다양한 툴킷 세트와의 통합입니다. Camel AI에는 다중 에이전트 프레임워크의 기능을 향상시키는 여러 툴킷이 포함되어 있습니다. 주요 툴킷에는 다음이 포함됩니다.

• 기능 도구: 이 툴킷을 사용하면 에이전트가 기능을 호출하고 다양한 API와 상호 작용하여 복잡한 작업 실행 및 외부 서비스와의 통합을 촉진할 수 있습니다.
• 레딧 툴킷: 이 툴킷을 사용하면 상담원이 Reddit API와 상호 작용하여 상위 게시물을 수집하고, 댓글에 대한 감정 분석을 수행하고, 하위 레딧 전반의 토론을 모니터링할 수 있습니다.
• 검색 툴킷: 정보 검색용으로 설계된 이 툴킷을 사용하면 에이전트는 로컬 벡터 저장 시스템에 쿼리하여 사용자 쿼리를 기반으로 관련 정보를 검색할 수 있습니다.
• 미디어 도구: 여기에는 이미지 및 오디오 처리 기능이 포함되어 있어 에이전트가 멀티미디어 콘텐츠를 효과적으로 처리할 수 있습니다.
• 문서 도구: 이 툴킷은 다양한 형식(예: PDF, Word)의 문서 처리 기능을 제공하며 웹 스크래핑 기능을 포함합니다.
• 웹 도구: 이러한 도구를 사용하면 에이전트는 DuckDuckGo 및 Wikipedia와 같은 검색 엔진 및 API와 같은 웹 서비스에 액세스하고 상호 작용할 수 있습니다.
• 통합에서: Camel AI는 또한 DALL-E와 같은 이미지 생성 모델과의 통합을 지원하므로 에이전트가 텍스트 설명을 기반으로 이미지를 생성하여 창의적인 능력을 향상시킬 수 있습니다.
• 검색 툴킷. Google, DuckDuckGo, Wikipedia 및 Wolfram Alpha와 같은 다양한 검색 엔진을 사용하여 웹 검색을 수행하기 위한 툴킷입니다.

이러한 툴킷은 Camel AI가 데이터 검색 및 처리부터 멀티미디어 처리 및 창의적인 이미지 생성에 이르기까지 광범위한 작업을 수행할 수 있도록 종합적으로 지원합니다.

에서

DALL-E는 프롬프트라고 알려진 자연어 설명을 기반으로 디지털 이미지를 생성하는 OpenAI에서 개발한 일련의 고급 텍스트-이미지 모델입니다. 초기 버전은 2021년 1월에 출시되었고, 이어 DALL-E 2는 2022년에 출시되었으며, 최신 버전인 DALL-E 3은 ChatGPT에 통합되어 2023년 말에 출시되었습니다.

DALL-E는 사실적인 이미지와 예술적인 표현을 포함하여 다양한 스타일의 이미지를 생성할 수 있습니다. 이미지 내의 개체를 조작하고 재배열할 수 있으며 프롬프트에 명시적으로 언급되지 않은 세부 정보를 추론할 수 있습니다.

다중 모드 에이전트 시스템의 실제 구현

다음 실습 튜토리얼에서는 도시의 향후 부동산 프로젝트에 대한 브로셔를 디자인하기 위해 CAMEL AI를 사용하여 다중 모드 에이전트 시스템을 만듭니다. 이는 최소한의 인간 개입 없이 도시에서 새로운 프로젝트가 진행될 때 고객에게 배포하는 데 필요한 브로셔를 자동으로 생성하는 데 도움이 되므로 부동산 사업에 엄청난 도움이 될 수 있습니다.

1단계. 필요한 라이브러리 설치

!pip install 'camel-ai[all]'

2단계. Open AI API 키 정의

import os
os.environ['OPENAI_API_KEY'] = ''

3단계. 필요한 라이브러리 가져오기

from camel.agents.chat_agent import ChatAgent
from camel.messages.base import BaseMessage
from camel.models import ModelFactory
from camel.societies.workforce import Workforce
from camel.tasks.task import Task
from camel.toolkits import (
    FunctionTool,
    GoogleMapsToolkit,
    SearchToolkit,
)
from camel.toolkits import DalleToolkit

from camel.types import ModelPlatformType, ModelType

import nest_asyncio
nest_asyncio.apply()

4단계. 에이전트 정의

search_toolkit = SearchToolkit()
search_tools = [
        FunctionTool(search_toolkit.search_duckduckgo)]
    


#Define the Model for the Agent as well. Default model is "gpt-4o-mini" and model platform type is OpenAI
guide_agent_model = ModelFactory.create(
        model_platform=ModelPlatformType.DEFAULT,
        model_type=ModelType.DEFAULT,
    )  

#Defining the Real Estate Agent for crafting the brochures
real_estate_agent = ChatAgent(
        BaseMessage.make_assistant_message(
            role_name="Real Estate Specialist",
            content="You are a Real Estate Specialist who is an expert in creating Description of Upcoming Residential Projects",
        ),
        model=guide_agent_model,
    )

#Defining the Agent for Real Estate Property Names
property_title_agent = ChatAgent(
        BaseMessage.make_assistant_message(
            role_name="Real Estate Project Name Specialist",
            content="You are a Real Estate Project Name Specialist who is an expert in Generating Trendy Names FoR Residental Projects in india",
        ),
        model=guide_agent_model,
    )


#Defining the agent for generating all the amenities near a location
location_benefits_agent = ChatAgent(
        BaseMessage.make_assistant_message(
            role_name="Real Estate Location Specialist",
            content="You are a Real Estate Location Specialist who is an expert in Generating All the amenities like malls, airports, markets, metro stations, railway stations etc with distances from a location of the mentioned property",
        ),
        model=guide_agent_model, tools =search_tools
    )


#Define the web search tool for the Agent using Tavily (we need to define the Tavily API Key beforehand)
dalletool = DalleToolkit()
imagegen_tools = [
    FunctionTool(dalletool.get_dalle_img),
    
]

#Define the Image Generation Agent with the pre-defined model and tools and Prompt
image_generation_agent = ChatAgent(
        system_message=BaseMessage.make_assistant_message(
            role_name="Image Generation Specialist",
            content="You can Generate Images For Upcoming Real Estate Projects For Showing to Clients",
        ),
        model=guide_agent_model,
        tools=imagegen_tools,
    )

이 코드 조각은 모델 팩토리와 채팅 에이전트 프레임워크를 사용하여 여러 에이전트를 정의합니다.

1. 모델 생성: 먼저 OpenAI의 “GPT-4o-mini” 모델을 사용하여 에이전트에 대한 기본 모델(guide_agent_model)을 생성합니다.
2. 부동산 중개인: 두 개의 에이전트가 인스턴스화됩니다. 하나는 다가오는 주거 프로젝트에 대한 설명 작성에 중점을 둔 “부동산 전문가”와 “부동산 프로젝트 이름 전문가”로 또 다른 인도 주거 프로젝트에 대한 최신 유행 이름을 생성하는 임무를 맡았습니다.
3. 부동산 위치 전문가 : 이 에이전트는 언급된 부동산 위치에서 떨어진 쇼핑몰, 공항, 시장, 지하철 역, 기차역 등과 같은 모든 편의 시설을 생성하기 위한 것입니다.
4. 이미지 생성 도구: 에이전트가 부동산 프로젝트와 관련된 이미지를 생성할 수 있는 이미지 생성 도구(dalletool)입니다.
5. 이미지 생성 에이전트: 마지막으로, 이전에 정의된 모델과 이미지 생성 도구를 갖춘 “이미지 생성 전문가” 에이전트가 생성되어 향후 부동산 프로젝트에 대한 시각적 자료를 생성하여 고객에게 제시합니다.

5단계. 인력 정의

#Define the workforce that can take case of multiple agents
workforce = Workforce('Real Estate Brochure Generator')
workforce.add_single_agent_worker(
        "Real Estate Specialist",
        worker=real_estate_agent).add_single_agent_worker(
        "Real Estate Project Name Specialist",
        worker=property_title_agent).add_single_agent_worker(
        "Location Amenity Specialist",worker=location_benefits_agent).add_single_agent_worker(
        "Image Generation Specialist",
        worker=image_generation_agent)

 # specify the task to be solved Defining the exact task needed
human_task = Task(
        content=(
            """Craft a Brochure Content For a Upcoming Residential Real Estate Project in Sector 47,Gurgaon. The content should contain all the types of flats it has, all amenities in it and other such necessary details . 
            Provide a Name for this Property as well.
            Generate all the amenities of the location (with respect to its proximity to all public places) to this brochure content.
            Generate an Image of this Upcoming Project as well."""
        ),
        id='0',
    )
task = workforce.process_task(human_task)

이 코드는 부동산 브로셔를 생성하기 위해 여러 대리인을 관리하는 “인력”을 정의합니다. 부동산 전문가, 부동산 이름 전문가, 위치 편의 시설 전문가, 이미지 생성 전문가 등 4명의 에이전트를 추가합니다. 그런 다음 브로셔 콘텐츠 생성, 프로젝트 이름 제공, 구르가온의 새 부동산 프로젝트에 대한 이미지 생성 등 인력이 완료해야 할 작업을 지정합니다. 인력은 에이전트가 각자의 역할을 실행하도록 조정하여 작업을 처리합니다.

출력

1. 브로셔 콘텐츠 에이전트의 출력

Upcoming Residential Project in Sector 47, Gurgaon
Welcome to Your New Home
Discover the perfect blend of luxury and comfort in our upcoming residential
project located in the heart of Sector 47, Gurgaon. Designed to cater to
diverse lifestyles, our project offers a variety of flats that promise to
meet your needs and exceed your expectations.
---
Flat Types Available:
1. **1 BHK Flats**
- **Size:** 600 sq. ft.
- **Description:** Ideal for young professionals or couples, these cozy 1 BHK
flats feature an open living area, a modern kitchen, and a comfortable
bedroom. Enjoy a well-designed space that maximizes functionality without
compromising on style.
2. **2 BHK Flats**
- **Size:** 1,200 sq. ft.
- **Description:** Perfect for small families, our 2 BHK flats offer spacious
living areas, two well-appointed bedrooms, and ample storage. Experience a
harmonious blend of elegance and practicality, with large windows that
invite natural light into your home.
3. **3 BHK Flats**
- **Size:** 1,800 sq. ft.
- **Description:** Designed for larger families, these expansive 3 BHK flats
provide generous living spaces, three bedrooms, and a modern kitchen. Enjoy
the luxury of space and comfort, with thoughtfully designed layouts that
cater to your family’s needs.
4. **Penthouse Suites**
- **Size:** 2,500 sq. ft.
- **Description:** Elevate your living experience with our exclusive
penthouse suites. Featuring stunning views, expansive terraces, and high-end
finishes, these luxurious homes are perfect for those who appreciate the
finer things in life. Enjoy private outdoor spaces and a lifestyle of
sophistication.
---
 Amenities:
- **Clubhouse:** A state-of-the-art clubhouse with recreational facilities.
- **Swimming Pool:** Relax and unwind in our beautifully designed pool.
- **Gymnasium:** Stay fit with our fully equipped gym.
- **Landscaped Gardens:** Enjoy serene green spaces for relaxation and
leisure.
- **24/7 Security:** Ensuring your safety and peace of mind.
---
Location Benefits:
- Proximity to major schools, hospitals, and shopping centers.
- Excellent connectivity to Delhi and other parts of Gurgaon.
- A vibrant neighborhood with parks, restaurants, and entertainment options.
---
Conclusion:
Don’t miss the opportunity to be a part of this exceptional residential
community in Sector 47, Gurgaon. Whether you are looking for a cozy 1 BHK or
a luxurious penthouse, we have the perfect home waiting for you. For more
information and to schedule a visit, contact us today!

2. 부동산 프로젝트명 전문 대리인의 출력

**Gurgaon Heights**
Output from Location Amenity Specialist Agent
Amenities and Proximity to Public Places near Gurgaon Heights, Sector 47,
Gurgaon
1. Shopping Malls:-
**Ambience Mall** - 5 km
- **DLF Mega Mall** - 4.5 km
- **Sahara Mall** - 6 km
2. **Metro Stations:**
- **Huda City Centre Metro Station** - 4 km
- **Sikandarpur Metro Station** - 7 km
3. **Railway Stations:**
- **Gurgaon Railway Station** - 8 km
- **New Delhi Railway Station** - 30 km
4. Airports: -
**Indira Gandhi International Airport** - 15 km
5. Schools: -
**The Shri Ram School** - 2 km
- **G.D. Goenka Public School** - 3 km
- **Delhi Public School, Sector 45** - 3.5 km
6. Hospitals:-
**Medanta - The Medicity** - 6 km
- **Fortis Memorial Research Institute** - 5 km
- **Max Hospital, Gurgaon** - 7 km
7. Parks and Recreation:-
**Aravali Golf Course** - 3 km
- **Leisure Valley Park** - 4 km
- **Sukhna Lake Park** - 5 km
8. Restaurants and Cafes:-
**Cyber Hub** - 6 km
- **Sector 29 Food Street** - 5 km
- **The Great India Place** - 7 km
9. Entertainment: -
**PVR Cinemas, Ambience Mall** - 5 km
- **Kingdom of Dreams** - 8 km

3. 이미지 생성 전문가의 출력:-

결론

결론적으로 Camel AI 프레임워크(MultiModal Agentic Framework)에서 볼 수 있는 것과 같은 이미지 생성 기능과 에이전트 AI 시스템의 통합은 창의성과 자동화 모두에서 혁신적인 발전을 나타냅니다. 자율적 의사 결정 능력과 고급 이미지 생성 도구를 결합한 이러한 시스템은 신속한 프로토타입 제작, 개인화된 경험, 고품질 시각적 콘텐츠에 대한 향상된 접근성을 위한 상당한 잠재력을 제공합니다. Camel AI(MultiModal Agentic Framework)가 계속 발전함에 따라 다양한 산업 분야에서 혁신을 주도하여 일상적인 작업에 대한 인간의 개입을 줄이는 동시에 보다 전략적이고 창의적인 노력을 강화할 수 있습니다.

주요 시사점

1. 자율적 창의성: 이미지 생성 기능을 갖춘 Agentic AI 시스템은 창의적인 프로세스를 향상시켜 아티스트와 디자이너가 독특하고 혁신적인 시각적 콘텐츠를 신속하게 생성할 수 있도록 해줍니다.
2. 개인화된 경험: 이러한 시스템은 사용자 선호도에 따라 이미지를 맞춤화하여 맞춤형 마케팅, 광고 및 엔터테인먼트 경험을 가능하게 합니다.
3. 효율적인 프로토타이핑: Agentic AI는 시각적 프로토타입을 신속하게 생성하고 디자인 워크플로에서 더 빠른 반복과 피드백을 촉진하여 프로토타입 제작 프로세스를 가속화합니다.
4. 데이터 시각화: Agentic AI 시스템은 복잡한 데이터를 명확하고 시각적으로 직관적인 표현으로 변환하여 다양한 분야에 걸쳐 더 나은 이해와 커뮤니케이션을 지원합니다.
5. 다중 에이전트 협업: Camel AI의 프레임워크는 자율 에이전트 간의 협업을 촉진하여 작업 실행을 강화하고 광범위한 애플리케이션을 위한 고급 다중 에이전트 시스템 개발을 촉진합니다.

이 기사에 표시된 미디어는 Analytics Vidhya의 소유가 아니며 작성자의 재량에 따라 사용됩니다.

자주 묻는 질문