전경 대 배경 : 자율 주행 시스템에서의 타이포그래피 공격 배치 분석

전경 대 배경 : 자율 주행 시스템에서의 타이포그래피 공격 배치 분석

초록 및 1. 소개

  1. 관련 작업

    2.1 Vision-Llms

    2.2 양도 가능한 적대적 공격

  2. 예비

    3.1 자동 회귀 비전 LLM 재 방문

    3.2 비전 -LLMS 기반 AD 시스템의 타이포 그래피 공격

  3. 방법론

    4.1 타이포그래피 공격의 자동 생성

    4.2 타이포 그래피 공격의 확대

    4.3 인쇄 공격의 실현

  4. 실험

  5. 결론과 참고 문헌

4.3 인쇄 공격의 실현

디지털 방식으로 타이포그래피 공격은 이미지에 텍스트를 포함하여 비전 -LLM의 기능을 속이는 것입니다. 여기에는 단순히 텍스트를 이미지에 넣는 것이 포함될 수 있습니다. 육체적으로, 타이포그래피 공격은 실제 요소 (예 : 스티커, 페인트 및 도면)를 AI 시스템에서 관찰 할 수있는 환경/엔티티에 통합 할 수 있으며, 광고 시스템은 주요 예입니다. 여기에는 거리, 물체, 차량 또는 의류에 특이한 글꼴이나 색상이있는 텍스트 배치가 포함됩니다. 추론, 계획 및 제어에서 광고 시스템을 오도 할 수 있습니다. 우리는 광고 시스템에 통합 될 때 비전 -LMS를 조사합니다. 이들은 타이포그래피 공격에 대한 위험이 가장 높기 때문입니다. 우리는 배치 위치를 교통 장면에서 배경과 전경으로 식별되는 것으로 분류합니다.

\ • • 배경교통 장면 (예 : 거리, 건물 및 버스 정류장)에서 정적이고 광범위한 환경의 요소를 나타냅니다. 배경 구성 요소는 다양한 크기의기만적인 타이포그래피 요소를 도입하기위한 사전 정의 된 위치를 제공합니다.

\ • • 전경동적 요소를 나타내고 AD 시스템 (예 : 차량, 자전거 및 보행자)의 인식과 직접 상호 작용합니다. 전경 구성 요소는 다양한 크기의 타이포그래피 공격에 대한 동적 및 가변 위치를 제공합니다.

\

\ 공격 된 작업에 따라, 우리는 다른 텍스트 배치와 관찰 된 크기가 일부 공격을 더 효과적으로 만들고 다른 공격은 무시할 수 있음을 관찰합니다. 우리의 연구는 배경 배치 공격이 현장 추론 및 행동 추론에 대해 매우 효과적이지만 전경 배치도 포함되지 않는 한 장면 객체 추론에 효과적이지 않다고 밝혔다.

\
그림 4 : CVPRW'24의 데이터 세트에서 IMP 및 GPT4에 대한 예제.

\

::: 정보
저자:

(1) Nhat Chung, CFAR 및 IHPC, A*스타, 싱가포르 및 VNU-HCM, 베트남;

(2) Syense Gao, CFAR 및 IHPC, A*스타, 싱가포르 및 중국 난카이 대학;

(3) Tuan-Anh Vu, CFAR 및 IHPC, A*스타, 싱가포르 및 HKUST, HKSAR;

(4) Jie Zhang, Nanyang Technological University, 싱가포르;

(5) 중국 베이징 대학교 Aishan Liu;

(6) 중국 상하이 Jiao Tong University의 Yun Lin;

(7) Jin Song Dong, 싱가포르 국립 대학교;

(8) Qing Guo, CFAR 및 IHPC, A*스타, 싱가포르 및 싱가포르 국립 대학교.

:::


::: 정보이 논문은입니다 Arxiv에서 사용할 수 있습니다 CC에 따라 4.0 증서 라이센스.

:::

\

출처 참조

Post Comment

당신은 놓쳤을 수도 있습니다