TwinCode를 통한 코딩 편향 연구

링크 표

초록 및 1 소개

1.1 Twincode 플랫폼

1.2 파일럿 연구

1.3 기타 성 정체성 및 1.4 논문 구조

2 관련 작업

3 독창적 인 연구 (2021 년 12 월 Seville) 및 3.1 참가자

3.2 실험 실행

3.3 요인 (독립 변수)

3.4 응답 변수 (종속 변수)

3.5 혼란 변수

3.6 데이터 분석

4 첫 번째 복제 (Berkeley May, 2022)

4.1 참가자

4.2 실험 실행

4.3 데이터 분석

5 토론 및 타당성에 대한 위협 및 5.1 원인 구성의 운영 – 치료

5.2 효과 구성의 운영 – 메트릭

5.3 인구 샘플링 – 참가자

6 결론과 미래의 작업

6.1 다른 문화적 배경에서 복제

6.2 챗봇을 파트너 및 AI 기반 발화 코딩으로 사용합니다

데이터 세트, 윤리적 표준 준수, 승인 및 참조

A. 설문지 #1 및 #2 응답 항목

B. Twincode 사용자 인터페이스의 진화

C. tag-a-chat의 사용자 인터페이스

1.1 Twincode 플랫폼

우리의 연구를 지원하기 위해 우리는 Twincode 원격 쌍 프로그래밍 플랫폼을 개발했습니다. [18](i) 인구 통계 학적 데이터를 수집하는 학생의 등록; (ii) 실험 및 대조군에 대한 임의의 할당은 성 비율의 균형을 맞추는데, 즉 두 그룹 모두에서 동일한 성별을 가진 사람을 갖기 위해 노력한다. (iii) 실험 제어 쌍으로의 무작위 할당; (iv) 개별 피험자 및 쌍에 프로그래밍 연습의 무작위 할당; (v) 실험 그룹의 해당 피험자에 대한 쌍 프로그래밍 연습 사이의 젠더 아바타의 교환; 그리고 (vi) 상호 작용 메트릭의 자동 모음 및 채팅 발화.

그림 1에서 볼 수 있듯이 TwinCode는 학생들이 동시에 JavaScript에서 제안 된 프로그래밍 연습에 대한 솔루션을 개발하고 여러 테스트 사례에 대해 검증 할 수있는 소스 코드 편집기를 제공합니다. 커뮤니케이션을 촉진하기 위해 한 파트너 만 소스 코드를 동시에 검증하고 검증 결과를 확인할 수 있으며, 이는 채팅 창을 사용하여 다른 파트너에게 전달되어 제안 된 연습을 해결하도록 지시받습니다. 또한 젠더 아바타는 실험 그룹의 학생에 대해서만 표시되지만 (그림 1 (a) 참조)는 대조군의 것들에 대해서는 그렇지 않습니다 (그림 1 (b) 참조).

실험자는 TwinCode를 사용하여 다른 측면에서 프로그래밍 연습의 유형, 숫자 및 지속 시간, 학생들에게 표시된 교육 메시지를 구성 할 수있는 새로운 실험 세션을 만들 수 있습니다. 필요한 경우 새로운 프로그래밍 연습과 해당 테스트 사례를 개발할 수도 있습니다.

TwinCode 플랫폼은 영구적 인 진화에 있으며, 우리 연구 중에 Python을 대체 프로그래밍 언어로 사용하는 것, 젠더 아바타로 사용 된 이미지를 변경하고 (그림 9 참조), 지침 및 젠더 메시지를 개선하는 등 (그림 16 (A) 및 16 개 (16 개)의 개선과 같은 연구 기간 동안 몇 가지 새로운 요구 사항을 충족시키기 위해 몇 가지 개선이 통합되었습니다.

우리는 또한 부록 B의 그림 17에서 볼 수 있듯이 실험자들이 다른 태그 세트를 사용하여 채팅 발화를 도와주는 도구 인 Tag-A-Chat도 개발했습니다. 코딩의 훈련 단계에서 실험자들을 도와주고, Tag-a-Chat은 Cohen ‘s kappa (두 코더)와 같은 Cohen’s Kappa와 같은 메트릭을 자동으로 계산합니다. 코더 간 신뢰성 평가를 달성하기위한 실험자 [42, 55] [2].

1.2 파일럿 연구

우리 연구에 매우 초기 접근 방식을 제시 한 후 [2](i) 설문지에 사용 된 척도의 이해력과 내부 일관성에 대한 초기 피드백; (ii) Twincode 플랫폼의 유용성과 성능; 그리고 (iii), 채팅 발화 코딩의 적용 가능성은 [44] 표 1에 나와 있는데, 2020-21 학년도에 버클리 (UC Berkeley)의 세비야 대학교와 캘리포니아 대학교에서 제한된 수의 학생들을 가진 두 개의 파일럿 연구가 수행되었습니다.

결과적으로 설문지는 내부 일관성을 위해 평가 된 세 가지 척도로 재구성되었고 (부록 A 참조) 초기 채팅 발화 코드 세트는 형식 코드로 보강되었으며 TwinCode 플랫폼의 성능 및 신뢰성이 향상되었습니다.

1.3 기타 성 정체성

우리는 많은 소프트웨어 엔지니어링 학생들이 남성이나 여성으로 식별되지 않을 수 있음을 인식하지만, 초기 탐사는 주로 이들 중 하나로 식별하는 학생들 사이의 상호 작용에 중점을 둡니다. 성 유체, 성별 정보 및 비 이성 학생과 관련된 상호 작용의 잠재적 편견은 자체 후속 연구를받을만한 복잡한 주제입니다.

1.4 용지의 구조

종이의 나머지 부분은 다음과 같이 구성됩니다. 섹션 2는 관련 작업을 검토하지만, 우리가 아는 한, 이것은 쌍 프로그래밍 쌍 내에서 성 편견이 영향을 미치는 첫 번째 연구입니다. 섹션 3과 4는 세비야 대학 (2021 년 12 월)에서 수행 된 원래의 연구와 UC 버클리 (2022 년 5 월)에서 각각 수행 된 첫 번째 외부 복제를 설명합니다. 섹션 5는 두 연구와 실험적 타당성에 대한 위협에 대해 논의합니다. 마지막으로, 섹션 6은 결론을 도출하고 향후 작업을 제안합니다.

[2] Maxqda (또는 atlas.ti (https : // atlasti.com)와 같은 상업적 질적 분석 도구는 사용할 수 있지만, 코딩 채팅 발화를 위해 구체적으로 설계되지 않았기 때문에 Tag-A-Chat을 개발하기로 결정했지만, 코더 간 신뢰성 메트릭에 대한 지원은 제한적이며 향후 요구에 대한 기능을 확장하고 다른 연구자들을 자유롭게 사용할 수있게하는 것을 선호합니다.