피해 평가의 기본 사항

2025-04-10

피해 모델링은 피해 가능성을 예측하고, 사람들을 위험에 빠뜨릴 수 있는 제품의 격차를 식별하고, 궁극적으로 피해를 사전에 해결하는 접근 방식을 만드는 데 도움이 되는 사례입니다.

이 지침은 사용자 지정 코딩된 의사 결정 프레임워크와 같은 알고리즘 기반 시스템을 설계하는 설계자를 위한 것입니다. 또한 AI 또는 기계 학습 모델을 포함하는 프로세스와 같은 아웃소싱된 의사 결정 프로세스에도 적용됩니다.

기술 빌더로서 귀하의 작업은 전 세계에 영향을 미칩니다. 신뢰할 수 있는 알고리즘 기반 시스템을 설계하려면 중요하고 시대를 초월한 인간의 가치에 뿌리를 둔 윤리적 원칙을 반영하는 솔루션을 만들어야 합니다. 디자인 및 개발 프로세스 중에는 사용자에게 이상적인 결과뿐만 아니라 해로 알려진 부정적인 결과도 평가해야 합니다. 이러한 피해는 인간의 감독을 포함하지 않는 의사 결정 아키텍처에서 발생할 수 있습니다.

팁 (조언)

책임 있는 AI와 관련된 지침은 책임 있는 AI 원칙 및 접근 방식을 참조하세요.

피해 유형

다음 표에서는 기술 사용자가 발생할 수 있는 다양한 유형의 피해에 대해 설명합니다. 그(것)들은 다른 시나리오에 있는 사람들에 영향을 미칠 수 있는 해의 다양한 범위를 포함합니다, 그러나 완전하지 않습니다. 워크로드에 나열되지 않은 다른 유형의 피해가 발생할 수 있습니다.

부상 위험

신체적 부상

기술이 어떻게 사람들에게 해를 끼치거나 위험한 환경을 조성할 수 있는지 생각해 보십시오.

해	설명	고려 사항	예시
안전 기능에 대한 지나친 의존	적절한 인간의 감독없이 결정을 내리는 기술에 대한 의존.	사람들이 안전하게 지키기 위해 이 기술에 어떻게 의존할 수 있을까요? 이 기술은 어떻게 적절한 인간의 감독을 줄일 수 있습니까?	헬스케어 에이전트는 불필요한 처리로 이끌어 내는 질병을 잘못 진단합니다.
부적절한 장애 조치(fail-safe)	실제 테스트는 다양한 사용자 및 시나리오 집합을 다루지 않습니다.	이 기술이 실패하거나 오용되면 사람들에게 어떤 영향을 미치나요? 어떤 시점에서 인간이 개입 할 수 있습니까? 테스트하지 않은 대체 용도가 있나요? 시스템 오류는 사용자에게 어떤 영향을 주나요?	자동 문은 비상 대피 시 휠체어를 감지하지 못하므로 액세스 가능한 재정의 단추가 없으면 사람이 갇혀 있습니다.
비정상 에이전트에 노출	제조와 기술 폐기는 근로자와 인근 주민의 건강과 복지를 위태롭게 합니다.	구성 요소 또는 디바이스의 제조에서 발생할 수 있는 부정적인 결과는 무엇인가요?	부적절한 안전 조치는 디지털 구성 요소 제조 중 근로자에게 독소를 노출합니다.

정서적 또는 심리적 부상

오용된 기술은 심한 정서적, 심리적 고통으로 이어질 수 있습니다.

해	설명	고려 사항	예시
자동화에 대한 지나친 의존	잘못된 신념으로 인해 사용자는 인간보다 디지털 에이전트의 신뢰성을 신뢰하게 됩니다.	이 기술은 어떻게 직접 대인 관계 피드백을 줄일 수 있습니까? 이 기술은 신뢰할 수 있는 정보 원본과 어떻게 상호 작용할 수 있나요? 인공 에이전트에 대한 유일한 의존은 사람에게 어떤 영향을 미칠 수 있습니까?	사람은 학습된 전문가 대신 관계 조언 또는 정신 건강 상담을 위해 챗봇에 의존합니다.
현실 또는 가스 조명의 왜곡	기술은 의도적으로 신뢰를 훼손하고 누군가의 현실 감각을 왜곡하기 위해 오용됩니다.	이 기술을 사용하여 디지털 미디어 또는 물리적 환경을 수정할 수 있나요?	IoT 디바이스를 사용하면 멀리서도 전처의 파트너를 모니터링하고 제어할 수 있습니다.
자존감 또는 평판 손상 감소	유해하거나, 거짓이거나, 오해의 소지가 있거나, 부정하는 공유 콘텐츠입니다.	이 기술은 어떻게 개인 정보를 부적절하게 공유하는 데 사용될 수 있습니까? 정보를 오용하고 사람들을 잘못 표현하기 위해 어떻게 조작할 수 있습니까?	합성 미디어 "복수 포르노"는 비디오에 참여하는 사람의 환상을 만드는 얼굴을 교환합니다.
중독 또는 주의 탈취	웰빙에 관계없이 장기간 상호 작용을 위해 설계된 기술입니다.	이 기술은 사용자 가치를 제공하는 것 이상으로 지속적인 상호 작용을 어떻게 보상하거나 장려할 수 있을까요?	비디오 게임 전리품 상자의 가변 드롭 속도는 플레이어가 계속 플레이하고 자기 관리를 소홀히 합니다.
신원 도둑질	ID 도용으로 인해 개인 자격 증명, 평판 및 표현에 대한 제어가 손실될 수 있습니다.	개인이 이 기술로 어떻게 가장될 수 있나요? 이 기술이 잘못된 개인을 진정한 사용자로 잘못 인식할 가능성은 무엇입니까?	가상 음성 글꼴은 사람의 음성 소리를 모방하고 은행 계좌에 액세스하는 데 사용됩니다.
오인된 저작	기술은 책임지지 않는 행동 또는 콘텐츠를 가진 사람에게 크레딧을 줍니다.	이 기술은 개인 또는 그룹에 대한 작업을 어떻게 특성화할 수 있나요? 행동의 잘못된 귀속이 누군가에게 어떤 영향을 미칠 수 있나요?	얼굴 인식은 경찰 조사 중에 개인을 잘못 인식합니다.

부수적 서비스 거부

기회 손실

자동화된 결정은 웰빙에 필수적인 리소스, 서비스 및 기회에 대한 액세스를 제한할 수 있습니다.

해	설명	고려 사항	예시
고용 차별	어떤 사람들은 장점과 관련이 없는 특성에 따라 작업을 신청하거나 보호하기 위해 액세스 권한이 거부됩니다.	이 기술은 고용과 관련된 권장 사항 또는 결정에 어떤 영향을 미칠 수 있습니까?	AI 채용 시스템은 여성 이름처럼 들리는 후보자를 적게 면접에 추천합니다.
주택 차별	사람들이 주택에 대한 액세스 또는 주택에 신청 할 수있는 능력을 거부합니다.	이 기술은 주택과 관련된 권장 사항 또는 결정에 어떤 영향을 미칠 수 있습니까?	공공 주택 대기열 알고리즘은 외국인 이름을 가진 사람들이 바우처를 더 오래 기다리게 합니다.
보험 및 복리후생 차별	편향된 표준으로 인해 사람들의 보험, 사회 지원 또는 의료 재판에 대한 액세스를 거부합니다.	이 기술을 사용하여 보험 또는 사회적 혜택의 액세스, 비용 또는 할당을 결정할 수 있나요?	알고리즘 예측은 음주 운전 위험이 증가했음을 시사하기 때문에 보험 회사는 야간 근무를 하는 운전자에게 더 높은 요금을 부과합니다.
교육 차별	변경되지 않는 특성 때문에 교육에 대한 액세스가 거부됩니다.	이 기술은 액세스, 비용, 숙박 시설 또는 교육과 관련된 기타 결과를 결정하는 데 어떻게 사용될 수 있습니까?	감정 분류자는 한 인종 그룹의 학생들이 다른 인종 그룹보다 덜 참여하여 성적이 낮아진 것을 잘못 보고합니다.
디지털 분열 또는 기술 차별	기술의 이점에 대한 불균형한 접근은 어떤 사람들은 사회에 참여할 수 있는 정보를 덜 주거나 갖추게 합니다.	이 기술을 최대한 활용하려면 어떤 필수 구성 요소 기술, 장비 또는 연결이 필요한가요? 장비, 연결 또는 기타 제품 기능 측면에서 특정 개인이 이 기술에 조기에 액세스하게 되는 결과는 어떻게 될까요?	콘텐츠 제한은 농촌 학생들이 교실 교육 비디오 피드에 액세스하지 못하게 합니다.
선택/네트워크 및 필터 버블 손실	사람들에게 자신의 믿음을 준수하고 강화하는 정보만 제시합니다.	이 기술은 사람들이 사용할 수 있는 선택 사항과 정보에 어떤 영향을 미칠 수 있습니까? 이 기술은 미래의 동작 또는 기본 설정을 예측하기 위해 어떤 과거 동작이나 기본 설정을 사용할 수 있나요?	뉴스 피드는 기존 신념을 확인하는 정보만 제공합니다.

경제적 손실

금융 상품, 경제적 기회 및 자원과 관련된 자동화된 결정은 기존의 사회적 불평등을 증폭시키고 웰빙을 방해할 수 있습니다.

해	설명	고려 사항	예시
신용 차별	경제적 장점과 관련이 없는 특성에 따라 금융 상품에 대한 액세스를 거부합니다.	이 기술은 어떻게 기존 신용 구조에 의존하여 결정을 내릴 수 있을까요? 이 기술은 신용 점수를 얻거나 유지하는 개인 또는 그룹의 능력에 어떤 영향을 미칠 수 있습니까?	더 높은 입문 요금 제안은 낮은 사회 경제적 우편 번호의 가정에만 전송됩니다.
상품 및 서비스의 차등 가격 책정	제품 또는 서비스는 생산 또는 배송 비용과 관련이 없는 이유로 다른 가격으로 제공됩니다.	이 기술을 사용하여 상품 또는 서비스의 가격을 결정하는 데 어떻게 사용할 수 있나요? 이 기술을 사용하는 개인에게 비용을 결정하는 데 사용되는 기준은 무엇인가요?	제품은 성별 결정에 따라 더 높은 가격으로 제공됩니다.
경제적 착취	사람들은 자신의 존엄성이나 복지에 영향을 미치는 무언가에 대해 일하도록 강요되거나 오해를 받고 있습니다.	인간의 노동은 이 기술에 대한 교육 데이터의 생산에 어떤 영향을 미치나요? 이 인력은 어떻게 확보되는가? 인간의 노동은 이 기술을 어떻게 지원합니까? 이 인력은 어디에서 나올 것으로 예상되는가?	재정적으로 빈곤한 사람들은 AI 시스템을 학습하기 위해 생체 인식 데이터에 대한 대가를 받습니다.
개별 전문 지식 평가절하	기술은 유료 인간의 전문 지식이나 노동의 사용을 대체합니다.	이 기술은 기존 인력을 고용해야 하는 필요성에 어떤 영향을 미칠 수 있습니까?	AI 인공지능 에이전트들은 의료 영상 평가에서 의사 또는 방사선사를 대체합니다.

인권 침해

존엄성 손실

기술은 사람들이 세상을 인식하는 방식과 서로를 인식하고, 참여하고, 소중히 여기는 방법에 영향을 미칠 수 있습니다. 기술은 사람 간의 명예와 존중의 교환을 방해할 수 있습니다.

피해	설명	고려 사항	예시
비인간화	사람의 인간성을 제거, 축소 또는 모호하게 하는 것.	이 기술을 사용하여 사람의 표현을 단순화하거나 추상화하려면 어떻게 해야 할까요? 이 기술은 인간과 디지털 세계의 차이를 어떻게 줄일 수 있을까요?	드론 감시의 엔터티 인식 및 가상 오버레이는 인간의 행동에 대한 인식된 책임을 줄입니다.
공공 부끄러움	사람들의 사적, 민감하거나 사회적으로 부적절한 자료를 노출합니다.	데이터 집계가 개인의 움직임이나 행동을 어떻게 드러낼 수 있을까요?	피트니스 앱은 소셜 미디어에서 사용자의 GPS 위치를 표시하며, 이는 알코올 중독자 익명 모임에 참석했음을 나타냅니다.

자유 손실

자동화된 법률, 사법 및 사회 시스템은 편견을 강화하고 해로운 결과를 초래할 수 있습니다.

손해	설명	고려 사항	예시
예측 치안	기록 기록에 따라 의심스러운 동작 또는 범죄 의도 유추	이 기술은 어떻게 인간의 치안 또는 형사 사법 의사 결정을 지원하거나 대체 할 수 있습니까?	알고리즘은 여러 지역 체포를 예측하므로 경찰은 해당 수와 일치하거나 초과하는지 확인합니다.
소셜 제어	준수는 인간의 행동을 긍정적 또는 부정적으로 공개적으로 지정하여 강화되거나 권장됩니다.	이 기술에 공급되는 개인 또는 행동 데이터 유형은 무엇인가요? 어떻게 얻을 수 있습니까? 이 데이터에서 파생되는 출력은 무엇인가요? 이 기술을 사용하여 특정 동작을 장려하거나 억제할 수 있나요?	권위주의 정부는 소셜 미디어와 전자 상거래 데이터를 사용하여 사람들이 쇼핑하는 곳과 함께 시간을 보내는 사람에 따라 "신뢰할 수있는"점수를 결정합니다.
효과적인 구제 수단의 손실	결정의 이론적 근거를 설명할 수 없는 능력 또는 이의를 제기할 기회의 부족.	사람들은 이 기술의 결정에 대한 추론을 어떻게 이해할 수 있을까요? 이 기술에 의존하는 개인이 결정을 어떻게 설명할 수 있을까요? 사람들은 이 기술이 내리는 결정에 대해 어떻게 이의를 제기하거나 의문을 제기할 수 있을까요?	자동 징역형 또는 재판 전 석방 결정은 피고인에게 설명되지 않습니다.

개인 정보 보호 손실

기술이 생성하는 정보는 사실을 확인하거나 지식이 없는 사람에 대해 가정하는 데 사용할 수 있습니다.

해로움	설명	고려 사항	예시
사생활에 대한 간섭	사용자가 공유하지 않기로 선택한 정보를 공개합니다.	이 기술은 어떻게 정보를 사용하여 사람의 사생활의 일부를 유추할 수 있을까요? 이러한 추론에 근거한 결정은 어떻게 사람이 비공개로 유지하는 것을 선호하는 정보를 노출할 수 있는가?	작업 추적 기능은 혼외 관계를 유추하는 개인 패턴을 모니터링합니다.
강제 연결	사회에 참여하기 위해 기술 또는 감시 사용에 참여하도록 요구합니다.	사람들이 사회 또는 조직 구성원 자격에 참여하기 위해 이 기술이 어떻게 필요할까요?	채용 제안서에는 회사의 회의실 전사 AI에서 생체 인식 등록을 요구합니다.
자유롭고 완전히 성격을 개발할 수 없음	자신을 진실하게 표현하거나 자기 개발을위한 외부 길을 탐구하는 능력의 제한.	이 기술은 어떻게 특정 성격 특성에 대한 긍정적 인 대 부정적인 의미를 설명합니까? 이 기술은 어떻게 정부 나 고용주와 같은 엔터티에 정보를 공개하고 표현의 자유를 억제합니까?	지능형 회의 시스템은 개인 코칭 및 멘토링 세션을 포함하여 동료 간의 모든 토론을 기록합니다.
결코 잊지 마세요.	디지털 파일 또는 레코드는 삭제되지 않습니다.	이 제품에서 저장된 데이터는 무엇이고 어디에 저장되며 누가 액세스할 수 있나요? 기술 상호 작용 후에 사용자 데이터가 저장되는 기간은 얼마인가요? 사용자 데이터는 어떻게 업데이트되거나 삭제되는가?	십대의 소셜 미디어 기록은 그들이 플랫폼을 벗어난 후에도 오랫동안 검색할 수 있습니다.
이동 또는 어셈블리의 자유 상실	원하는 익명성으로 물리적 또는 가상 세계를 탐색할 수 없는 경우	이 기술은 물리적 및 가상 공간에서 사람들을 어떻게 모니터링할 수 있을까요?	실제 스토킹을 가능하게 하는 비디오 게임에 등록하려면 실제 이름이 필요합니다.

환경에 미치는 영향

시스템 또는 제품 수명 주기의 모든 결정은 필요한 클라우드 컴퓨팅의 양에서 소매 패키징에 이르기까지 환경에 영향을 줄 수 있습니다. 환경 변화는 전체 커뮤니티에 영향을 줄 수 있습니다.

해롭다	설명	고려 사항	예시
리소스의 악용 또는 고갈	기술의 원료를 얻는 것은 어떻게 구동되는지를 포함하여 환경과 주민들에게 부정적인 결과를 초래합니다.	이 기술을 빌드하거나 실행하는 데 필요한 재료는 무엇인가요? 이 기술을 빌드하거나 실행하는 데 필요한 에너지 요구 사항은 무엇인가요?	이 지역에서 희토류 광물을 수확하면 투자 수익률이 크게 발생할 수 있다는 계산이 있기 때문에 지역 사회는 변위됩니다.
전자 폐기물	전자 기기를 수리, 재활용 또는 책임감 있게 폐기할 수 없기 때문에 집단 복지의 품질이 저하되었습니다.	이 기술은 재료를 재활용하거나 사용자가 자체 수리할 수 있도록 하여 전자 폐기물을 어떻게 줄일 수 있을까요? 새 버전이 릴리스되거나 현재 또는 이전 버전이 작동하지 않을 때 이 기술이 전자 폐기물에 어떻게 기여할 수 있나요?	일회용 전자 장치 내부의 독성 물질은 물 공급에 침출되어 지역 주민을 아프게합니다.
탄소 배출	비효율적인 클라우드 솔루션을 실행하면 불필요한 탄소 배출과 전기 폐기물이 발생하여 기후에 해를 끼칩니다.	클라우드 워크로드 및 솔루션이 얼마나 최적화되었는지에 대한 인사이트가 있나요? 솔루션이 기후에 어떤 영향을 미치며 워크로드를 배포하는 지역에 따라 달라지나요?	클라우드 효율성을 위한 비효율적이거나 부적절하게 설계된 솔루션은 기후에 더 큰 타격을 줍니다. 이로 인해 불필요한 탄소 배출과 전기 폐기물이 발생합니다.

조작

고도로 개인화되고 조작적인 경험을 만드는 기술의 능력은 정보에 입각한 시민과 사회 구조에 대한 신뢰를 약화시킬 수 있습니다.

해	설명	고려 사항	예시
잘못된 정보	가짜 정보를 합법적이거나 신뢰할 수 있는 정보로 위장합니다.	이 기술을 사용하여 잘못된 정보를 생성하려면 어떻게 해야 할까요? 신뢰할 수 있는 잘못된 정보를 전파하는 데 어떻게 사용할 수 있습니까?	정치 지도자의 합성 연설이 생성되어 선거를 좌우합니다.
행동 악용	개인의 선호도 또는 행동 패턴을 악용하여 원하는 반응을 유도합니다.	이 기술을 사용하여 동작 패턴을 관찰하려면 어떻게 해야 할까요? 이 기술은 어떻게 기능 장애 또는 부적응 행동을 장려하는 데 사용할 수 있습니까?	연결된 소매 환경에서 쇼핑 습관을 모니터링하면 임펄스 쇼핑객과 비장에 대한 맞춤형 인센티브가 발생합니다.

규모에 따라 기술이 사람들에게 영향을 미치는 방식은 지역 사회 내의 사회적, 경제적 구조를 형성합니다. 그것은 더 포함 하거나 다른 사람을 제외 하는 동안 어떤 사람들을 혜택을 요소를 배어 수 있습니다.

피해	설명	고려 사항	예시
권력 불평등 증폭	기존 클래스 또는 권한 차이를 지속합니다.	이 기술은 기존의 사회적, 경제적 또는 계급적 격차가 있는 맥락에서 어떻게 사용될 수 있을까요? 더 많은 권력이나 특권을 가진 사람들이 이 기술에 어떻게 불균형적으로 영향을 미칠 수 있을까요?	구직 웹 사이트에는 노숙자가 신청할 수 없도록 등록할 주거 주소와 전화 번호가 필요합니다.
스테레오타입 강화	역사적이거나 통계적으로 과소 대표된 사람들에 대한 잘못된 "기존의 통념"을 영속시키는 것.	이 기술은 어떻게 기존의 사회적 규범이나 문화적 고정관념을 강화하거나 증폭시키는 데 사용될 수 있는가? 이 기술에서 사용하는 데이터는 어떻게 편견이나 고정관념을 반영할 수 있을까요?	"CEO"에 대한 이미지 검색 결과는 주로 백인 남성의 사진을 보여줍니다.
개성 상실	고유한 관점을 표현할 수 없습니다.	이 기술은 어떻게 대다수 의견이나 "그룹 생각"을 증폭시킬 수 있습니까? 반대로, 이 기술은 어떻게 고유한 형태의 표현을 억제할 수 있을까요? 이 기술은 수집된 데이터를 사람들에게 피드백으로 어떻게 사용할 수 있을까요?	비디오 게임 아바타에 대한 제한된 사용자 지정 옵션은 플레이어의 다양성에 대한 자기 표현을 억제합니다.
대표 상실	일반화의 광범위한 범주는 실제 ID를 모호하게, 줄이거나, 지우는 것입니다.	이 기술은 ID 옵션을 어떻게 제한할 수 있나요? 사용자에 자동으로 레이블을 지정하거나 분류하는 데 사용할 수 있나요?	자동화된 사진 캡션은 잘못된 성 정체성과 연령을 주제에 할당합니다.
기술 저하 및 만족도	자동화에 대한 지나친 의존은 수동 기술의 위축으로 이어집니다.	이 기술은 수동 컨트롤을 사용하는 접근성과 기능을 어떻게 줄일 수 있을까요?	조종사는 기기에만 의존하도록 훈련되었기 때문에 비행기의 진정한 방향을 측정할 수 없습니다.

워크로드와 관련된 피해 정의

이전 범주, 질문 및 예제를 사용하여 워크로드 내에서 피해가 발생할 수 있는 방법에 대한 구체적인 아이디어를 생성합니다. 시나리오와 관련된 다른 범주를 조정하고 채택합니다.

이 문제를 개별적으로 모델링하는 작업을 완료할 수 있지만 이상적으로는 관련자와 공동 작업해야 합니다. 기술을 설계하고 구현할 때 개발자, 데이터 과학자, 디자이너, 사용자 연구원, 비즈니스 의사 결정자 및 기타 분야가 포함됩니다.

용도: [사용 사례]에 [기능]이 사용되는 경우 [이해 관계자]는 [피해 설명]을 경험할 수 있습니다.
의도하지 않은 사용: [사용자]가 [사용 사례]에 [기능]을 사용하려고 하면 [이해 관계자]가 [피해 설명]을 경험할 수 있습니다.
시스템 오류: [사용 사례]에 사용할 때 [기능]이 제대로 작동하지 않으면 [이해 관계자]가 [피해 설명]을 경험할 수 있습니다.
오용: [악의적인 행위자]는 [기능]을 사용하여 [이해 관계자]에게 [피해 설명]을 일으킬 수 있습니다.

투명성 문서 사용

일부 서비스는 투명성 문서를 제공합니다. 투명성 문서는 서비스의 작동 방식, 기능, 제한 사항 및 윤리적 고려 사항에 대한 인사이트를 제공합니다. 이러한 문서를 검토하여 서비스의 내부 작동을 이해하고 책임 있는 사용을 보장할 수 있습니다.

Azure에서 솔루션을 빌드할 때 서비스에서 제공하는 투명도 문서를 읽어보세요. 이러한 솔루션이 워크로드의 피해 모델링에 부합하는 방식을 고려합니다. 서비스의 기능 및 제한 사항이 특정 사용 사례의 위험을 도입하거나 완화하는지 여부를 고려합니다.

피해 평가

광범위한 잠재적 피해 목록을 생성한 후 각 피해 범주에 대한 잠재적 크기를 평가합니다. 이 단계에서는 포커스 영역의 우선 순위를 지정합니다. 다음 요소를 고려합니다.

기여 요인	정의
심각도	이 기술은 개인이나 그룹의 복지에 얼마나 심각한 영향을 미칠 수 있습니까?
규모	인구 또는 그룹 전체에서 복지에 미치는 영향을 얼마나 광범위하게 경험할 수 있습니까?
확률	이 기술은 개인 또는 그룹의 복지에 얼마나 영향을 미칠 가능성이 있습니까?
빈도	이 기술은 개인 또는 그룹의 복지에 얼마나 자주 영향을 미칠 수 있습니까?

다음 단계

Microsoft 포괄적 디자인

책임 있는 AI에 대한 관련 문서를 참조하세요.