PII(개인 식별 정보) 엔터티 인식

  • 5분

PII(개인 식별 정보) 검색은 Azure AI Language에서 제공하는 기능입니다. 구조화되지 않은 텍스트에서 PII(개인 식별 정보)를 식별, 분류 및 수정합니다. PII에는 전자 메일 주소, 전화 번호, 결제 정보 등이 포함됩니다.

PII 검색 API를 호출하는 방법에는 여러 가지가 있습니다. 여기서는 azure_ai 확장을 사용하여 SQL 쿼리의 텍스트에서 PII를 처리합니다.

필수 조건

azure_ai 확장이 사용하도록 설정 및 구성된 Azure Database for PostgreSQL 유연한 서버가 필요합니다. 또한 언어 리소스의 키와 엔드포인트를 설정하여 Azure Cognitive Services로 권한을 부여 해야 합니다.

시나리오

다음을 비롯한 여러 애플리케이션에 PII 검색을 사용합니다.

  • 민감도 레이블: PII 유형에 따라 문서 또는 전자 메일을 민감도별로 분류합니다. 전화 번호가 포함된 텍스트는 기밀로 표시될 수 있지만 신용 카드 또는 은행 계좌 번호는 매우 비밀로 표시될 수 있습니다.
  • 지원 및 운영에 대한 수정: 인시던트 심사 또는 지원 라우팅과 같은 많은 운영 작업은 개인 정보가 필요하지 않습니다. 회사는 PII 편집을 사용하여 직원의 작업에 필요하지 않은 고객 정보를 필터링할 수 있습니다.
  • 무의식적 편견을 줄이기 위해 개인 정보를 줄입니다. 회사는 무의식적인 성별이나 기타 편견을 완화하는 데 도움이 되는 이름, 주소 및 기타 정보를 제거할 수 있습니다.

Azure Cognitive Services를 사용하여 SQL에서 PII 검색

Azure Database for PostgreSQL 유연한 서버 azure_ai 확장 은 SQL 내에서 AI 기능에 직접 액세스할 수 있는 UDF(사용자 정의 함수)를 제공합니다. PII 검색 API는 azure_ai에서 제공하는 azure_cognitive.recognize_pii_entities 함수를 사용하여 액세스됩니다.

azure_cognitive.recognize_pii_entities(
 text text,
 language text,
 timeout_ms integer DEFAULT 3600000,
 throw_on_error boolean DEFAULT true,
 ___domain text DEFAULT 'none'::text,
 disable_service_logs boolean DEFAULT false
)

필수 매개 변수는 text 입력과 text가 작성된 언어인 language입니다. 예를 들어 en-us 미국 영어이고 fr 프랑스어입니다. 사용 가능한 언어의 전체 목록은 언어 지원을 참조하세요.

기본적으로 엔터티 인식은 3,600,000ms = 1시간 안에 완료되지 않으면 중지됩니다. 를 변경 timeout_ms하여 이 지연을 사용자 지정할 수 있습니다.

오류가 발생하면 기본 동작은 예외를 throw하여 트랜잭션 롤백을 발생시키는 것입니다. false로 설정하여 이 동작을 사용하지 않도록 설정할 throw_on_error 수 있습니다.

매개 변수를 ___domain 사용하여 식별된 개인 데이터의 종류를 사용자 지정할 수 있습니다. 현재 기본값 none 은 일반 PII를 사용하며 도메인 phi 은 개인 건강 정보를 식별합니다.

전체 매개 변수 설명서는 Azure Cognitive Services 확장 설명서를 참조하세요.

예를 들어 이 쿼리를 호출합니다.

SELECT azure_cognitive.recognize_pii_entities('My phone number is +1555555555, and the address of my office is 16255 NE 36th Way, Redmond, WA 98052.', 'en-us');

다음 결과를 제공합니다.

("My phone number is ***********, and the address of my office is ************************************.","{""(+1555555555,PhoneNumber,\\""\\"",0.8)"",""(\\""16255 NE 36th Way, Redmond, WA 98052\\"",Address,\\""\\"",1)""}")

PII 서비스는 신뢰도 점수가 0.8인 전화 번호와 신뢰도 점수가 1인 주소를 검색했습니다. 또한 두 개의 PII 데이터 요소가 수정된 입력을 반환했습니다.

입력 텍스트에 테이블 열을 사용할 수 있습니다.

SELECT description, azure_cognitive.recognize_pii_entities(description, 'en-us')
FROM listings LIMIT 1;

다음을 반환합니다 (\x가 확장 디스플레이에 대해 사용하도록 설정된 경우):

recognize_pii_entities | ("New modern house built in 2013. Spectacular sunset/water views, light, rooftop deck and lounge area, hot tub, 5 bedrooms, gourmet kitchen. Perfect for 2-3 families, walk to downtown. Located in highly desirable Queen Anne neighborhood. Our house is modern, light and fresh with a warm simple palette accented with barnwood, steel and concrete. Open living spaces for entertaining, gourmet kitchen, deck off the kitchen, reading nook, half bath and smaller tv room off kitchen. Fireplace with sofa and sitting area. Basement room is great for ****...this room has patio access and a garage door that opens into the space with basketball hoop right outside. A queen bedroom and full bath are in the basement with concrete heated floors. A queen sleeper sofa is in the tv area in the basement. This room has a door if privacy is needed. Great for a second ****** with ****. The 2nd floor has 4 bedrooms (one queen in master, one twin bedroom, another bedroom has twin bunk beds and the last","{""(kids,PersonType,\\""\\"",0.73)"",""(family,PersonType,\\""\\"",0.71)"",""(kids,PersonType,\\""\\"",0.65)""}")

요약

PII 검색은 구조화되지 않은 입력 텍스트에서 개인 식별 정보를 식별하고 분류합니다. Azure Cognitive Services 언어 모델은 많은 작업을 수행하며 azure_ai , Azure Database for PostgreSQL 확장은 SQL 쿼리 내에서 직접 PII를 검색하고 수정하는 API를 제공합니다 azure_cognitive.recognize_pii_entities .