뉴욕의 라이트 에이드(Rite Aid) 매장에서 발생한 부주의한 얼굴 인식 기술 사용으로 인해 연방거래위원회(Federal Trade Commission, FTC)가 이 회사에 5년 간 해당 기술 사용을 금지하는 조치를 내렸다. FTC는 라이트 에이드가 고객들을 범죄자로 잘못 지목하고 특히 유색 인종을 불공정하게 대상으로 삼았다고 밝혔다.
라이트 에이드와 FTC는 화요일에 합의에 도달했다. 이 합의는 수백 개 매장에서 인공지능 기반 소프트웨어를 사용하여 도난이나 기타 범죄 행위를 할 가능성이 있다고 판단되는 사람들을 식별하고 매장 출입을 금지하거나 방문을 막은 혐의에 대한 것이다. 하지만 이 불완전한 기술은 잘못된 신호로 인해 직원들이 실제로는 범죄자가 아닌 고객들을 범죄자로 오인하게 만들었다. FTC에 따르면, 이로 인해 일부 고객들은 공공장소에서 친구, 가족, 낯선 사람들 앞에서 범죄 활동을 한 혐의를 받기도 했으며, 잘못 구금되고 수색을 당하는 경우도 있었다.
라이트 에이드는 성명을 통해 FTC와의 합의에 만족한다고 밝혔지만, 기관의 불만 사항에 대해 근본적으로 동의하지 않는다고 언급했다. 얼굴 인식 기술은 시범 프로그램으로서 제한된 수의 매장에서만 사용되었으며, FTC의 조사가 시작되기 전인 3년 전에 이미 중단되었다.
이 기술은 주로 대규모 흑인, 라티노, 아시아 커뮤니티가 있는 지역에서 배치되었다고 FTC는 전했다. 또한 라이트 에이드는 수천 개의 저품질 사진을 기반으로 ‘관심 있는 사람들’이라고 불리는 데이터베이스를 생성했는데, 이 사람들은 매장에서 범죄 활동을 하고 있다고 회사 측이 판단한 고객들이었다. FTC는 라이트 에이드에게 이 사진들을 삭제하고 데이터베이스에 포함된 사실을 고객들에게 통보하도록 요구하고 있다.
FTC의 소비자 보호국 국장인 새뮤얼 레빈(Samuel Levine)은 “라이트 에이드의 부주의한 얼굴 감시 시스템 사용으로 인해 고객들이 굴욕감과 기타 피해를 겪었으며, 명령 위반은 소비자의 민감한 정보를 위험에 빠트렸다”라고 발표했다. FTC와의 합의에 따라, 라이트 에이드는 인공지능 기반 기술을 배치할 때 고객에게 해를 끼치지 않도록 ‘포괄적인 안전 조치’를 구현해야 한다. 또한, 소비자에게 잠재적인 위험을 통제할 수 없는 경우에는 해당 기술을 사용하지 못하도록 제한된다.
라이트 에이드는 “직원들과 고객들의 안전이 가장 중요하다”며, “FTC와의 합의의 일환으로, 우리는 포괄적인 정보 보안 프로그램의 관행과 정책을 지속적으로 개선하고 공식화할 것”이라고 말했다.
라이트 에이드가 파산 절차에 참여하고 있기 때문에, FTC는 법원의 승인을 받은 후 명령이 시행될 것이라고 밝혔다.
