Sony släpper verktyg för att mäta fördomar hos AI-modeller

Sony har lanserat ett nytt mätverktyg, FHIBE (Fair Human-Centric Image Benchmark), för att utvärdera hur rättvisa och opartiska dagens AI-modeller är. Förhopppningen är att FHIBE kan användas för att identifiera och åtgärda partiskhet i AI-system. Datasamlingen består av 10 000 bilder på nästan 2 000 betalda deltagare från över 80 länder, där varje person har gett samtycke och när som helst kan begära att få sina bilder borttagna. Varje bild är noggrant annoterad med demografiska och fysiska attribut, könsidentitet samt information om miljö och kamerainställningar, vilket gör det möjligt att analysera hur olika faktorer påverkar AI-modellers träffsäkerhet och rättvisa. När Sony testade befintliga AI-modeller mot FHIBE uppfyllde ingen modell helt kriterierna för rättvis behandling. I flera fall presterade modellerna sämre på personer med vissa pronomen, där exempelvis hårstil visade sig påverka igenkänningen. Resultaten visar även att modeller tenderar att förstärka stereotyper och ge mer negativa beskrivningar av personer med vissa ursprung och hudtoner. FHIBE görs nu offentligt tillgängligt, och Sony skriver att verktyget kommer att fortsätta utvecklas och uppdateras med tiden.