Systemy AI wysokiego ryzyka — pełna lista wymogów i przykłady

Kiedy system AI jest „wysokiego ryzyka"?

System AI jest klasyfikowany jako wysokiego ryzyka w dwóch przypadkach (Art. 6):

A) Systemy będące komponentami produktów

Gdy AI jest komponentem bezpieczeństwa produktu objętego regulacjami sektorowymi (np. wyroby medyczne, maszyny, pojazdy, zabawki).

B) Systemy z Załącznika III

Systemy wymienione w Załączniku III AI Act:

• Biometria — zdalna identyfikacja biometryczna, kategoryzacja biometryczna
• Infrastruktura krytyczna — zarządzanie ruchem drogowym, energia, woda
• Edukacja — systemy przyjęć, oceniania, monitorowania zachowań
• Zatrudnienie — rekrutacja, screening CV, ocena pracowników, awanse, zwolnienia
• Usługi publiczne — świadczenia socjalne, scoring kredytowy, ubezpieczenia
• Egzekwowanie prawa — predykcja przestępstw, profilowanie, ocena wiarygodności dowodów
• Migracja — weryfikacja dokumentów, ocena wniosków azylowych
• Wymiar sprawiedliwości — systemy wspierające sędziów

Wymogi dla systemów wysokiego ryzyka

1. System zarządzania ryzykiem (Art. 9)

• Identyfikacja i analiza znanych i przewidywalnych ryzyk
• Estymacja ryzyk na podstawie zamierzonego i przewidywalnego użycia
• Środki zarządzania ryzykiem
• Testowanie i walidacja

2. Zarządzanie danymi (Art. 10)

• Jakość danych treningowych, walidacyjnych i testowych
• Reprezentatywność danych
• Wykrywanie i eliminacja biasów

3. Dokumentacja techniczna (Art. 11)

• Opis systemu i jego przeznaczenia
• Specyfikacja techniczna
• Metryki wydajności
• Wyniki testów

4. Rejestrowanie zdarzeń (Art. 12)

• Automatyczne logowanie zdarzeń
• Identyfikowalność i audytowalność

5. Transparentność (Art. 13)

• Instrukcje użytkowania
• Informowanie o możliwościach i ograniczeniach

6. Nadzór człowieka (Art. 14)

• Możliwość interwencji ludzkiej
• Możliwość zatrzymania systemu
• Możliwość odrzucenia decyzji AI

7. Dokładność i solidność (Art. 15)

• Odpowiedni poziom dokładności
• Odporność na błędy i ataki
• Cyberbezpieczeństwo

Ocena zgodności

Dla większości systemów wysokiego ryzyka z Załącznika III, dostawca przeprowadza samodzielną ocenę zgodności (self-assessment). Wyjątek stanowią systemy biometryczne, które wymagają oceny przez notyfikowany organ.