Hordy hakerów DEF CON zaatakują generatywne modele AI

Tysiące hakerów dołączy do 31. dorocznej konferencji DEF CON w ten weekend Wioska sztucznej inteligencji Aby zaatakować jedne z najlepszych dużych modeli językowych na świecie – w największym jak dotąd czerwonym szkoleniu grupowym dowolnej grupy modeli AI: Wyzwanie generatywnej drużyny czerwonych (BRT).

Według NIST (National Institute of Standards and Technology) termin „czerwony zespół” odnosi się do „grupy osób upoważnionych i zorganizowanych w celu symulacji ataku potencjalnego przeciwnika lub wykorzystania możliwości przeciwko postawie bezpieczeństwa organizacji”. To pierwsze publiczne wydarzenie DEFCON dla zespołu AI Red Team, który współpracuje z organizacjami ludzka inteligencjaI Pani Wioska sztucznej inteligencji. Modele przesłane przez Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI i Stability zostaną przetestowane na platformie ewaluacyjnej opracowanej przez Scale AI.

Wyzwanie to zostało ogłoszone przez administrację Bidena-Harrisa w maju – jest wspierane przez Biuro Nauki, Technologii i Polityki Białego Domu (OSTP) i jest zgodne z celami Karty praw AI Biden-Harrisa i NIST AI Ramy zarządzania ryzykiem. Zostanie również zaadaptowany do programów edukacyjnych dla Klubu AI Kongresu i innych urzędników.

Rzecznik OpenAI potwierdził, że GPT-4 będzie jednym z modeli dostępnych do dołączenia do Red Team w ramach GRT Challenge.

„Praca zespołowa Red zawsze była ważną częścią publikowania w OpenAI i cieszymy się, że stała się standardem w całej branży” – powiedział rzecznik. „Nie tylko pozwala nam zbierać cenne opinie, które mogą uczynić nasze modele silniejszymi i bezpieczniejszymi, ale praca zespołowa w kolorze czerwonym zapewnia również różne perspektywy i więcej głosów, które pomagają kierować rozwojem sztucznej inteligencji”.

>> Śledź trwającą generatywną relację AI VentureBeat <

Hakerzy DEF CON dążą do zidentyfikowania słabych punktów w modelu AI

Zadaniem Czerwonego Drużyny jest symulowanie przeciwnika, przeprowadzanie symulacji i symulowanie przeciwnika przeciwko systemom, które próbują rozbić. ćwiczenia i imprezy.

„W tym kontekście staramy się faktycznie symulować zachowania, które ludzie mogą podejmować, i identyfikować słabości modeli i ich działanie” – wyjaśnił. „Każda z tych firm rozwija swoje modele na różne sposoby – mają tajne sosy”. Ostrzegł jednak, że wyzwaniem nie jest rywalizacja modeli. „W rzeczywistości jest to ćwiczenie w identyfikowaniu tego, co było wcześniej nieznane – to nieprzewidywalność i umiejętność powiedzenia, że ​​nigdy o tym nie myśleliśmy” – powiedział.

Wyzwanie zapewni 150 stanowisk na laptopy i dostęp na czas do wielu dostawców LLM — modele i firmy zajmujące się sztuczną inteligencją nie zostaną wybrane w wyzwaniu. Wyzwanie oferuje również system punktowy w stylu Capture the Flag Style (CTF), który usprawnia testowanie szerokiego zakresu uszkodzeń.

Na końcu jest też niezbyt słaba nagroda główna: osoba z największą liczbą punktów wygrywa najwyższej klasy grafikę firmy NVIDIA (która Sprzedaje za ponad 40 000 $).

Firmy zajmujące się sztuczną inteligencją proszą o informacje zwrotne na temat związanych z tym szkód

Dr Ruman Chowdhury, współzałożyciel organizacji non-profit ludzka inteligencjaktóra oferuje właścicielom modeli sztucznej inteligencji bezpieczeństwo, etykę i specjalistyczną wiedzę tematyczną, powiedziała podczas briefingu dla mediów, że firmy AI, które przesyłają swoje modele, są najbardziej entuzjastycznie nastawione do rodzaju informacji zwrotnych, które otrzymają, w szczególności na temat związanych z tym szkód i pojawiające się zagrożenia wynikające z automatyzacji tych nowych technologii w miarę upływu czasu.

Chowdhury wskazał wyzwania, które koncentrują się na wielojęzycznych szkodach modeli sztucznej inteligencji. „To jest bardzo trudne” – powiedziała.

Powiedziała, że ​​kolejnym wyzwaniem jest wewnętrzna spójność modeli. „Bardzo trudno jest stworzyć rodzaje zabezpieczeń, które będą działać konsekwentnie w szerokim zakresie problemów” – wyjaśniła.

Ogromne wydarzenie drużyny czerwonych

Organizatorzy AI Village powiedzieli w komunikacie prasowym, że sprowadzają setki studentów z „pominiętych instytucji i społeczności”, aby znaleźli się wśród tysięcy, którzy po raz pierwszy doświadczą praktycznego LLM czerwonych drużyn.

Levinson z Scale AI powiedział, że podczas gdy inni przeprowadzali ćwiczenia czerwonych zespołów z jednym modelem, skala wyzwania z wieloma testerami i wieloma modelami staje się bardziej złożona – plus fakt, że organy regulacyjne chcą mieć pewność, że różne zasady są uwzględnione w karcie praw AI .

„To właśnie sprawia, że ​​rozmiar tego jest wyjątkowy” – powiedział. „Jestem pewien, że miały miejsce inne zdarzenia związane ze sztuczną inteligencją, ale prawdopodobnie były one bardzo ukierunkowane, na przykład znalezienie fajnego, szybkiego zastrzyku. Istnieje jednak wiele innych wymiarów bezpieczeństwa związanych ze sztuczną inteligencją — i to właśnie staramy się omówić Tutaj.”

Ta skala, wraz z formatem DEF CON, który skupia różnych uczestników, w tym tych, którzy zazwyczaj nie są zaangażowani w rozwój i wdrażanie LLM, jest kluczem do sukcesu wyzwania, powiedział Michael Sillitto, tymczasowy przewodniczący polityki. i społeczne skutki dla ludzi.

„Praca zespołowa Red jest ważną częścią naszej pracy, jak podkreślono w niedawnych zobowiązaniach firmy AI ogłoszonych przez Biały Dom, i ważne jest również, aby robić to na zewnątrz… aby lepiej zrozumieć ryzyko i ograniczenia technologii AI na dużą skalę, ” powiedział.