Halsey Andrews Dołącz do dyrektorów generalnych w San Francisco w dniach 11-12 lipca, aby dowiedzieć się, jak liderzy integrują i optymalizują inwestycje w sztuczną inteligencję, aby osiągnąć sukces.. Ucz się więcej
Krajobraz generatywnej sztucznej inteligencji do generowania kodu stał się dziś jeszcze bardziej zatłoczony wraz z uruchomieniem nowego dużego modelu językowego StarCoder (LLM).
StarCoder jest częścią Projekt BigCodewspólny wysiłek obsługa, natychmiast I przytulanie twarzy. BigCode został pierwotnie ogłoszony we wrześniu 2022 r. jako próba zbudowania otwartej społeczności wokół narzędzi do generowania kodu dla sztucznej inteligencji. StarCoder LLM to 15-miliardowy model parametrów przeszkolony na kodzie źródłowym z licencją na uprawnienia, dostępnym w GitHub.
Model został przeszkolony w ponad 80 językach programowania, chociaż ma szczególną siłę w popularnym języku programowania Python, szeroko stosowanym w nauce o danych i uczeniu maszynowym (ML).
Ogrzewanie rynku
Wysiłki mające na celu zbudowanie generatora otwartego kodu dla sztucznej inteligencji stanowią nową konkurencję dla Codex OpenAI, który napędza eksperymentalną usługę pomocniczą GitHub, a także wysiłki innych dostawców, w tym narzędzie Amazon CodeWhisper. Zarówno narzędzia OpenAI, jak i Amazon są oparte na autorskim kodzie, natomiast StarCoder jest udostępniany w ramach licencji Open Odpowiedzialna AI (OpenRAIL).
„Istnieją solidne modele kodu, ale wszystkie są zamkniętym źródłem i nikt nie wie dokładnie, jak je wyszkolić” – powiedział VentureBeat Leandro von Werra, inżynier ML w Hugging Face i współprzewodniczący BigCode.
Von Werra dodał, że ideą stojącą za BigCode i StarCoder jest budowanie solidnych modeli do generowania kodu na otwartej przestrzeni. Podczas gdy Hugging Face and Service przewodzi teraz tym wysiłkom, potwierdził, że istnieje aktywna społeczność licząca prawie 600 osób, które przyczyniają się do sukcesu projektu.
BigCode jest duchowym spadkobiercą BigScience
Wysiłki BigCode to nie pierwszy raz, kiedy HuggingFace pomógł zbudować społeczność, aby otworzyć rozwój sztucznej inteligencji.
Von Werra nazwał BigCode „duchowym następcą” wysiłków BigScience, które rozpoczęły się w 2021 r. W 2022 r. Wydano BigScience Large Open-science Open-access Multilingual Language Model (BLOOM), zapewniając wielojęzyczny model generowania tekstu, który ma służyć jako zamiennik GPT-3 OpenAI.
BigCode ma kilka iteracyjnych kroków na ścieżce do wydania StarCoder. W październiku 2022 r. Projekt ogłosił „The Stack”, zestaw kodu z licencją na uprawnienia zebranego z GitHub jako zestaw danych szkoleniowych do budowania kodu LLM. W grudniu 2022 roku BigCode wydało swój pierwszy „prezent” w postaci SantaCoder, wstępnego modelu StarCoder wyszkolonego na mniejszym podzbiorze danych i ograniczonego do języków programowania Python, Java i JavaScript.
Dzięki StarCoder projekt zapewnia w pełni funkcjonalny generator kodu, który obejmuje 80 języków. Harm de Vries, szef LLM Lab w ServiceNow Research i współprzewodniczący BigCode, wyjaśnił VentureBeat, że StarCoder może być używany w różnych scenariuszach. Na przykład pokaż, jak StarCoder może być używany jako pomocnik w kodowaniu, zapewniając jednocześnie wskazówki, jak modyfikować istniejący kod lub tworzyć nowy kod.
StarCoder LLM może działać samodzielnie jako konstruktor tekstu na kod, a także może być zintegrowany za pomocą wtyczki do użytku z popularnymi narzędziami programistycznymi, w tym Microsoft VS Code. Von Werra zwrócił uwagę, że StarCoder może również rozumieć i wprowadzać zmiany w kodzie. Na przykład użytkownik może użyć monitu tekstowego, takiego jak „Chcę naprawić błąd w tej funkcji”, a LLM to zrobi.
Dlaczego dająca się wytłumaczyć sztuczna inteligencja potrzebuje otwartej licencji
Ważnym aspektem oprogramowania StarCoder i ogólnie wysiłków BigCode jest to, że wszystkie technologie są dostępne na otwartej licencji.
Głównym wyzwaniem dla organizacji wdrażających dziś sztuczną inteligencję jest potrzeba wytłumaczalnej sztucznej inteligencji, w której można zrozumieć, w jaki sposób i dlaczego model dokonał określonych wyborów i decyzji. Powiązanym wyzwaniem jest potrzeba zapewnienia, że sztuczna inteligencja jest wykorzystywana w sposób odpowiedzialny i nie szkodzi ludziom poprzez toksyczne treści lub złośliwe oprogramowanie. Aby pomóc rozwiązać te drażliwe problemy, BigCode korzysta z licencji OpenRail, a w szczególności dla StarCoder, Otwórz kod RAIL‑M. Licencja.
„Wiemy, że te modele są bardzo wydajne i chcemy mieć pewność, że są używane do dobrych przypadków użycia, a nie przypadków użycia, które będą miały złe skutki” – powiedział de Vries.
Licencja Code Open RAIL‑M umożliwia użytkownikom przeglądanie kodu w formularzu z ograniczeniami mającymi na celu zapobieganie niewłaściwemu użyciu kodu – na przykład jego wykorzystaniu do tworzenia oprogramowania typu ransomware lub ataku socjotechnicznego.
„Jest otwarty, podobnie jak licencja open source” — powiedział de Vries. „To po prostu wiąże się z ograniczeniami, które sprawiają, że przestrzegamy naszych odpowiedzialnych zasad sztucznej inteligencji”.
Misja VentureBeat Ma być areną cyfrowego miasta, w której decydenci techniczni będą mogli zdobywać wiedzę na temat technologii przedsiębiorstw transformacyjnych i transakcyjnych. Odkryj nasze briefingi.
