Halsey Andrews W nowoczesnych systemach AI wykorzystanie PCIe do łączenia akceleratorów jest już bardzo powolne. Z tego powodu Nvidia i AMD korzystają ze specjalistycznych interkonektów, takich jak NVLink i Infinity Fabric, ale przy prędkościach przekraczających 900 GB/s, jakie zapewniają te interkonekty, miedź zapewni tylko tyle.
Według Manisha Mehty, wiceprezesa ds. marketingu i operacji w dziale systemów optycznych firmy Broadcom, miedź w zespołach o wysokiej wydajności może unieść jedynie od trzech do pięciu metrów, zanim sygnał zacznie się pogarszać. Ponieważ SerDes przekracza 200 Gb/s, zasięg miedzi będzie krótszy.
Odpowiedzią, jak można się spodziewać, jest porzucenie miedzi na rzecz optyki – nawet kosztem zwiększonego zużycia energii. Nvidia oszacowała, że użycie optyki zamiast miedzi w swoich systemach NVL72 wymagałoby dodatkowych 20 kilowatów na szafę – oprócz już znamionowych 120 kilowatów.
I choć poszczególne transceivery nie zużywają dużo energii – według Mehty zaledwie 13 do 15 watów każdy – to sumuje się to bardzo szybko, gdy mówimy o wielu przełącznikach, z których każdy ma 64 lub 128 portów. „Gdyby istniała potrzeba rozszerzenia w celu uzyskania większej przepustowości, a co za tym idzie komunikacji optycznej, potrzebna byłaby 10-krotnie większa przepustowość, a tego nie byłoby możliwe do osiągnięcia w przypadku tego typu modelu” – wyjaśnił podczas przemówienia w Hot Chips konferencja w tym tygodniu.
Zamiast tego Broadcom eksperymentuje teraz z montażem elementów wizualnych bezpośrednio w samych procesorach graficznych.
Łączona optyka pakietowa (CPO) to rozwiązanie, nad którym firma Broadcom zastanawia się od kilku lat. Być może pamiętacie rok 2022, kiedy gigant sieciowy zaprezentował swoje przełączniki Humboldta, które oferowały połączenie tradycyjnych interfejsów elektrycznych i optycznych w proporcji 50/50.
Kilka miesięcy później, na początku 2023 r., Broadcom ogłosił Pokazano Przełącznik CPO drugiej generacji o dwukrotnie większej przepustowości 51,2 Tbit/s, który łączy osiem silników optycznych 6,4 Tbit/s z układem scalonym Tomahawk 5 specyficznym dla aplikacji dla 64 portów przy zaledwie 800 Gbit/s. Co ważniejsze, Mehta twierdzi, że w ten sposób firma Broadcom była w stanie zmniejszyć zużycie energii na port do jednej trzeciej mocy wynoszącej pięć watów na port.
W zeszłym roku firma Broadcom zademonstrowała przełącznik CPO o przepustowości 51,2 TB/s z 64 portami wyłącznie optycznymi w 800 GbE — kliknij, aby powiększyć
Najnowszym przedsięwzięciem firmy Broadcom, zaprezentowanym w tym tygodniu na Hot Chips, jest umieszczenie jednego z tych silników optycznych w procesorze graficznym, co umożliwi uzyskanie około 1,6 TB/s całkowitej przepustowości połączeń międzysieciowych – czyli 6,4 TB/s, czyli 800 GB/s w każdym kierunku – na plasterek, wykazując jednocześnie „bezbłędną wydajność” – wyjaśnił Mehta. Stawia to go na tym samym poziomie, co struktury NVLink nowej generacji Nvidii, które będą dostarczane wraz z generacją Blackwell, która zapewni całkowitą przepustowość 1,8 Tb/s na procesor graficzny po miedzi.
Aby przetestować wykonalność optycznie połączonych chipów, Broadcom umieścił optykę w chipie testowym zaprojektowanym do emulacji procesora graficznego – kliknij, aby powiększyć
Żeby było jasne, nie ma żadnego A100 ani MI250X wyposażonego w łączność optyczną Broadcom. W każdym razie nie żebyśmy byli tego świadomi. Procesor graficzny stosowany w eksperymentach Broadcomu jest w rzeczywistości jedynie chipem testowym zaprojektowanym do emulacji układu rzeczywistego. W tym celu wykorzystuje technologię enkapsulacji CoWoS firmy TSMC w celu powiązania pary pakietów HBM z układem obliczeniowym. Ale chociaż logika i pamięć chipa znajdują się na nośniku krzemowym, silnik optyczny Broadcom w rzeczywistości znajduje się na podłożu.
Jest to ważne, ponieważ każdy akcelerator brzegowy korzystający z HBM zasadniczo opiera się na zaawansowanej enkapsulacji w stylu CoWoS — nawet jeśli własny układ Broadcom tego nie potrzebuje.
Według Mehty ten typ połączenia może obsłużyć 512 procesorów graficznych w zaledwie ośmiu szafach, działając jako pojedynczy system skalowalny.
Broadcom twierdzi, że dołączona optyka mogłaby pozwolić na tworzenie wielkoskalowych systemów składających się z setek procesorów graficznych – kliknij, aby powiększyć
Być może zastanawiasz się, czy Amazon, Google, Meta i cała rzesza operatorów centrów danych nie wdraża już klastrów zawierających 10 000 lub więcej procesorów graficznych? Jasne, że tak, ale te grupy należą do kategorii ekspansji. Praca jest rozdzielana poprzez stosunkowo powolne sieci Ethernet lub InfiniBand do systemów wyposażonych w maksymalnie osiem procesorów graficznych.
Mehta mówi o systemach skalowania, takich jak NVL72 firmy Nvidia. Zamiast 72 procesorów graficznych zaprojektowanych do pracy jako jedna gigantyczna jednostka, infrastruktura jest wystarczająco szybka i może sięgać na tyle daleko, że setki jednostek będą działać jak jeden gigantyczny akcelerator.
Oprócz zwiększenia szybkości silników optycznych powyżej 6,4 Tbit/s Mehta dostrzega także potencjał łączenia wielu chipów w stos obliczeniowy.
Jeśli coś z tego brzmi znajomo, to dlatego, że Broadcom nie jest pierwszą osobą, która dołącza złącza optyczne do chipa. Na początku tego roku Intel Otwarte Chipzilli udało się zbudować chip optyczny zdolny do dwukierunkowego przesyłania danych z prędkością 4 terabajtów na sekundę. W zeszłym roku Chipzilla zademonstrowała podobną koncepcję, wykorzystując dołączone układy optyczne opracowane przez Ayar Labs.
Pojawiło się także wiele innych start-upów zajmujących się fotoniką krzemową, które obiecują podobne możliwości – w tym LightMatter i Celestial AI, których produkty są na różnych etapach rozwoju. rozwój I produkcja.
Chociaż nie ma jeszcze procesora graficznego AMD Instinct ani procesora graficznego ze zintegrowaną optyką, dyrektor ds. technicznych AMD Mark Papermaster i starszy wiceprezes Sam Naffzigger omawiali możliwość pojawienia się takiego chipa tej wiosny. ®
