Energieffektivare och billigare plattform för AI-inferenser 

Dejan Kostic beskriver sitt planerade arbete som "ChatGPT för varje barn". Som Wallenberg Scholar vill han skapa en skalbar och anpassningsbar plattform för att köra energieffektiva, domänspecifika, storskaliga språkmodeller som ChatGPT, så kallade LLM, för att lösa problemet med höga kostnader och ohållbar energiförbrukning.

Genom att skapa beskurna, energieffektiva LLM:s syftar forskningen till att demokratisera AI genom att stödja flerspråkiga användaranvisningar och göra den tillgänglig för ett bredare samhälle.

Forskningen har en potential att revolutionera hur LLM:s används, vilket skulle möjliggöra en mer hållbar och överkomlig AI-adoption. Implementeringen innebär att eliminera strömslöseri och fördröjningar som orsakas av CPU:er, alltså processorer, samt att möjliggöra direkt nätverkskommunikation med specialiserade acceleratorer som GPUer, och bygga en anpassningsbar ram för att införliva nya LLM:s. 

Tio gånger effektivare

Genom att använda färdiga lösningar och standardmaskinvara strävar Kostic efter en tio gånger större effektivitetsvinst jämfört med den senaste tekniken. Plattformen kommer inte bara att göra LLM:s mer hållbara utan också hjälpa till att besvara grundläggande vetenskapliga frågor angående modellbeskärning och domänspecialisering. 

Kostic menar att projektets inverkan kan komma att bli stor eftersom det kan möjliggöra en bredare adoption av AI-teknik och stödja flerspråkiga gränssnitt, vilket säkerställer att fördelarna med AI når en större publik och främjar en mer rättvis AI-driven framtid.