Microsoft lanserar ‘Project Brainwave’ för AI i realtid
‘Project Brainwave’ använder den massiva fältprogrammerbara gate array (FPGA) infrastruktur som Microsoft har distribuerat under de senaste åren. (Bildkredit: AP)
Programvarugiganten Microsoft har aviserat sin plattform för acceleration av djupinlärning för projekt Brainwave för artificiell intelligens i realtid (AI). Med hjälp av extremt låg latens behandlar systemet förfrågningar så fort det tar emot dem. “AI i realtid blir allt viktigare eftersom molninfrastrukturer bearbetar live dataströmmar, oavsett om det är sökfrågor, videor, sensorströmmar eller interaktioner med användare”, säger Doug Burger, ingenjör på Microsoft, i ett blogginlägg sent på tisdag. .
‘Project Brainwave’ använder den massiva fältprogrammerbara gate array (FPGA) infrastruktur som Microsoft har distribuerat under de senaste åren. “Genom att ansluta högpresterande FPGA: er direkt till vårt datacentrets nätverk kan vi tjäna DNN: er som hårdvarumikrotjänster, där ett DNN kan mappas till en pool av fjärr FPGA: er och kallas av en server utan programvara i slingan,” sa Burger.
Han tillade att systemarkitekturen minskar latens, eftersom CPU inte behöver behandla inkommande förfrågningar och tillåter mycket hög genomströmning, med FPGA-behandlingsförfrågningar så snabbt som nätverket kan strömma dem. Systemet har byggts upp för att ge hög verklig prestanda över ett brett spektrum av komplexa modeller, med batchfri körning.
Microsoft hävdade att systemet, som är utformat för AI i realtid, kan hantera komplexa, minnesintensiva modeller som Long Short Term Memories (LSTM), utan att använda batching för juice-genomströmning. ”Project Brainwave uppnår oöverträffade nivåer av demonstrerad realtids AI-prestanda på extremt utmanande modeller. När vi ställer in systemet under de närmaste kvartalen förväntar vi oss betydande ytterligare prestandaförbättringar, ”noterade Burger.
Microsoft planerar också att ta AI-systemet i realtid till användare i Azure. “Med” Project Brainwave “-systemet integrerat i stor skala och tillgängligt för våra kunder kommer Microsoft Azure att ha branschledande möjligheter för realtids AI,” noterade Burger.
