Google bygger militära band för AI-molnaffärer i Project Maven även när personalen slutar i protest

Google Project Maven: Nästan 4 000 Google-anställda, av totalt 85 000 alfabet, undertecknade ett brev där Googles verkställande direktör Sundar Pichai skulle nixas med Project Maven-kontraktet. (Bild: Bloomberg)

I juli förra året träffades 13 amerikanska militärbefälhavare och teknikledare vid Pentagons utpost i Silicon Valley, två mil från Googles huvudkontor. Det var det andra mötet i en rådgivande styrelse som inrättades 2016 för att ge militären råd om sätt att tillämpa teknik på slagfältet. Milo Medin, Googles vice president, vände konversationen till att använda artificiell intelligens i krigsspel. Eric Schmidt, Googles tidigare chef, föreslog att använda den taktiken för att kartlägga strategier för avstängning med Kina under de kommande 20 åren.

Några månader senare hyrde försvarsdepartementet Googles molndivision för att arbeta med Project Maven, ett omfattande försök att förbättra sina övervakningsdronor med teknik som hjälper maskiner att tänka och se. Pakten kan generera miljoner intäkter för Alphabet Incs internetjätt.

Men i ett företag vars anställda till stor del återspeglar San Francisco Bay Areas liberala känslor är kontraktet ungefär lika populärt som president Donald Trump. Inte sedan 2010, när Google drog sig tillbaka från Kina efter att ha kolliderat med statliga censorer, har ett problem så upprörd. Nästan 4 000 anställda från Google, av ett totalt alfabet på 85 000, undertecknade ett brev där Googles verkställande direktör Sundar Pichai bad att nixa Project Maven-kontraktet och stoppa allt arbete i “krigens verksamhet”.

Framställningen citerar Googles historia att undvika militärt arbete och dess berömda slogan “gör inget ont”. Ett av Alfabetets AI-forskningslaboratorier har till och med distanserat sig från projektet. Anställda mot affären ser det som en oacceptabel länk med en amerikansk administration som många motsätter sig och ett oroväckande första steg mot autonoma dödsmaskiner. Cirka ett dussin anställda avgår i protest mot företagets fortsatta engagemang i Maven, rapporterade Gizmodo på måndagen.

Den interna motreaktionen, som sammanfaller med ett bredare skrik över hur Silicon Valley använder data och teknik, har fått Pichai att agera. Han och hans löjtnanter utarbetar etiska principer för att styra implementeringen av Googles kraftfulla AI-teknik, enligt människor som är bekanta med planerna. Det kommer att forma dess framtida arbete. Google är ett av flera företag som tävlar om ett Pentagon-molnkontrakt värt minst 10 miljarder dollar. En talesman från Google nekade att säga om det har förändrats mot bakgrund av den interna striden om militärt arbete.

Pichais utmaning är att hitta ett sätt att förena Googles doviska rötter med sin framtid. Efter att ha spenderat mer än ett decennium på att utveckla branschens mest formidabla arsenal av AI-forskning och förmågor är Google angelägen om att gifta sig dessa framsteg till sin snabbväxande molndatorverksamhet. Rivaler skyndar sig för att skära affärer med regeringen, som spenderar miljarder dollar om året på alla moln. Ingen regeringsenhet spenderar mer på sådan teknik än militären. Medin och Alfabet-regissören Schmidt, som båda sitter i Pentagons Defense Innovation Board, har drivit Google att arbeta med regeringen om kampen mot terrorism, cybersäkerhet, telekommunikation och mer.

För att dominera molnbranschen och uppfylla Pichais dröm om att bli ett “AI-första företag” kommer Google att ha svårt att undvika krig.

Inuti företaget finns det ingen större förespråkare för att arbeta med regeringen än Google Cloud-chef Diane Greene. I en intervju i mars försvarade hon Pentagons partnerskap och sa att det är fel att karakterisera Project Maven som en vändpunkt. “Google har arbetat med regeringen under lång tid”, sa hon.

Pentagon skapade Project Maven för ungefär ett år sedan för att analysera högar av övervakningsdata. Greene sa att hennes division bara vann en ”liten bit” av kontraktet utan att ge detaljer. Hon beskrev Googles roll i godartade termer: skanna drone-bilder för landminor, säg, och sedan flagga dem till militär personal.

“Att rädda liv slags saker”, sa Greene. Programvaran används inte för att identifiera mål eller för att fatta några attackbeslut, säger Google. Många anställda anser att hennes rationaliseringar är överdrivande. Även medlemmar i AI-teamet har uttryckt invändningar och sagt att de fruktar att arbeta med Pentagon kommer att skada förbindelserna med konsumenterna och Googles förmåga att rekrytera. Vid företagets I / O-utvecklarkonferens förra veckan, berättade Greene Bloomberg News frågan hade absorberat mycket av hennes tid under de senaste tre månaderna.

Läs också: Google Assistant: Från att ringa samtal, matleverans till Maps-integration, allt du behöver veta

Googlers obehag med att använda AI i krigföring är långvarigt. AI-chef Jeff Dean avslöjade vid I / O-konferensen att han undertecknade ett öppet brev tillbaka 2015 som motsatte sig användningen av AI i autonoma vapen. Att förse militären med Gmail, som har AI-funktioner, är bra, men det blir mer komplext i andra fall, sa Dean. ”Uppenbarligen finns det ett sammanhängande beslut som vi vill fatta som företag,” sa han.

Förra året undertecknade flera chefer – inklusive Demis Hassabis och Mustafa Suleyman, som driver Alfabetets DeepMind AI-laboratorium, och den berömda AI-forskaren Geoffrey Hinton – ett brev till FN som beskriver deras oro. “Dödliga autonoma vapen … [will] tillåta att väpnad konflikt bekämpas i en skala som är större än någonsin, och i tidskalor snabbare än människor kan förstå, ”står det i brevet. “Vi har inte lång tid att agera.” Londonbaserade DeepMind försäkrade personal att det inte är inblandat i Project Maven, enligt en person som är bekant med beslutet. En DeepMind-taleskvinna vägrade att kommentera.

Richard Moyes, chef för artikel 36, en ideell inriktning på vapen, är försiktig med utfästelser från företag om att människor – inte maskiner – fortfarande kommer att fatta dödliga beslut. “Detta kan vara en språngbräda för att ge dessa maskiner större kapacitet att bestämma vad som är eller vad som inte är ett mål”, sa han.

Moyes, en partner i DeepMind Ethics & Society-gruppen, har inte pratat med Google eller DeepMind om Pentagon-projektet. AI-militära system har redan gjort misstag. Nighat Dad, chef för Digital Rights Foundation, citerar fallet med två Al Jazeera-journalister som lämnade in juridiska klagomål om att de felaktigt placerades på en drönare-dödlista av den amerikanska regeringens Skynet-övervakningssystem. Pappa skickade ett brev i april till Pichai och bad Google att avsluta Project Maven-kontraktet, men säger att hon inte har fått något svar.

Det främsta problemet för vissa AI-experter är att den befintliga tekniken fortfarande är opålitlig och kan kommanderas av hackare för att fatta slagfältbeslut. “Jag skulle inte lita på någon programvara för att göra uppdragskritiska beslut”, säger Gary Marcus, en AI-forskare vid New York University. Project Maven, säger Marcus, faller in i ett etiskt ”grått område” eftersom allmänheten inte vet hur programvaran kommer att användas. “Om Google vill gå in på att göra klassificerade saker för militären, har allmänheten rätt att vara orolig för vilken typ av företag Google blir”, säger han. Googles molndivision är inte certifierad för att arbeta med klassificerade projekt. En talesman från Google nekade att säga om företaget kommer att handlägga den certifieringen.

Läs också: Takeaways från Google I / O 2018: Lär dig att leva med artificiell intelligens

Under många år lämnade Google vanligtvis de offentliga kontrakten för företag som de förvärvade. 2011, året då Google köpte det, fakturerade Pittsburgh Pattern Recognition, ansiktsigenkänningsstart, 679 910 US-dollar, enligt Bloombergs regeringsdata. Nästa år uppgick Googles intäkter från den amerikanska regeringen till mindre än så.

(Dessa siffror exkluderar militära utgifter för Google-annonser, som är klassificerade nummer och sannolikt motsvarar många miljoner dollar per år). Robotproducenten Boston Dynamics genererade mer än 150 miljoner dollar i federala kontrakt över 13 år innan de köptes av Google i slutet av 2013. Nästa år avslutades kontrakten. (Google gick med på att sälja Boston Dynamics 2017).

Sedan Greene rekryterades för att driva sin molnenhet 2015 har Google blivit mindre knepigt när det gäller statligt arbete. Förra året spenderade federala myndigheter mer än 6 miljarder dollar på oklassificerade molnkontrakt, enligt Bloombergs regering. Ungefär en tredjedel av det kom från försvarsdepartementet. Just nu är Amazon.com Inc, Microsoft Corp och Oracle Corp stora aktörer. Enbart Amazons molnaffär har genererat 600 miljoner dollar i klassificerat arbete med Central Intelligence Agency sedan 2014, visar Bloombergs regeringsdata.

Greene är fast besluten att konkurrera om sådana kontrakt. ”Vi kommer att arbeta med regeringar eftersom regeringar behöver mycket digital teknik,” sade hon i marsintervjun. “Vad som är nytt och vad vi diskuterar mycket kring är artificiell intelligens.” Efter att initialt ha vacklat på behovet av specifika AI-politik, flyttar Trump-administrationen nu för att omfamna tekniken – en förändring som till stor del drivs av det hotande konkurrenshotet från Kina och Ryssland.

Den 2 april fick Project Maven ytterligare 100 miljoner dollar i statlig finansiering. Militära tjänstemän har kastat programmet som ett viktigt sätt att minska tidskrävande uppgifter och effektivisera krigföring. “Vi kan bekräfta att Project Maven handlar om att arbeta med ett antal olika leverantörer, och DoD-representanter träffar regelbundet olika företag för att diskutera framsteg med pågående projekt”, säger taleskvinna för försvarsdepartementet Maj Audricia Harris. “Dessa interna överläggningar är en privat fråga, därför skulle det vara olämpligt att ge ytterligare detaljer.” ECS Federal, entreprenören som betalar Google för Project Maven-arbetet, svarade inte på förfrågningar om kommentarer.

Läs också: Google I / O 2018: Google Assistant bokar snart dina möten tack vare Google Duplex

Försvarsminister James Mattis besökte Google i augusti och träffade Pichai, Greene och medgrundare Sergey Brin. De diskuterade företagets moln och AI-framsteg samt andra möjligheter, som att hitta nya sätt att dela telekomspektrum som ägs av militären, ett annat Google-projekt. (Schmidt, som avgick som alfabetets ordförande i december, berättade nyligen för Defense One att han är utesluten från beslutsfattande om något Google-arbete med Pentagon.

Anteckningar från mötet i Defense Innovation Board i juli offentliggjordes online.) Mattis besökte också Microsoft och Amazon under resan. Vissa Google-chefer anser att varmare band med regeringen är försenade. För fem år sedan var relationerna ansträngda efter att Google uttryckligen motsatte sig avslöjanden, upptäckta av Edward Snowden, att National Security Agency hade knackat på företagets nätverk. En ledande befattningshavare som deltar i de senaste samtalen säger att ett mål var att undvika den typ av “pissande tävling” mellan Google och regeringen som hände efter Snowdens avslöjanden.

Men klyftan inom företaget kommer inte lätt att övervinnas. Vid flera möten på hela Google sedan mars var Greene och andra chefer fyllda med frågor om fördelarna med Project Maven. Man säger att en ny motivering för att gå vidare uppgick till: Om vi ​​inte gör det kommer en mindre noggrann rival att göra det. “Argumentet de har använt är hemskt”, säger den här personen.

En annan anställd säger anti-Project Maven-framställningen, rapporterad tidigare av The New York Times, är en av de största i företagets historia, som är känd för att uppmuntra intern debatt. Gizmodo först rapporterade Googles personal oro över företagets engagemang. Pichai har tagit upp frågan med anställda, men har ännu inte svarat på deras krav på att säga upp avtalet.

Googles VD nämnde inte militäravtalet vid I / O-konferensen. Flera chefer där sa privat att de litade på Pichai att fatta lämpligt beslut. Affären kom inte upp vid evenemangets markeringssession om AI heller. Fei-Fei Li, som driver AI för Google Cloud, nämnde etiskt övergående etik. “Vi pratar mycket om att bygga välvillig teknik”, sa hon. “Vår teknik speglar våra värderingar.” Greene satt bredvid henne på scenen och nickade överens.