Mājas Domāt uz priekšu Google tenzoru apstrādes vienības maina mašīnmācības noteikumus

Google tenzoru apstrādes vienības maina mašīnmācības noteikumus

Video: Google Maps AR (Decembris 2024)

Video: Google Maps AR (Decembris 2024)
Anonim

Viens no visinteresantākajiem un negaidītākajiem paziņojumiem, ko Google sniedza savā I / O izstrādātāju konferencē pagājušajā nedēļā, bija tas, ka tas ir izstrādājis un ieviesis savas mikroshēmas mašīnu apguvei. Savas uzstāšanās laikā Google izpilddirektors Sundars Pikhai iepazīstināja ar terminu Tensor Processing Units (TPU), sakot, ka uzņēmums tos izmanto savās AlphaGo mašīnās, kas pieveica Go čempionu Lī Sedolu.

"TPU ir par vienu pakāpi augstāka veiktspēja uz vienu vatu nekā komerciālās FPGA un GPU, " sacīja Pikhai. Kaut arī viņš nesniedza daudz informācijas, Google izcils aparatūras inženieris Norms Jouppi emuāra ierakstā paskaidroja, ka TPU ir pielāgota ASIC (lietojumprogrammai paredzēta integrētā shēma). Citiem vārdiem sakot, tā ir mikroshēma, kas īpaši izstrādāta mašīnmācības vadīšanai un ir īpaši pielāgota TensorFlow, Google mašīnmācīšanās sistēmai.

Attēls

Šajā amatā Džouppi sacīja, ka ir "tolerantāks" pret samazinātu aprēķina precizitāti, kas nozīmē, ka vienā operācijā ir nepieciešams mazāk tranzistoru. Tas ļauj Google veikt vairāk operāciju sekundē, ļaujot lietotājiem ātrāk iegūt rezultātus. Viņš sacīja, ka tāfele ar TPU iekļaujas cietā diska slota datu centra plauktos un parādīja ar TPU piepildītu serveru plauktu attēlu, kas, viņaprāt, tika izmantoti uzņēmuma AlphaGo mašīnās.

Turklāt Jouppi sacīja, ka TPU jau strādā pie daudzām lietojumprogrammām Google, tostarp RankBrain, ko izmanto, lai uzlabotu meklēšanas rezultātu atbilstību, un Street View, lai uzlabotu karšu un navigācijas precizitāti un kvalitāti.

Preses konferencē Google tehniskās infrastruktūras viceprezidents Urs Hölzle apstiprināja, ka TPU darbojas, izmantojot 8 bitu veselu skaitļu matemātiku, nevis augstākas precizitātes peldošā komata matemātiku, kurai ir paredzēti modernākie CPU un GPU. Lielāko daļu mašīnmācīšanās algoritmu var iegūt, izmantojot zemākas izšķirtspējas datus, kas nozīmē, ka mikroshēma var apstrādāt vairāk operāciju noteiktā apgabalā un efektīvi cīnīties ar sarežģītākiem modeļiem. Šī nav jauna ideja; Nvidia Drive PX 2 modulis, par kuru šī gada sākumā tika paziņots CES, spēj sasniegt 8 teraflopus ar 32 bitu precizitāti ar peldošā komata precizitāti, bet sasniedz 24 dziļi mācāmus “teraupus” (uzņēmuma termiņš 8 -bitu vesels skaitlis).

Lai gan Hölzle atteicās iedziļināties specifikā, ziņojumos teikts, ka viņš apstiprināja, ka Google šodien izmanto gan TPU, gan GPU. Viņš sacīja, ka tas kādu laiku turpināsies, bet ierosināja, ka Google uzskata GPU par pārāk vispārīgiem, dodot priekšroku mikroshēmai, kas ir optimizēta mašīnmācībai. Viņš sacīja, ka uzņēmums vēlāk izdos dokumentu, kurā aprakstīti mikroshēmas ieguvumi, taču skaidri norādīja, ka tie ir paredzēti tikai iekšējai lietošanai, nevis pārdošanai citiem uzņēmumiem. Vēl viena viņa aprakstītā lietojumprogramma bija mikroshēmu izmantošana, lai apstrādātu daļu no datortehnikas aiz balss atpazīšanas dzinēja, kas tiek izmantots Android tālrunī.

Izvēle izmantot ASIC ir Google interesanta likme. Pēdējo gadu lielākais sasniegums mašīnu apguvē - tehnoloģija, kas ir pamatā dziļajiem neironu tīkliem - ir bijusi GPU, īpaši Nvidia Tesla līnijas, pieņemšana šo modeļu apmācībai. Pavisam nesen Intel iegādājās Altera, vadošo FPGA (lauka programmējamu vārtu masīvu), kas atrodas kaut kur pa vidu; tie nav tik vispārīgi mērķi kā GPU vai īpaši izstrādāti TensorFlow kā Google mikroshēma, bet tos var ieprogrammēt dažādu uzdevumu veikšanai. Microsoft ir eksperimentējis ar Altera FPGA, lai iegūtu dziļas mācības. IBM izstrādā savu TrueNorth neirosinaptisko mikroshēmu, kas īpaši izstrādāta neironu tīkliem, un kuru nesen sāka izmantot dažādās lietojumprogrammās. Cadence (Tensilica), Freescale un Synopsys liek saviem DSP (digitālā signāla procesoriem) darbināt šos modeļus; Mobileye un NXP nesen paziņoja par mikroshēmām, kas īpaši paredzētas ADAS un pašbraucošām automašīnām; un vairāki mazāki uzņēmumi, tostarp Movidius un Nervana, ir paziņojuši par plāniem par mikroshēmām, kas īpaši paredzētas AI.

Ir pāragri zināt, kura pieeja būs vislabākā ilgtermiņā, taču, ja ir dažas ļoti atšķirīgas iespējas, mēs domājam, ka tuvāko gadu laikā mēs redzēsim kādu interesantu konkurenci.

Google tenzoru apstrādes vienības maina mašīnmācības noteikumus