亚洲色在线无码国产精品不卡,亚洲av综合a色av中文,亚洲国产欧美国产综合一区,亚洲欧美日韩国产综合一区二区 ,亚洲av一般男女在线

　　機器學(xué)習(xí)是一個計算過程，因此它與計算力緊密相關(guān)，也就是與承載機器智能算法的芯片和半導(dǎo)體緊密相關(guān)。最明顯的是，計算力和計算架構(gòu)決定了機器學(xué)習(xí)的訓(xùn)練和推斷速度，從而影響該技術(shù)的發(fā)展進度。然而，這些關(guān)系遠比上面描述的更加微妙：硬件決定了研究者和工程師在設(shè)計、開發(fā)機器學(xué)習(xí)模型時使用的方法。芯片的能耗等特性也決定了機器學(xué)習(xí)在現(xiàn)實世界中的應(yīng)用。從更廣泛的角度來說，計算力也很重要，因為其具備特殊的地理影響。半導(dǎo)體通過復(fù)雜的國際供應(yīng)鏈進行設(shè)計、裝配及部署。市場結(jié)構(gòu)和該領(lǐng)域公司之間的競爭影響著機器學(xué)習(xí)的發(fā)展。此外，從國家安全的角度來看，這些供應(yīng)鏈也很重要，硬件成為對人工智能必備的基礎(chǔ)器械有直接影響的政府工業(yè)和貿(mào)易政策競技場。
　　本文旨在深入探討計算力與機器學(xué)習(xí)發(fā)展之間的關(guān)系。更具體地說，本文要探索計算架構(gòu)、機器學(xué)習(xí)方法和供應(yīng)鏈的變化對人工智能未來的影響。為此，本文嘗試理清這一底層硬件層與深遠的社會影響及 AI 相關(guān)風險之間的特殊關(guān)系。一方面，這一探索凸顯了硬件如何加劇對無處不在的監(jiān)控、技術(shù)失業(yè)和地緣政治沖突的一系列擔憂。另一方面，它也凸顯了促進計算力發(fā)展在解決這些問題上可能發(fā)揮的重要作用。
　　
　　第一部分將研究算力在機器學(xué)習(xí)發(fā)展中所起的作用，并指出在近期關(guān)于該技術(shù)社會影響的報告中，其影響被扁平化。第二部分將探討機器學(xué)習(xí)硬件的專門化趨勢，以及它對控制和隱私的影響。第三部分將討論半導(dǎo)體供應(yīng)鏈及其對機器學(xué)習(xí)地緣政治的影響。第四部分將介紹在機器學(xué)習(xí)工作流程中改變數(shù)據(jù)和算力之間平衡的研究進展，以及它對技術(shù)的經(jīng)濟影響。最后，我們將介紹硬件作為行動杠桿的潛在作用。
　　
　　第一部分：機器學(xué)習(xí)和算力
　　
　　以計算機視覺領(lǐng)域為例，該領(lǐng)域聚焦于提高機器從圖像和視頻中提取可理解特征的能力。20 世紀 90 年代和 21 世紀早期的「傳統(tǒng)」方法聚焦于在人為定義的特定特征上運行算法執(zhí)行圖像處理和分類。相對地，神經(jīng)網(wǎng)絡(luò)可以自己學(xué)習(xí)用于分類的相關(guān)特征，而不需要在算法中進行預(yù)定義。
　　
　　擴展算力和數(shù)據(jù)可用性改變了計算機視覺領(lǐng)域的實踐方法。從數(shù)據(jù)方面來看，消費網(wǎng)絡(luò)的增長產(chǎn)生了大量可用于機器學(xué)習(xí)系統(tǒng)訓(xùn)練的圖像。包含 2 萬類別、1400 萬張標注圖像的 ImageNet 數(shù)據(jù)集為研究者提供了圖像處理研究的常用數(shù)據(jù)集。從 2000 年的每芯片 3700 萬晶體管到 2009 年的每芯片 23 億晶體管，算力在 21 世紀繼續(xù)發(fā)展。這一趨勢隨著一類特殊的計算架構(gòu) GPU 的出現(xiàn)而持續(xù)增強。GPU 因其并行計算的特性尤其適用于神經(jīng)網(wǎng)絡(luò)。
　　
　　基于自動學(xué)習(xí)特征和并行訓(xùn)練的特性，神經(jīng)網(wǎng)絡(luò)得以顯著超越該領(lǐng)域的早期方法，ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽是這一過渡趨勢的典型標志。自 2010 年舉辦以來，該挑戰(zhàn)賽聚集了很多研究者在視覺識別任務(wù)上進行系統(tǒng)設(shè)計的競爭。從 2010 年到 2011 年，傳統(tǒng)方法從未將誤差率降到 25% 以下。由 Hinton 帶領(lǐng)的團隊在 2012 年開發(fā)的 AlexNet 首次實現(xiàn)了 25% 以下的識別準確率，有研究者稱「ImageNet 2012 引發(fā)了 AI 大爆炸」。
　　第二部分：計算力專門化
　　
　　計算力不是簡單的數(shù)量問題。芯片的特殊架構(gòu)很大程度上決定了該芯片能否有效解決給定的計算問題?？偟膩碚f，該行業(yè)正擁有日益專門化的機器學(xué)習(xí)平臺，這一領(lǐng)域的持續(xù)增長也吸引了越來越多的商業(yè)興趣。從這個角度來說，硬件的發(fā)展方向與軟件截然相反：盡管研究領(lǐng)域一直致力于構(gòu)建更通用的學(xué)習(xí)系統(tǒng)，但芯片領(lǐng)域仍在持續(xù)轉(zhuǎn)向更窄的專門化方向。
　　
　　有兩個因素塑造了機器學(xué)習(xí)硬件的市場。一個是性能與靈活性之間的負相關(guān)關(guān)系。盡管通用計算力可以支持廣泛的任務(wù)，而且經(jīng)過簡單配置就能承擔新的任務(wù)，但它往往會被為特定目的而構(gòu)建的硬件所超越。然而，這種性能的提升是有代價的：專用硬件適應(yīng)相對較小的用例集，而且其體系架構(gòu)在部署后不太容易改變。
　　
　　另外一個重要的因素是，用于訓(xùn)練機器學(xué)習(xí)模型以完成任務(wù)的硬件可能與用于利用已經(jīng)訓(xùn)練的模型進行推理的硬件有很大不同。這是因為機器學(xué)習(xí)工作流程的每個步驟都有不同的需求。例如，能耗對于在移動設(shè)備上運行的計算機視覺系統(tǒng)來說可能非常重要，雖然該系統(tǒng)最初在數(shù)據(jù)中心上訓(xùn)練時能耗可能并不重要。
　　
　　背景：從 CPU 到 GPU
　　
　　GPU 是當今機器學(xué)習(xí)工作流程的支柱，也是訓(xùn)練和推理的主要平臺，被廣泛用于基礎(chǔ)研究及市場上機器學(xué)習(xí)驅(qū)動產(chǎn)品的實際開發(fā)和部署。
　　
　　GPU 在機器學(xué)習(xí)中發(fā)揮的巨大作用來自一個意想不到的歷史融合。顧名思義，GPU 最初是為支持計算機圖形和圖像處理應(yīng)用而設(shè)計的。為此，GPU 采用了一種架構(gòu)，將計算任務(wù)分布在大量要并行處理的內(nèi)核中。這點與 CPU 不同，CPU 采用的內(nèi)核數(shù)量更少，功能更強大，優(yōu)化后只需同時處理幾個任務(wù)。
　　
　　這種并行架構(gòu)使得 GPU 非常適合機器學(xué)習(xí)應(yīng)用。從根本上說，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理依賴于大量相同矩陣乘法運算的執(zhí)行。
　　
　　日益專門化：FPGA 和 ASIC
　　
　　作為機器學(xué)習(xí)的主要硬件平臺，GPU 的新用途反映了現(xiàn)有技術(shù)的選擇。隨著機器學(xué)習(xí)熱度越來越高，專門為這些應(yīng)用程序設(shè)計硬件的想法也變得更有吸引力。業(yè)內(nèi)的討論聚焦于將現(xiàn)場可編程門陣列（FPGA）和專用集成電路（ASIC）作為機器學(xué)習(xí)下一個主要平臺的可能性。
　　
　　FPGA 不同于 CPU 和 GPU，因為它不在存儲的內(nèi)存中運行程序。相反，F(xiàn)PGA 是標準化「邏輯塊」的集合，一旦收到制造商的芯片，編程人員就可以配置這些邏輯塊之間的關(guān)系。ASIC 是專門為某一目的而設(shè)計的芯片板，在制造后不容易重新配置。
　　
　　在機器學(xué)習(xí)推理的背景下，F(xiàn)PGA 和 ASIC 特別有吸引力。這兩種設(shè)備的能耗都小于 CPU 和 GPU，而且由于它們更加專業(yè)，其速度也更快。這些優(yōu)勢以損失靈活性、增加成本為代價。FPGA 和 ASIC 無法輕易、快速配置來用于執(zhí)行各種各樣的任務(wù)。與 CPU 和 GPU 相比，它們都更貴一些。ASIC 價格更高，因為它是「定制」項目，生產(chǎn)成本高、耗時長。這使得它們只有在大量使用時才具有成本效益。
　　
　　前景
　　
　　目前仍然不清楚更專門化、更不靈活的硬件是否會取代 GPU 在機器學(xué)習(xí)訓(xùn)練和推理中的地位。FPGA 和 ASIC 生產(chǎn)商發(fā)布的性能基準表明在兩類任務(wù)上它們都能顯著超越 GPU。谷歌聲稱，相比當前的 GPU 和 CPU，其 TPU ASIC 能以 15 到 30 倍的速度執(zhí)行推理。而聚焦于機器學(xué)習(xí)專用硬件的創(chuàng)業(yè)公司 Graphcore 也聲稱，他們的 8 塊「IPU」卡擁有相當于 128 塊當前 GPU 卡的性能。
　　
　　盡管如此，基準問題仍然存在，系統(tǒng)地評估這些宣言也很有挑戰(zhàn)性。GPU 領(lǐng)導(dǎo)者英偉達對谷歌宣稱的 TPU 性能提出了挑戰(zhàn)，并指出谷歌的芯片無法與英偉達最新一代硬件進行比較。同時，半導(dǎo)體行業(yè)目前并不像在 CPU 領(lǐng)域中那樣擁有評估機器學(xué)習(xí)專業(yè)硬件的通用方案。
　　
　　影響：訓(xùn)練和推斷的地理布局
　　
　　1.推斷的地理布局
　　
　　機器學(xué)習(xí)可以不斷被集成到各種產(chǎn)品和服務(wù)中，并且在一些以前認為不切實際的情況下使用。對于公民自由意志主義者來說，F(xiàn)PGA 和 ASIC 支持將機器學(xué)習(xí)作為一種監(jiān)控手段來使用：小型、低功耗的設(shè)備現(xiàn)在可以結(jié)合計算機視覺的進步來識別人和物體，即使是在帶寬較低的地區(qū)。對于那些擔心機器學(xué)習(xí)被濫用的人來說，專門化硬件可能效果更好，因為其中的不法活動更容易被追蹤和截斷。
　　
　　另一個令人擔憂的事實是，當發(fā)現(xiàn)缺陷后，F(xiàn)PGA 和 ASIC 不夠靈活的架構(gòu)可能會使修復(fù)機器學(xué)習(xí)系統(tǒng)變得更具挑戰(zhàn)性。越來越多的研究繼續(xù)強調(diào)這一點，即機器學(xué)習(xí)系統(tǒng)經(jīng)常會產(chǎn)生偏見、歧視性的結(jié)果，并且可能容易受到惡意操縱。當一個訓(xùn)練好的機器學(xué)習(xí)模型被「硬連線」到芯片中時，發(fā)現(xiàn)它有這些缺陷可能會使修復(fù)過程變得更加昂貴和漫長，因為它需要更換處理器本身，而不是修改軟件。這種問題在「嵌入式」環(huán)境中比較常見，在這種環(huán)境下，芯片隨產(chǎn)品一起銷售和分發(fā)，一旦芯片離開工廠，就沒有統(tǒng)一的方法來改變它們的行為。
　　
　　同時，F(xiàn)PGA 和 ASIC 也提出了一種可能性，即機器學(xué)習(xí)可能會以更穩(wěn)健的隱私保護方式來構(gòu)建。因為專門的計算能力使得機器學(xué)習(xí)推斷能夠在設(shè)備端完成。
　　
　　隨著用于機器學(xué)習(xí)的 FPGA 和 ASIC 進入市場，并試圖在該技術(shù)的應(yīng)用中找到可行的位置，這種情況一直懸而未決。
　　
　　2.訓(xùn)練布局
　　
　　意識到訓(xùn)練布局和推理布局非常不同是很重要的。FPGA 和 ASIC 在傳統(tǒng)上限定于作為機器學(xué)習(xí)系統(tǒng)訓(xùn)練的平臺。同時，在使用專業(yè)硬件進行訓(xùn)練這一方向上，谷歌和其它公司也在持續(xù)探索，近期的現(xiàn)實情況表明對于很多研究者和從業(yè)者而言，在訓(xùn)練階段中 GPU 仍然是主導(dǎo)。并且由于訓(xùn)練過程在可見未來內(nèi)也許仍然是計算密集的，很可能機器學(xué)習(xí)模型的構(gòu)建將仍然在集中化的數(shù)據(jù)中心上進行。
　　
　　這種機理模式會影響機器學(xué)習(xí)的管理。對最復(fù)雜、最精細模型的訓(xùn)練將繼續(xù)在少數(shù)有財力維持或租用必要計算能力的參與者中進行。然而，一旦訓(xùn)練完成，機器學(xué)習(xí)模型就可以更廣泛地傳播與部署。毫無疑問，一些類型的機器學(xué)習(xí)模型將繼續(xù)接受「作為服務(wù)」，推理會在云中進行。然而，F(xiàn)PGA 和 ASIC 打開了推斷的大門，不再局限于這種特殊方式。同時，這些平臺——特別是 ASIC——更加不靈活，使得分布后更加難以修改。
　　
　　第三部分：供應(yīng)鏈和算力
　　
　　CPU、GPU、FPGA 和 ASIC 都是復(fù)雜的半導(dǎo)體全球供應(yīng)鏈中的最終產(chǎn)品。上文我們探討了改變計算架構(gòu)對機器學(xué)習(xí)的社會影響，現(xiàn)在我們深挖半導(dǎo)體制造業(yè)更廣泛的商業(yè)影響力。
　　
　　半導(dǎo)體制造業(yè)的地理位置和在國家安全中的戰(zhàn)略資產(chǎn)地位使得算力成為 AI 地緣政治的重要競技舞臺。
　　
　　半導(dǎo)體供應(yīng)鏈
　　
　　第二部分討論的硬件平臺只是半導(dǎo)體行業(yè)的一個維度。半導(dǎo)體芯片，這種「由數(shù)十億部件組成，用于存儲、傳輸和處理數(shù)據(jù)的小型電子設(shè)備」是「信息時代的基礎(chǔ)建設(shè)技術(shù)」。這些芯片使計算機能夠運行軟件應(yīng)用，是「從手機到游戲系統(tǒng)，再到飛機和工業(yè)器械、軍事設(shè)備和武器」等大量設(shè)備的關(guān)鍵組成部分。鑒于其廣泛應(yīng)用，半導(dǎo)體是一個體量龐大的全球行業(yè)。2015 年，全世界的半導(dǎo)體銷售額達到 3350 億美元，比 2012 年增長 15%。
　　
　　生產(chǎn)一塊半導(dǎo)體芯片需要很多步驟。一些公司是「集成器件制造商」（IDM），管理從始至終的整個半導(dǎo)體生產(chǎn)流程，包括設(shè)計、制造、裝配、測試和包裝。采用該模型的企業(yè)包括英特爾、三星和德州儀器。
　　
　　但是，很多企業(yè)僅負責供應(yīng)鏈中的特定部分，將該生態(tài)系統(tǒng)中的任務(wù)按需求外包給其它公司。在機器學(xué)習(xí)硬件的討論中，「無晶圓廠（fabless foundry）」的角色非常重要。這些企業(yè)主要負責設(shè)計半導(dǎo)體芯片然后將芯片制造工序外包出去，通常叫做「fabrication」。采用這一模型的企業(yè)包括 AMD、Broadcom、Qualcomm。機器學(xué)習(xí)硬件開發(fā)的領(lǐng)導(dǎo)企業(yè)中有很多都是「fabless」。這樣這些企業(yè)就避免了大量資金支出，節(jié)省了構(gòu)建和維護芯片「制造」的費用。建立一家半導(dǎo)體制造高級工廠耗資可能高達 200 億美元。
　　
　　GPU 市場由英偉達主導(dǎo)，這是一家無晶圓廠（fabless）。根據(jù)一份行業(yè)分析，2017 年第三季度，英偉達占 GPU 市場份額高達 72.8%，剩余份額由 AMD（另一家 fabless foundry）控制。兩家公司的總部都在加州圣塔克拉拉。
　　
　　FPGA 市場同樣由幾家 fabless foundry 主導(dǎo)。2016 年，賽靈思以 53% 的市場份額主導(dǎo) FPGA 市場。另一家 FPGA 生產(chǎn)商 Altera 公司占據(jù) 36% 的市場份額，該公司于 2015 年被英特爾收購。隨后是競爭者 Microsemi (7%) 和萊迪思半導(dǎo)體公司（Lattice Semiconductor）(3%)。從 2015 年開始 FPGA 市場的局勢大致保持穩(wěn)定。這些公司全都在美國，且除了萊迪思，其它公司的總部都在加州。
　　
　　評估機器學(xué)習(xí)專用芯片 ASIC 的市場份額則更具挑戰(zhàn)性。首先，該市場仍在快速發(fā)展：目前在 ASIC 的大規(guī)模生產(chǎn)和銷售方面沒有強力玩家。截至本文寫作時，僅谷歌將其 TPU ASIC 分配給少數(shù)研究者，并通過谷歌云服務(wù)提供有限的 TPU 計算循環(huán)（computing cycle）。由于這些芯片是為特定目標而高度定制的，最終定義 ASIC 這一「市場」可能比較有難度。
　　
　　由于機器學(xué)習(xí)硬件的主導(dǎo)者是「fabless foundry」，它們依靠該生態(tài)系統(tǒng)中的其它公司來提供其設(shè)計芯片的實際產(chǎn)品。僅制造芯片的這些公司叫做「純晶圓代工企業(yè)」（pure play foundry）或「晶圓代工廠」（foundry），該領(lǐng)域是高度整合的。2016 年，臺積電（TSMC）占據(jù)晶圓代工全球市場的 59%。其后是 GlobalFoundries（11%）、聯(lián)華電子 (UMC) (9%) 和中芯國際 (SMIC) (6%)。TSMC 和 UMC 的總部在臺灣，SMIC 在中國，GlobalFoundries 在美國。盡管 GlobalFoundries 在美國，但是它由阿布扎比酋長國國有投資機構(gòu)阿布扎比高級技術(shù)投資公司（ATIC）控股。
　　
　　設(shè)計機器學(xué)習(xí)芯片的主要「fabless foundry」之間的關(guān)系較為穩(wěn)定，少數(shù)企業(yè)承包芯片制造任務(wù)。在 GPU 領(lǐng)域，英偉達將大量高性能 GPU 生產(chǎn)任務(wù)外包給臺積電。2009 年，GlobalFoundries 不再屬于 AMD 芯片制造業(yè)務(wù)的一部分，因為當時 AMD 謀求轉(zhuǎn)型為「fabless foundry」。由于這一歷史關(guān)系，AMD 與 GlobalFoundries 合作密切，不過 AMD 最近宣布將把新 GPU 生產(chǎn)任務(wù)分配給 GlobalFoundries 和臺積電。
　　
　　在 FPGA 領(lǐng)域，芯片設(shè)計者和代工廠之間的關(guān)系稍微不同。賽靈思過去與聯(lián)華電子合作，但是近期硬件的生產(chǎn)將更多與臺積電合作。Altera 2015 年被英特爾收購，它主要承接英特爾的硬件制造任務(wù)。萊迪思與聯(lián)華電子和臺積電合作，還有一些小的代工廠。
　　
　　這些競爭者的地理分布反映了該行業(yè)的整體結(jié)構(gòu)。美國企業(yè)占據(jù)全球市場的最大份額，2016 年半導(dǎo)體銷售額占全球市場的 50%。但是，半導(dǎo)體設(shè)備的實際制造主要在美國以外的其它地區(qū)。2015 年，世界 3/4 的高級半導(dǎo)體制造產(chǎn)能位于韓國、臺灣、日本。這將繼續(xù)推動半導(dǎo)體制造從美國向亞太地區(qū)的轉(zhuǎn)移這一歷史趨勢。1980 年，美國占據(jù)全球半導(dǎo)體制造產(chǎn)能的 42%，這一數(shù)字逐年下降，2007 年該數(shù)字降至 16%。