整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          用Android手機和YAMNet ML 模型進行聲音分類一

          果對文章感興趣,請關注和評論,謝謝

          文 / ML GDE George Soloupis

          這是教程的第 1 部分,介紹了如何利用出色的 YAMNet 機器學習模型將手機麥克風錄制的聲音分類500 多種類別

          • YAMNet 機器學習
          • https://github.com/tensorflow/models/tree/d9541052aaf6fdc015c8150cf6576a2da68771f7/research/audioset/yamnet

          本教程分為兩部分,您可以按順序學習,也可以跳到最感興趣或與您相關度最高的部分:

          • 第 1 部分:ML 模型的架構、將模型轉換為 TensorFlow Lite (TFLite) 以及模型的基準測試
          • 第 2 部分:Android 實現
          • Android 實現
          • https://farmaker47.medium.com/classification-of-sounds-using-android-mobile-phone-and-the-yamnet-ml-model-a30c39677342

          ML 模型的架構

          YAMNet 是一個經過預訓練的深度網絡,可基于 AudioSet-YouTube 語料庫預測 521 種音頻事件類別,并采用 Mobilenet_v1 深度可分離卷積架構。下載此圖像即可查看模型的構造方式。

          • AudioSet-YouTube 語料庫
          • http://g.co/audioset
          • Mobilenet_v1
          • https://arxiv.org/pdf/1704.04861.pdf
          • 此圖像
          • https://drive.google.com/file/d/1oIlK2BYETI_93msANwdQQLDnKdwobRhl/view?usp=sharing

          模型訓練所使用的音頻特征計算方式如下:

          • 所有音頻均重采樣為 16 kHz 單聲道。
          • 通過長度 25 毫秒,步長為 10 毫秒,且具有周期性 Hann 時間窗的短時距傅里葉變換計算出聲譜圖。
          • 長度 25 毫秒,步長為 10 毫秒,且具有周期性 Hann 時間窗
          • https://drive.google.com/file/d/1EAhCdEGd-eVhv6Wlrl8eiVcwnPikcogM/view?usp=sharing
          • 通過將聲譜圖映射到覆蓋 125 至 7500 Hz 范圍的 64 個梅爾倉計算出梅爾聲譜圖。

          計算梅爾聲譜圖

          • 計算 log(mel-spectrum + 0.001) 得出穩定的對數梅爾聲譜圖,其中的偏移量用于避免對零取對數。

          計算穩定的對數梅爾聲譜圖

          • 然后將這些特征分幀成具有 50% 重疊且長度為 0.96 秒的示例,每個示例覆蓋 64 個梅爾頻段,總共 96 幀,每幀 10 毫秒。

          生成批量輸入特征

          之后,將這些 96x64 的片段饋送到 Mobilenet_v1 模型,以在卷積之上針對 1024 個內核生成一個 3x2 的激活函數數組。平均之后將得到 1024 維的嵌入向量,然后通過單個邏輯層得到對應于 960 毫秒輸入波形段的 521 個按類別的輸出得分(由于采用窗口分幀,您至少需要 975 毫秒的輸入波形才能獲得第一幀輸出得分)。

          模型采用了大量的卷積和深度可分離卷積層。

          您可以在這一篇文章中找到大量有關深度可分離卷積的信息。簡單來說,卷積、深度卷積和深度可分離卷積的區別如下:

          • 文章
          • https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728

          常規卷積

          來自 medium @zurister

          深度卷積 (Depthwise Convolution):

          來自 medium @zurister

          深度可分離卷積 (Depthwise Separable Convolution):

          來自 medium @zurister

          上一示例中,我們使用對深度卷積使用 1*1 濾波器來覆蓋深度維度,并將其與水平維度分開。

          模型的轉換

          將模型轉換為 TensorFlow Lite (TFLite) 文件的過程并不容易。您可以點擊此處查看此過程的一個示例,該示例詳細說明了如何解決聲譜圖期間使用的特定運算符(RFFT 和 ComplexAbs)的轉換問題。

          • 此處
          • https://medium.com/@antonyharfield/converting-the-yamnet-audio-detection-model-for-tensorflow-lite-inference-43d049bd357c
          • RFFT
          • https://www.javadoc.io/doc/org.tensorflow/libtensorflow/1.9.0/org/tensorflow/op/core/RFFT.html
          • ComplexAbs
          • https://www2.clarku.edu/faculty/djoyce/complex/abs.html

          TensorFlow Lite 模型托管于 TensorFlow Hub。另外,此處提供了大量此模型的相關信息。通過 Python 代碼對 tflite 模型運行推理的過程如下:

          interpreter = tf.lite.Interpreter('/path/to/yamnet.tflite')

          input_details = interpreter.get_input_details()

          waveform_input_index = input_details[0]['index']

          output_details = interpreter.get_output_details()

          scores_output_index = output_details[0]['index']

          embeddings_output_index = output_details[1]['index']

          spectrogram_output_index = output_details[2]['index']

          # Input: 3 seconds of silence as mono 16 kHz waveform samples.

          waveform = np.zeros(3 * 16000, dtype=np.float32)

          interpreter.resize_tensor_input(waveform_input_index, [len(waveform)], strict=True)

          interpreter.allocate_tensors()

          interpreter.set_tensor(waveform_input_index, waveform)

          interpreter.invoke()

          scores, embeddings, spectrogram = (

          interpreter.get_tensor(scores_output_index),

          interpreter.get_tensor(embeddings_output_index),

          interpreter.get_tensor(spectrogram_output_index))

          print(scores.shape, embeddings.shape, spectrogram.shape) # (N, 521) (N, 1024) (M, 64)

          模型的輸出為:

          • 得分,一個 float32 張量,形狀為 (N, 521),其中包含對 YAMNet 支持的 AudioSet 本體中每 521 個類的逐幀預測得分。
          • 嵌入向量,一個 float32 張量,形狀為 (N, 1024),其中包含逐幀嵌入向量,而嵌入向量是饋送到最終分類器層的平均池化輸出。
          • log_mel_spectrogram,一個 float32 張量,表示整個波形的對數梅爾聲譜圖。這些是傳遞到模型的音頻特征。
          • TensorFlow Hub
          • https://hub.tensorflow.google.cn/google/lite-model/yamnet/tflite/1
          • 此處
          • https://hub.tensorflow.google.cn/google/yamnet/1

          性能度量

          有一款出色的工具可幫助我們對 TFLite 模型進行基準測試 (Benchmark)。TensorFlow Lite 基準測試工具目前可度量并計算以下主要性能指標的統計信息:

          • 初始化時間
          • 預熱狀態的推理時間
          • 穩定狀態的推理時間
          • 初始化期間的內存用量
          • 總體內存用量
          • 基準測試
          • https://tensorflow.google.cn/lite/performance/measurement

          您可以在 Android 和 iOS 上安裝相應的基準測試應用,或以本機命令行二進制文件的形式使用這些基準測試工具,無論哪種形式,皆共用相同的核心性能度量邏輯。

          對 tflite 模型進行基準測試后,我們得到了出色的成績:

          在這張圖中,我們可以看到,不論是使用 Pixel 3 還是 Pixel 4,我們都可以使用 CPU 的 2 個或 4 個線程,獲得最少的推理時間。此外,該工具在處理模型時會指出一個 GPU 錯誤。查看 logcat 時我們會看到:

          Error: Attempting to use a delegate that only supports static-sized tensors with a graph that has dynamic-sized tensors.

          這些結果對 android 應用開發的有很大的幫助。我們無需再使用 GPU 代碼,且實現的參數可提升應用的運行速度!

          這樣,我們對模型架構、將模型轉換為 tflite 以及基準測試的討論就告一段落了。后續步驟包括通過 android 手機的麥克風錄制聲音、在應用中插入 tflite 模型以及在屏幕上顯示結果(教程第 2 部分未完待續)。

          感謝 Sayak Paul 和 Le Viet Gia Khanh 的評審和支持。

          關于作者

          George Soloupis,我從一名藥劑師轉行成為了 Android 開發工程師。目前積極活躍于 Google 的移動操作系統 TensorFlow Lite 機器學習工作組。

          篇,我整理和測試了六款來自國際大部隊的 Android 瀏覽器,包括大熱門的 Chrome、支持豐富擴展的 Firefox、主打隱私安全的 Firefox Focus、頗有歷史底蘊的 Opera,以及后來者 Microsoft Edge、Yandex。

          除了國際大廠出品的產品外,國內開發者也在 Android 瀏覽器品類下發力,在保持簡潔設計的基礎上,它們希望尋求提供更多差異化的功能。這次我挑選了五款 Android 國產瀏覽器,一起來了解一下它們有怎樣的表現,究竟有哪些亮點功能。

          夸克:卡片風格 + 神奇的下載效果

          首先登場的是被不少人「吐槽」的 夸克瀏覽器,網上有朋友抱怨夸克經過近兩年(2016 年 10 月發布了第一版)迭代更新,安裝包體積是越來越大,甚至有反映說有些網站不能在夸克上打開(其他瀏覽器卻能正常打開)。在我的使用體驗中,我還沒有碰到這些問題,夸克橫空出現為當年瀏覽器產品界帶來了一陣清新的風格。

          夸克首屏

          在經歷近兩年年時間的發展后,我認為夸克還是有幾個值得贊賞的功能亮點:

          簡約的卡片風格

          在應用主界面,夸克采用精簡的布局元素:品牌 Logo、搜索框、精選網站導航以及底欄共四部分構建了簡約的首屏效果。除此之外,卡片風格成為了夸克標志性的元素之一,后臺標簽頁管理、菜單彈出樣式均采用了卡片堆疊的風格。

          輕應用

          從去年年中推出的 v2.0 版本開始,夸克加入了輕應用的功能,將一些在垂直領域頗有人氣和觀點的社區網站重新封裝,打包成輕應用。從整體的效果來看,夸克的輕應用在閱讀體驗上還是有一定的提升效果,這點對資訊類網站尤其明顯,內容排版去除了惱人的廣告以及其他無關元素,同時在打開速度上也有不錯的表現。但是,輕應用仍然缺乏調整文字大小選項、夜間模式下對比度下降導致內容閱讀出現「看不清晰」的問題。

          神奇的下載效果

          使用夸克下載網盤資源有著神奇的效果,官方號稱支持多線程加速、多任務并行的特性,在采用默認的下載選項時,下載速度大約在 300KB-600KB/S 的區間內。如果要實現提速下載的話,按照下面的圖示調整下載線程:

          我們將下載線程調至 64,重新下載百度網盤的文件,速度可以穩定達到 2-5MB/S,這樣實現了可能是手機端最簡單百度網盤資源高速下載的方法之一。

          適度的手勢操作

          夸克內置的手勢操作顯得很「克制」,并沒有提供復雜的手勢組合,僅支持了幾個相當常用的操作習慣,比如滑動前進/后退、底部上滑返回首頁、長按標簽管理按鈕打開新標簽頁。

          同時,夸克還有幾個省心的實用功能:解決打開某些網頁時自動跳轉第三方 Apps 的問題;自帶的在線播放組件,適配了國內大部分視頻網站,視頻彈窗間接解決了視頻頁面的干擾元素;在輸入網址時提供了快速補全工具條。

          Via:幾百 KB 的小身板

          Via 的出現不禁發出這樣的感嘆:原來瀏覽器應用可以將體積做得如此小巧,首屏界面竟然可以做得如此純粹簡單,長時間體驗過后在這八百多 KB 小身板上發現不少實用功能:

          還你定制安靜瀏覽器的權利

          厭倦了瀏覽器首屏煩人的新聞內容、露骨的資訊標題,或者一大堆不感興趣的快速訪問導航,那么 Via 還你一個定制安靜瀏覽器的權利。初次打開 Via 瀏覽器,不禁想起了一句話:這才是一款純粹瀏覽器該有的樣子,主頁僅有頂欄和底欄的工具條、品牌 Logo 和搜索框。

          雖然采用極簡的主頁設計風格,但是 Via 依然擁有豐富的定制選項,包括了在主頁添加常用網站,Logo、背景圖片、顏色風格、背景不透明度、隱藏搜索框,甚至給用戶自定義 CSS 的方式更細致地調整界面效果。

          豐富的在線插件體系

          Via 另一大特色功能是擁有豐富的在線插件體系,打開菜單欄的工具箱,我們看到了十個小工具,其中源碼和資源嗅探是我經常使用的功能之一。源碼功能是為了偶爾學習一些網頁編程的知識(對于我這個小白來說),而資源嗅探解決下載網頁中的音樂、視頻等資源,比如需要下載 Instagram 的視頻,打開目標頁面并播放視頻后,依次選擇 Via 瀏覽器「工具箱 - 資源嗅探」,將彈出真實的視頻地址,接下來使用第三方下載工具保存至本地,或者點擊資源地址后在新標簽頁單獨播放視頻。

          除此之外,Via 還提供了多個實用在線插件,包括了知乎去網頁限制、微信公眾號音頻下載、B 站視頻下載、回到頁面頂部/底部,用戶只需打開設置選項的插件頁面,即可在線安裝和管理插件。

          多種手勢組合

          與前面夸克相比,Via 支持更多的手勢操作,目前提供了滑動前進/后退、長按標簽管理按鈕打開新標簽頁、長按主頁按鈕彈出網址輸入框、長按底欄左右鍵實現回到網頁頂部/底部、長按菜單按鈕刷新頁面、上滑主頁鍵彈出后臺標簽頁。雖然手勢學習的成本略高,但熟練后大大提升了瀏覽器操作的效率。

          X 瀏覽器:有趣的地址欄命令

          X 瀏覽器 首屏設計風格雖然不及 Via 來得純粹,除了自帶「合作」站點的網址導航外,并沒有推送新聞資訊等干擾因素,下面是我在體驗過后,找到了這款瀏覽器有趣的設計和強大的功能。

          有趣的地址欄命令

          與 Chrome 類似,X 瀏覽器支持在地址欄輸入 x: 開頭的特定代碼,直接打開相應的功能:設置、歷史記錄、書簽等,比如輸入 x:setting 即可打開瀏覽器的設置頁面。其他命令還包括了 x:as、x:custom、x:gs、x:adb、x:me、x:addon、x:info,嘗試輸入以上的命令,探索更多的便捷操作。

          即時翻譯和即時詞典

          X 瀏覽器提供了常規的網頁全文翻譯功能(使用百度翻譯),在此基礎上還帶來了即時翻譯和即時詞典,其中即時翻譯是在長按選擇網頁的單詞時瀏覽器界面立刻顯示翻譯結果,即時詞典則擴展了地址欄功能,用戶輸入單詞時將看到翻譯結果在備選項中。

          為每個網站設置不同的瀏覽策略

          X 瀏覽器支持對每個網站設置單獨的瀏覽策略,比如打開知乎網站后,點擊瀏覽器界面左上角的按鈕,選擇「網站設置」,可自定義廣告攔截規則、切換獨立 UA、禁止頁面啟動外部應用、禁用 JS、禁用 Cookies,將 UA 設置為 ipad 或者桌面后,可以突破知乎查看全部回答時跳轉至 Apps 下載頁面的問題。同理,運用不同的設置策略,可以突破 bilibili 在手機瀏覽器六分鐘視頻時長的限制。

          內置實用又強大的插件

          目前,X 瀏覽器內置了三款插件:二維碼增強版本、微信朋友圈、ADM 下載器,雖然前面兩個插件略顯普通,但是 ADM 下載器卻有著神奇的下載功效。不過吐槽一點的是每個插件下載后需要彈出單獨的安裝界面,對于一些朋友來說可能會有所反感。

          最后,X 瀏覽器還擁有其他貼心的功能:嗅探媒體資源、強力廣告攔截效果,希望這款瀏覽器繼續保持這簡單極致的風格,正如產品開發者所言:不完美但在原則上努力做到極致。

          神奇瀏覽器:自主開發的閱讀模式

          神奇瀏覽器 屬于一個人開發的個性產品,僅約 900KB 的小身板,卻同樣擁有純粹簡潔的設計風格和網頁瀏覽體驗。除了擁有之前幾款瀏覽器內置的廣告攔截(神奇瀏覽器還有一個名為天網的廣告攔截進階功能)、翻譯、ADM 下載插件外,神奇瀏覽器在下面兩個方面有更加完善的功能。

          分類顯示嗅探的資源

          與前面介紹的 Via 和 X 瀏覽器類似,神奇瀏覽器同樣具備資源嗅探的功能,不過其提供的選項更加完整。神奇瀏覽器的資源嗅探支持分類顯示圖片、媒體、JS 文件、樣式文件等大分類,讓用戶更容易找到希望下載的資源。

          閱讀模式

          神奇閱讀器是我在這次體驗另中唯一支持閱讀模式的 Android 國產瀏覽器,雖然與稍后讀工具相比,其閱讀體驗上還有不少差距,但已經提供了字體大小、主題背景色更換的選項。在閱讀模式下去除了網頁干擾元素,相當適合閱讀深度長文章。除了提升資訊站點閱讀體驗外,神奇瀏覽器的閱讀模式還支持自動解析小說下一章 ,對在線小說愛好者會是一大福音。

          星塵瀏覽器:小球設計和臨時搜功能

          星塵瀏覽器 是鳳凰工作室和世界之窗瀏覽器的創始人重新創業的作品之一,從瀏覽器的 Logo 圖標依稀看到當年世界之窗的影子。

          有趣的一級菜單設置頁

          如果厭倦了瀏覽器多級菜單的設置項,開關某個功能時需要打開多級路徑。星塵瀏覽器的設置項摒棄了多級菜單,僅僅保留了一級菜單,將全部功能開關項放置在一個頁面,方便用戶更加直觀地了解瀏覽器究竟提供了哪些功能選項。

          快捷的交互操作

          星塵瀏覽器擁有一個標志性的小球設計,用戶通過底欄的主頁鍵可快速完成常用操作,小球支持左右滑動切換標簽頁,向上滑動關閉當前頁面。

          臨時搜

          星塵瀏覽器將地址欄放置在界面底部,并且在其右側加入了「臨時搜」的按鈕,用戶選中搜索詞,可以直接實現搜索功能,或者點擊臨時搜的圖標后手動輸入搜索的內容,簡化了網頁二次跳轉的操作步驟。

          結語

          在體驗了這五款 Android 國產瀏覽器后,我發現了它們在手勢操作、實用插件等功能上發力,這些在 Chrome、Firefox 國際大廠出品的瀏覽器上均沒有提供,深入使用后我認為這些小細節確實大大提升了瀏覽器的操作效率和網頁瀏覽體驗。

          所以,我希望將這幾款瀏覽器介紹給正在尋求好用 Android 瀏覽器的朋友,歡迎你們在留言區寫下對這些瀏覽器點贊、吐槽的內容。

          東西(公眾號:zhidxcom)文 | Kiva

          進入2018年最后一個季度,手機AI芯片進入一個全新時代。

          恰好就在今天,蘇黎世聯邦理工學院公布了超過10000部安卓手機和芯片的AI Benchmark深度學習處理性能分數。結果不出意料,搭載專用AI處理器的華為麒麟970芯片得到了最高的AI-Score分數——超過6000分,幾乎是第二名的三倍。

          完整列表:http://ai-benchmark.com/ranking.html

          隨著手機芯片AI化的兩個主流玩家新品的亮相,即華為麒麟980和蘋果的A12處理器的推出,已經為手機端AI芯片2019年的競爭格局定下了基調。

          AI芯片在智能手機中的應用,已經從在拍照中的物體識別、場景識別(如華為P20 Pro中AI攝影大師),發展到針對視頻中人體姿態、動作進行實時AI分析的全新功能(如今年IFA展上,華為基于麒麟980推出的“慧眼2.0”),競爭門檻也進一步拉高。

          我們看到,在華為、蘋果頭部玩家的引領下,AI芯片成為智能手機標配的同時,這一領域的馬太效應也越來越明顯。與此同時,AI芯片行業也走過了野蠻生長,開啟了加速落地模式,全芯片產業鏈都開始積極擁抱人工智能。

          擁有先發優勢的玩家們,則更為積極地在AI芯片道路上飛速奔跑。先是8月的最后一天,華為在德國IFA展上率先推出了新一代的AI芯片麒麟980芯片,半個月后,蘋果在新款iPhone上搭載了新一代的仿生芯片A12。幾天前,華米推出了全球智能可穿戴第一顆AI芯片黃山一號。

          在業界最受關注的華為和蘋果手上的兩顆AI芯片落子后,AI芯片在手機端的應用也將進入到一個全新的普及階段。在技術和應用落地方面,都產生了極大的突破。

          基于智東西過去一年對AI芯片行業持續的跟蹤報道和產業鏈廣泛的調研 ,我們發現,以手機芯片為代表的終端AI芯片正呈現五大典型發展趨勢。這五大趨勢不僅是華為、蘋果們的發力點,也將大幅度升級AI芯片加持下的移動終端體驗。換句話講,這一輪圍繞這五大趨勢的AI芯片行業升級,將很大程度上影響未來智能手機江湖市場格局。

          AI芯片氣勢如虹 智能手機成最大受益者

          業內一般認為,AI芯片指的是根據神經網絡等AI算法,進行特殊設計的芯片。根據應用場景劃分,AI芯片目前可分為用于云端服務器機房等地的云端AI芯片,以及用于端智能、IoT設備的終端AI芯片。

          對于手機來說,芯片是其大腦和靈魂,集合著CPU、GPU、DSP、通信模塊等實現其他功能的硬件基礎,也是智能手機中高低檔劃分的重要指標。芯片作為底層基礎,也決定著智能手機性能的想象空間。

          在華為率先在傳統的手機SoC中加入獨立的AI獨立處理單元NPU后,AI獨立處理單元的設計也成為了行業的發展趨勢。

          AI獨立處理單元的加入,全面提升了智能手機的用戶體驗。在拍照、解鎖、游戲等智能手機的廣泛應用中都會應用到AI處理模塊的運算能力,對手機運算速率的提升有極大的影響。

          從目前來看,手機是AI芯片最大的獲利行業,同時手機端的AI芯片進展也在引領著整個終端AI芯片行業的發展。

          終端AI芯片的五大行業趨勢

          2017年9月2日,華為率先發布了全球首款人工智能移動計算平臺麒麟970,創新性地集成人工智能專用NPU神經網絡單元,打響了AI芯片落地智能手機的第一槍。

          緊接著,10月20日,華為在上海發布了搭載這款AI芯片的年度旗艦手機Mate10,將AI算力全面釋放到智能手機中,給手機用戶帶來了前所未有的AI場景識別、AI翻譯等多項創新性體驗。

          在麒麟970發布后,科技巨頭蘋果也不約而同的采用了這一策略,在9月13日發布iPhone X,使用了自研的手機芯片A11,其中內置了名為Neural Engine的神經網絡處理單元。

          進入到2018年,終端AI芯片的戰火越燃越旺,芯片產業鏈上下游的IP授權商、設計商、制造商都聯動起來,共同開發終端的AI算力。

          上半年,老牌芯片公司ARM推出了機器學習平臺Project Trillium以及兩款人工智能IP、中端手機芯片巨頭聯發科發布支持AI和計算機視覺的芯片Helio P60、手機芯片巨頭高通推出基于其梟龍芯片系列的人工智能引擎(AI Engine)。

          下半年,在終端AI芯片上開山辟路的華為,又帶頭向前邁出了一大步,推出全球首款7nm工藝、“雙核NPU”設計的AI芯片——麒麟980。兩周后,蘋果也繼續跟進推出了7nm工藝的新一代的仿生芯片A12。

          手機芯片巨頭高通將在今年年底發布新一代旗艦芯片驍龍855,據說驍龍855中也將采用專用的AI模塊,目前國內某AI芯片創企已收取NRE費用,為其開發人工智能IP模塊。

          在新玩家不斷涌入,老玩家進一步開山辟路的行業鏖戰期,智東西發現,目前終端AI芯片正呈現著以下五大行業趨勢:

          1、架構升級,多核心多單元配合

          以往的手機芯片普遍是以CPU(中央處理器)/GPU(圖形處理器)/DSP(數字信號處理)為核心的傳統計算架構,但這種架構難以支持AI海量數據計算。玩家們為了在終端上實現AI計算,選擇了不同的架構方式。

          華為作為業內第一個推出手機AI芯片的玩家,在麒麟970中率先單設了一個專門的AI硬件處理單元NPU。今年的麒麟980則依然延續了NPU的設計,但將原本的單核升級成了雙核,在性能上也有了大幅度的提升。

          雙核NPU的升級主要體現在視頻檢測、物體細節識別、物體分割三方面上:原先單核NPU進行AI物體實時識別時只能認出輪廓,現在可以識別出畫面細節;原先只能實時處理圖像,現在則可以做到實時視頻檢測和處理;原先在實現畫面實時物體分割時線條輪廓較為粗放,現在在雙核NPU的驅動下則能做到更精細。

          CPU方面,麒麟980也從去年麒麟970的4大核+4小核,升級到了2個超大核+2大核+4小核的全新設計,這三種核的分工不同,小核能夠支持音樂、短信這類日常使用,大核能夠支持社交軟件、圖片軟件這類應用,超大核則是用來處理對性能要求比較高的游戲等應用。

          GPU方面,去年的麒麟970用上了ARM推出的Mali-G72 MP12架構——這是Mali-G72 MP12 GPU的首次商用。這個架構很厲害,比上一代的Mali-G71性能提高了40%,能效提高了25%。而在今年的麒麟980,則采用了基于Mali G76打造的GPU,能夠做到性能提高46%,能效提升178%。

          架構升級,多核多單元的方案也同樣在蘋果A系列芯片上體現。

          與華為類似,蘋果在芯片中添加了一個專用于機器學習的硬件——“神經網絡引擎(Neural Engine)”。

          去年推出的A11處理器中,神經網絡引擎采用了雙核設計,今年的A12芯片則將神經網絡引擎數量提升到了8個。在CPU方面,蘋果A12的整體框架沒有調整,依然采用2個大核(性能核)+4個小核(能效核)的結構。

          為了使得多核間更好的調度和配合,華為還專門打造了一條靈活調度的智能CPU調度方案,能夠自動為應用配備適合的CPU核來計算。

          無論是雙核還是8核,通過核數的調整,大小核的配合,一直是芯片進化的一個很重要的技術方向。

          2、工藝制程升級,決勝7nm普及落地

          在芯片上,集成電路的精細度,是一個重要的行業指標。目前,半導體芯片主流制程工藝為14nm和10nm。在同樣的材料中集成更多的電子元件,連接線越細,精細度就越高,芯片的功耗也就越小。

          除制程工藝限制外,由于7nm芯片制造的難度巨大,幾乎逼近了硅基芯片的物理極限,需要的研發時間和資金投入都非常高,因此,7nm芯片成為了長時間以來令業界頭疼的一個大問題。

          不過,今年7nm制程在終端AI芯片上取得了突破性的進展。華為麒麟980是業內推出的首款7nm制程的手機芯片,由臺積電代工,比指甲蓋還小的硅片上集成了69億個晶體管。

          其實,早在2015年華為就開始投入7nm技術的相關研究,據華為方面表示,麒麟980的研發費用則高達數億美元,幾十億人民幣。

          蘋果今年推出的A12芯片,也同樣采用了7nm的技術工藝,由臺積電代工,集成69億個晶體管。據了解,今年年底將亮相的高通驍龍855也將采用7nm工藝。

          與此同時,其他芯片代工或制造廠,在7nm芯片的研發上,則似乎遭遇了瓶頸。

          三星半導體的7nm目前還沒有確切消息傳出,這也導致就連高通今年也將驍龍855的訂單交給了臺積電而非三星,而英特爾的10nm芯片也處于難產狀態。

          上個月,全球第二大芯片代工廠格芯宣布,將暫停開發7nm技術。這也導致了隨后全球第二大微處理器廠AMD表示,所有7nm產品包含服務器芯片與顯卡,都將交由晶圓代工龍頭臺積電代工。

          雖然,7nm制程仿佛一道鴻溝,將芯片玩家分成了兩撥。但前面所提到的玩家,尤其是華為,在對7nm工藝落地的不懈追求。因此我們也看到,摩爾定律仍然沒有消失,仍然在持續引領人類對芯片制造極限的挑戰。

          3、系統層為AI開發者鋪路架橋

          為了將AI芯片的計算能力開放給更多的開發者使用,玩家們一邊在布局AI芯片硬件的同時,一邊也在進行系統級的AI優化。玩家們也會推出對應的AI模塊、框架、API給開發者,便于開發更豐富的應用,通過獲得更好的AI性能,最大程度上發揮AI硬件的性能。

          在系統優化和面向開發者布局方面,華為有HiAI、蘋果有Core ML,而高通則有AI Engine。

          華為的HiAI平臺(全稱HiAI移動計算平臺),面向開發者提供人工智能計算庫及其API,使開發者更容易編寫移動設備上的AI應用。

          據了解,隨著麒麟980的推出,HiAI平臺能夠支持147個算子,開放了33個API接口及1000多種能力。

          新推出的AI芯片麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架,供了離線編譯、在線編譯、8bit量化等一系列完整工具鏈,既可以大大降低端側模型部署的工程難度,還可以利用NPU差異化優勢發揮出最強算力;支持CPU、GPU、NPU、DSP等的異構計算,方便深度學習算法在麒麟980的自動靈活調度執行。

          對于普通APP開發者來說,HiAI將會提供已經封裝好的語音識別、圖像識別等技術,開發者們不需要自己做基礎AI研發,可以調用HiAI中封裝好的AI技術直接應用,降低了獲得AI計算力的門檻。

          舉個例子,HiAI平臺中的人臉檢測API可以檢測圖片中的人臉,返回高精度人臉矩形框坐標,用于各類人臉識別場景,如人臉解鎖、人臉聚類、美顏等場景中,并通過對人臉特征及位置的定位,實現對人臉特定位置的美化修飾。

          而圖片分類API可以識別圖片中物體、場景、行為等信息,返回對應標簽信息,如:花、鳥、魚、蟲、汽車、建筑等等,可用于圖庫照片自動分類整理、社交圖片識別分享等。

          在今年10月份即將召開的華為全連接大會上,華為將會公布HiAI平臺的新進展。

          在去年WWDC開發者大會上,蘋果推出了Core ML機器學習框架,能讓開發者更方便地將CNN、DNN、RNN等AI神經網絡整合到自己的APP當中,A11也首次支持了Core ML。在A12中,Core ML的應用速度猛增了9倍,并且只需要原先1/10的能耗。

          高通方面,今年2月宣布推出人工智能引擎(AI Engine),在高通驍龍核心硬件CPU、GPU、VPS向量處理器的架構上搭載了神經處理引擎(Neural Processing Engine,NPE)、安卓版神經網絡的API、Hexagon神經網絡庫等軟件。AI Engine還包括軟件開發工具包SKD,可以使開發者和OEM廠商將訓練的網絡接入到此平臺。

          由此可見,在有了AI芯片后,想要在更大程度上發揮它的作用,必需要有好的移動計算平臺的支持,才能讓芯片和系統更好的配合,并發揮最大的作用,這已是行業的共識。從華為HiAI平臺所提供的豐富的API接口和能力來看,華為目前在系統層面為開發者調用AI能力鋪好了道路。

          4、應用AI化升級 拼質量拼生態

          “得開發者得天下”,除了手機廠商自家的系統級的AI應用外,好APP也是消費者選擇購買智能手機的一大理由。與此同時,應用生態構建的建設也將成為時下競爭的熱點。

          而為了讓第三方的AI應用能夠真正運行得好,不僅僅是NPU單一硬件組件的問題,而是系統軟硬件調配的過程,對于第三方應用開發者來說是一個難點。

          為了配合NPU華為還面向第三方開發者開放HiAI移動計算平臺的人工智能計算庫HiAI API,便于開發者在移動設備上編寫AI應用,而HiAI平臺也成為華為構建AI APP生態的核心。

          作為華為AI生態布局的核心,HiAI平臺可提供3大類的API,CV機器視覺引擎、ASR引擎和NLU(自然語言)引擎,以及和微軟合作的IDE計算模型。

          在華為手機的應用商店里,設有AI應用專輯,通過將HiAI平臺的能力開放給第三方應用開發者,構建起手機終端應用生態。

          目前已經有不少第三方應用已經接入了HiAI平臺的AI能力,比如微軟翻譯、快手、抖音、京東、美團、Prisma等,它們有的采用視頻處理優化技術、有的采用圖像識別掛鉤電商技術、有的則采用濾鏡美化類技術,圖像處理速度最高能達到原來安卓機器性能的10倍。

          為了激勵開發者,在今年舉辦的首屆華為終端開發者大會上,華為表示將面向開發者全面開發“芯-端-云”能力框架,同時,通過耀星計劃、DigiX創新工作室加速終端應用和場景化內容開發,并宣布每年投資10億元用于扶持開發者生態建設。

          可以看到,在應用方面,搭好舞臺吸引更多開發者唱好戲、多唱戲是終極目的,這里的搭好舞臺其實就是AI應用生態的競爭。蘋果在這方面一直很重視,華為則在技術支持、資金扶持發力。

          5、體驗進化 AI計算實現實時處理

          在消費者體驗方面,華為也更具創新性和技術實力。用戶能從攝影、通話等方面直觀地感受到AI芯片加持下的性能提升。

          拍照功能是將手機AI芯片能力發揮最淋漓盡致的功能之一,而從最近幾款旗艦手機的表現看,一個共同趨勢越來越明顯,即很多實時處理結果前移,也就是很多AI處理結果變得所見即所得了。典型案例就是目前手機廠商主打的AI場景識別外,以及對圖像深度信息和細節的智能補充。

          今年4月,華為推出業內首款搭載三個攝像頭的P20 Pro,并在P20 Pro上搭載AI攝影大師(Master AI)功能。也正式憑借著這一功能,華為P20 Pro憑借109分的成績登頂了DxOMark手機拍照性能榜單。

          AI攝影大師(Master AI)通過在算法架構維度上設計了一個推薦引擎來實時獲取取景畫面的信息,可以根據場景識別、人臉檢測的結果,按照預定義的規則執行推薦,上報到用戶操作界面。

          同時,AI攝影大師(Master AI)還將記錄當前使用者的操作行為并反饋給推薦引擎。通過不斷學習用戶的使用習慣,逐漸達到能夠向該用戶推薦對其量身定制的、令其滿意的拍照模式的目的。

          目前,通過圖像理解、語義分割算法以及模型訓練結果,AI攝影大師可以智能識別/區分19個類別,500+個場景。

          在手機最核心的通信功能方面,以通訊設備廠商起家的華為有著20多年的實戰經驗,現在更是做到了全球數一數二的通訊巨頭,在信息傳輸、通話、5G等方面都有著深厚的積累。尤其在高鐵通話方面,華為深入到芯片層面,利用“提前識別切換區域”方法,讓信號在飛馳的列車上仍可以順暢銜接。最明顯的感觸就是,在高鐵上用華為手機打電話“不掉話”。

          此外,蘋果在剛剛推出的iPhone Xs和iPhone Xs Max上搭載的“智能HDR”和“景深控制功能”(Bokeh),也是實時處理前移的典型案例。

          華為率先試水AI,成安卓陣營首發

          智能手機是AI芯片落地應用的最重要場景,集合著CPU、GPU、DSP、通信模塊等功能實現的手機芯片,也是智能手機中高低檔劃分的重要指標,決定著智能手機性能的想象空間。

          目前,手機廠商在AI芯片上的布局處于不同階段。在全球前五的手機廠商中,排名前三的三星、華為、蘋果都具有自主研發手機芯片的實力。

          在安卓陣營中,華為率先開始試水AI,從AI芯片、語音助手、原生AI應用,到數據同步、手機安全等基于云的各種服務,再到面向第三方應用開發者的HiAI平臺,正在形成一套貫穿終端、芯片、云、生態的整合AI打法。

          除了自力更生的華為外,安卓陣營里的OPPO、vivo和小米等眾多智能手機廠商在芯片方面的故事則較為單薄,因此,在AI芯片上需要借助芯片巨頭高通的實力,來解決計算力需求。高通在去年推出的驍龍845時,也推出了AI Engine的說法,利用CPU、GPU以及DSP等模塊的配合進行AI計算優化。

          同時,位于產業鏈上游的Arm也有所動作,日前,在上海舉行人工智能大會,Arm不僅推出了全套嵌入式AI開發套件EAIDK。而據業內人士透露,Arm自家的AI芯片計劃同時也在快速推進當中。

          終端AI芯片的廣闊天地

          AI能力下放到終端是2018年的重要行業趨勢趨勢,除手機這一出貨量最大的終端產品外,其他的終端AI芯片也非常火爆,比如安防、自動駕駛、智能家居、可穿戴等。

          在安防領域,深思創芯、中星微電子、云天勵飛、耐能等紛紛推出內嵌于安防監控攝像頭的AI芯片;在自動駕駛領域,由英偉達、英特爾這樣的芯片巨頭,和地平線等創業公司整合成為自動駕駛計算平臺。

          智能家居領域,則主要圍繞語音AI展開,典型產品包括亞馬遜打造Echo智能音箱AI芯片、啟英泰倫打造的家用電器語音AI芯片、杭州國芯打造語音AI芯片等。今年3月,英偉達也宣布將自己的AI芯片Xavier集成到Arm的AI項目Project Trillium里面,讓IoT芯片廠商容易地打造AI芯片。

          從終端AI芯片應用場景的多元性可以看到,AI正在以芯片為基礎,在帶來更多新應用的同時,正在促生著一場終端設備革命的到來,加速著硬件市場產業的發展。

          結語:手機AI芯片進入普及爆發期

          2017年可以說是AI芯片的概念普及和創業熱情爆發期,其中華為率先開創了手機AI芯片的先河,華為也攜手科技巨頭蘋果在2017年為智能手機行業奠定了AI算力下放到終端的行業基調,全面點燃了手機終端AI芯片研發的熱情。

          進入2018年,整個智能手機AI芯片產業鏈都被聯動起來,三星、高通、聯發科等都在涌入激烈的市場競爭中。與此同時,華為和蘋果兩家則憑借敏銳的行業前瞻性和先發優勢,繼續在行業前端奔跑,引領行業發展的新趨勢。

          隨著華為麒麟980和蘋果A12芯片的相繼推出,未來一段時間的手機AI芯片的行業趨勢也已經顯現:7nm制程工藝、多核多單元的架構設計、系統升級和開發者升級、應用升級、實時處理的前移,這五大行業趨勢將引領著手機AI芯片行業的爆發。


          主站蜘蛛池模板: 亚洲人成人一区二区三区| 麻豆视传媒一区二区三区| 无码人妻一区二区三区免费看| 久热国产精品视频一区二区三区 | 亚洲国产精品一区二区第一页| 熟女性饥渴一区二区三区| 日韩人妻无码一区二区三区99| 久久伊人精品一区二区三区 | 国产波霸爆乳一区二区| 精品一区二区三区色花堂| 亚洲一区中文字幕久久| 亚洲一区AV无码少妇电影| 国产精品被窝福利一区 | 中文字幕人妻AV一区二区| 国产精品一区二区电影| 香蕉久久一区二区不卡无毒影院 | 一区二区三区内射美女毛片| 国产精品特级毛片一区二区三区 | 国产福利视频一区二区| 精品国产一区二区三区香蕉事 | 国产婷婷色一区二区三区| 韩国女主播一区二区| 波多野结衣一区二区| 人妻体内射精一区二区三区| 国产精品一区在线观看你懂的| 韩国资源视频一区二区三区| 亚洲国产综合精品一区在线播放| 在线观看国产一区二三区| 亚洲日韩国产精品第一页一区| 内射少妇一区27P| 国产精品综合一区二区三区| 亚洲欧洲精品一区二区三区| 老熟妇仑乱视频一区二区| 国产成人高清精品一区二区三区| 国产suv精品一区二区6| 精品福利一区3d动漫| 日韩一区二区三区在线精品| 国产乱子伦一区二区三区| 精品女同一区二区三区免费播放| 日韩一区二区三区在线精品| 一区二区三区久久精品|