人工智能自然語言綜合實訓平臺

產品詳情：

4.2.1、產品簡介
人工智能自然語音綜合實訓平臺，可以開展語音信號的采集與播放、語音編解碼、回聲消除、語音信號降噪、語音變速變調、語音識別、語音合成、智能對話等智能語音處理課程教學與實踐。
該實訓箱是一款軟硬件一體的人工智能教學與開發實踐端側設備，主要包含人工智能邊緣計算平臺、六合一麥克風陣列、離線語音模塊、天貓精靈、高保真揚聲器、AIOT無線網關、AIOT虛實結合采集控制端模塊和AIOT端感控場景應用系統，以及智能溫濕度計、智能無線按鈕、LED燈等傳感控制器件。實驗箱配套相關教學實踐資源。預裝Linux操作系統和深度學習框架、智能語音處理SDK，且具有CANS機構認可的產品檢驗報告。
4.2.2、產品特點
1）出廠預裝Ubuntu操作系統和深度學習框架
平臺出廠預裝Ubuntu操作系統與深度學習框架，集成Python3、機器視覺、自然語言、深度學習、ROS系統等開發環境，能滿足人工智能相關的學習與開發。
2）離線語音圖形化中文編程開發
平臺離線語音模塊提供配套圖形化編程軟件“天問Block”，通過中文圖形化語句指令的編程后可自動生成專業代碼，用戶只需“拖拉、組合、點擊”的方式即可完成程序指令的編寫，哪怕零基礎也能快速上手進行單片機硬件開發，從而可以將更多的精力放到邏輯層面。
3）三大語音開發套件循序漸進學習語音處理
平臺裝配天貓精靈、離線語音、麥克風陣列三大語音采集模塊，引導學生循序漸進學習自然語音處理技術。天貓精靈支持藍牙Mech設備連接，從而實現周邊設備的語音控制。離線語音模塊，開放軟硬件接口，支持零代碼編程，可以輕松實現對燈光、風扇、空調等設備的離線控制。麥克風陣列內含科大訊飛深度學習框架，支持聲源定位、語音導航、語音交互、離線語音識別，真正實現人工智能層面的自然語音處理技術。
4）三大智慧語音端感控場景應用單元
平臺搭載智慧環境、安防感知、智慧停車三大端感控場景應用，通過虛實結合采集點、無線網關實現與與語音模塊的語音交互。包括通過語音獲取場景單元傳感器的狀態，以及通過語音控制場景單元的執行器狀態，從而實現自然語言處理技術在不同場景的智慧應用。
4.2.3、主要硬件構成
本平臺主要由邊緣計算平臺、麥克風陣列、離線語音模塊、天貓精靈智能音箱、AIOT無線網關、AIOT虛實采集控制模塊、端感知控制模組等硬件模塊構成，介紹如下：
（1）Jetson Nano邊緣計算平臺
NVIDIA Jetson Nano是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序,Jetson Nano搭載四核cortex-A57處理器，128核MaxwellGPU及4GB LPDDR內存，帶來足夠的AI計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
（2）語音識別麥克風陣列
麥克風陣列采用 4 核高性能邊緣計算處理器。內部集成特定的語音算法，利用麥克風陣列的空域濾波特性，通過喚醒人的角度定位，形成定向拾音波束，并對波束以外的噪聲進行抑制，提升遠場拾音質量。同時針對人機交互一體終端，集成高性能回聲消除算法，降低語音、 語義識別難度，防止自言自語的情況發生。
麥克風陣列接口采用科大訊飛M260C環形麥克風陣列，陣列由 6 個麥克風環形排列組成，遠場拾音實驗室環境下可達 10m，喚醒角度的分辨率為 1°，可進行 360°全方位聲源定位。
（3）智能聲控音箱
天貓精靈IN糖采用了圓潤的糖果造型設計,頂部有一個觸控式操作面板，可以實現對音量、播放/暫停等功能的控制。搭載了天貓精靈語音助手，用戶可以通過語音與音箱進行交互。兼容眾多智能家居設備，如智能燈具、智能插座、智能門鎖等。用戶可以通過語音指令或手機APP控制這些設備，實現智能家居的自動化和智能化。
（4）離線語音模塊
離線語音模塊上采用ASRPRO智能離線語音識別核心板，它是一款通用、便攜、低功耗高性能的語音識別芯片，采用了第三代語音識別技術，能支持DNN\TDNN\RNN等神經網絡及卷積運算，支持語音識別、聲紋識別、語音增強、語音檢測等功能，具備強勁的回聲消除和環境噪聲抑制能力，語音識別效果優于其它語音芯片。該芯片方案還支持漢語、英語、日語等多種全球語言，可廣泛應用于家電、照明、玩具、可穿戴設備、工業、汽車等產品領域，搭配天問Block 圖形化編程軟件，快速實現語音交互及控制和各類智能語音方案應用。
（5）AIOT無線網關
核心MCU朵用ARM Cortex-M3內核微控制器，搭載2.0寸TFT觸摸顯示屏，標配ZigBee+WiFi兩大無線通信模組。整個AIOT無線網關,實現了邊緣計算網關、離線語音模塊、天貓精靈、無線智能節點等多路無線數據和串口數據的轉發。
（6）AIOT虛實結合采集控制終端
核心MCU采用基于ARM Cortex-M3內核的32位微控制器；配有1塊3.2寸TFT觸摸顯示屏用于顯示和交互，分辨率為320*240。對外提供多種可編程的硬件接口，包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。預留了通用雙排防反插接口，支持Zigbee、Wifi、Lora、433等無線模塊的自由切換。
（7）AIOT端感控場景應用系統
智慧環境感知單元：光照、溫濕度、雨雪、風扇、數碼管、調色燈
智能安防感知單元：紅外對射、煙霧、酒精、蜂鳴器、觸摸按鍵、人體
智能停車感知單元：超聲波、電磁鎖、繼電器、舵機
4.2.4、平臺主要功能
（1）端感知控制
1）端感知控制主要依賴于AIOT感控場景應用硬件模塊進行，配套對應的Ubantu應用軟件，主要包含環境監測、安防感知、智能停車三個應用場景。
環境監測：獲取當前的溫度、濕度、光照、雨雪等環境信息，或控制調光燈、排風扇狀態。
安防感知：隨時監測當前的紅外、煙霧、酒精、觸摸按鍵、人體感應等安防信息，或控制蜂鳴器的狀態。
智能停車：及時獲取超聲波傳感的距離數據，或控制電磁鎖、繼電器、停車桿、數碼管的狀態信息。
（2）離線語音識別
離線語音識別以離線語音模塊為語音輸入，通過配套的圖形化編程軟件編寫相關指令代碼后及可使用設定的“關鍵詞”喚醒模塊，喚醒后通過預先設計的“關鍵指令”獲取板載或端感控場景中傳感器的數據，或控制對應的執行對象。該模塊無需聯網可在離線狀態下使用，且無需每次對話均要喚醒。在喚醒狀態下，可連續與之進行語音交互。
（3）天貓精靈語音識別
天貓精靈語音識別主要以天貓精靈智能音響為識別核心，配套溫濕度計、按鈕、AIOT無線網關（含天貓精靈模塊），通過配對接入阿里物聯網云平臺后，不僅可以通過語音交互獲取“天氣、新聞、娛樂”等網絡信息，還可以通過語音交互控制實驗平臺上“AIOT虛實采集控制終端”的燈光。
（4）麥克風陣列語音識別
麥克風陣列語音識別使用麥克風陣列作為語音輸入，平臺配備了Ubuntu人機交互應用，支持高精度的語音識別、語義分析和語音控制。通過設置與端感知控制板建立連接后，程序界面左下方會顯示溫濕度傳感器等數據，也能控制端感知控制板上的執行器硬件。
通過語音查詢指令，可以查詢端感知控制板上各傳感器的數據，通過控制指令，可以控制端感知控制板上各執行器的狀態。

4.2.5、配套課程資源
人工智能自然語言實驗平臺配套提供豐富的課程資源，課程主要包括《Python基礎》、《自然語言處理》、《離線語音》、《端感知控制》、《PyQT5應用開發》、《天貓精靈應用開發》等。課程會涉及到實驗平臺中的各個硬件模塊，包括麥克風陣列、離線語言、天貓精靈、AIOT感知控制單元等。同時，課程也會涉及到人工智能領域中的關鍵技術，包括Python基礎、自然語言、深度學習、離線語音、天貓精靈云服務等。
1）《Python基礎》課程主要包括Python的基礎語法、數據類型、表達式、函數異常處理等內容，主要為了學生掌握后續課程打下基礎。
2）《自然語言處理》課程主要包括麥克風陣列、文本處理、深度學習、百度AI語音云服務等內容，學生通過學習可以掌握人工智能自然語言相關的理論及使用方法。
3）《離線語音應用開發》課程主要包括如何利用離線語音模塊進行智能對話、硬件控制、屏幕控制、串口輸出協議數據等應用開發，學生通過學習可以快速上手離線語音模塊開發方法。
4）《端感知控制》課程主要包括Stm32應用開發基礎、端感知控制板上的傳感器實驗以及基于Zigbee模組無線應用等內容，學生通過學習可以掌握如何控制和采集端感知控制板。
5）《PyQT5應用開發》課程主要包括PyQT5的界面設計、信號與槽、UI布局、數據庫、多線程、網絡編程等內容，學生通過學習可以掌握如何設計PyQT5應用。
6）《天貓精靈應用開發》課程主要包括天貓精靈芯片模組的調試方法，阿里云物聯網飛燕平臺的使用，RGB燈、溫濕度傳感器、蜂鳴器、光照傳感器等硬件接入天貓精靈的應用開發，學生通過學習可以掌握如何將一個普通的傳感器執行器模塊接入天貓精靈生態。
每一門課程都提供了包括環境搭建、開發流程、原理講解、基礎應用的部分，并且課程不是相互獨立的，它們之間有一定關聯性和梯度。通過由淺入深、循序漸進的學習，學生能輕松理解人工智能自然語言相關理論，學會各種開發工具的使用，掌握應用開發的方法，獲得人工智能的基本應用開發能力。
（1）《Python基礎》實驗目錄
《Python基礎》實驗目錄
1 Python概述、發展與特點
2 開發環境搭建和使用（平臺介紹、平臺開機、實驗操作）
3 Python語法
4 Python縮進
5 Python注釋
6 Python變量
7 Python引入外援
8 Python基礎數據類型-整型（int）
9 Python基礎數據類型-浮點型（float）
10 Python基礎數據類型-布爾類型（bool）
11 Python基礎數據類型-字符串（String）
12 Python基礎數據類型-類型轉換
13 Python常用操作符-算術操作符
14 Python常用操作符-比較操作符
15 Python常用操作符-邏輯操作符
16 Python常用操作符-位操作符
17 Python分支與循環
18 Python條件表達式與斷言
19 Python程序控制-While循環語句
20 Python程序控制-for循環語句
21 Python程序控制-break語句
22 Python程序控制-continue語句
23 Python高級數據類型-列表（List）
24 Python高級數據類型-元組（Tuple）
25 Python高級數據類型-字符串（String）
26 Python高級數據類型-序列（Sequence）
27 Python高級數據類型-字典（Dictionary）
28 Python高級數據類型-集合（Set）
29 Python函數-創建與調用
30 Python函數-參數與返回值
31 Python函數-變量
32 Python函數-函數式編程
33 Python函數-遞歸
34 Python存儲-文件操作
35 Python存儲-文件系統（OS）
36 Python異常處理-except語句
37 Python異常處理-finally語句
38 Python異常處理-raise語句
39 Python類和對象-對象、self、__init__
40 Python類和對象-繼承
41 Python類和對象-組合
42 Python類和對象-構造與析構
43 Python模塊-創建和使用
44 Python模塊-導入模塊
45 Python模塊-包
2、《自然語言處理》實驗目錄
《自然語言處理》實驗目錄
1 自然語言處理簡介
2 實驗平臺硬件介紹
3 麥克風陣列-語音喚醒
4 麥克風陣列-聲源定位實驗
5 麥克風陣列-語音錄制與播放
6 自然語言處理-語音合成
7 自然語言處理-中文分詞
8 自然語言處理-詞性標注
9 自然語言處理-句法分析
10 自然語言處理-語義分析
11 自然語言處理-文本信息提取
12 自然語言處理-文本分類
13 自然語言處理-文本相似度
14 自然語言處理-文本摘要
15 自然語言處理-文本主題分析
16 自然語言處理-文本情感分析
17 深度學習應用-機器智能問答
18 深度學習應用-機器智能聊天
19 深度學習應用-機器智能翻譯
20 自然語言云服務應用-百度AI賬號申請與應用創建
21 自然語言云服務應用-語音識別與語音合成
22 自然語言云服務應用-地址信息識別
23 自然語言云服務應用-情感傾向分析
24 自然語言云服務應用-評論觀點抽取
25 自然語言云服務應用-對話情緒識別
26 自然語言云服務應用-短文本相似度
27 自然語言云服務應用-文本糾錯
28 自然語言云服務應用-詞義相似度
29 自然語言云服務應用-文章標簽
30 自然語言云服務應用-文章分類
31 自然語言云服務應用-智能春聯
32 自然語言云服務應用-智能寫詩
33 自然語言云服務應用-祝福語生成