“智行”導盲系統說明書

2024年1月10日發(作者：貿易公司介紹)

技術與應用 Technology & Application注：湖南省創新訓練項目“智行眼鏡”（No. 2033）；湖南省教育科學“十三五”規劃課題青年項目（No. XJK19QGD004）摘要：本文針對我國盲人出行困難的問題提出“智行”導盲系統，“智行”導盲系統又分為基于Openmv的導盲避障及基于安卓的導航儀，分別為盲人提供避障以及語音導航的功能。詳細說明了各個系統的內部資源，以及各個系統的功能，同時闡述了紅綠燈識別及盲道識別算法計算過程。最后，本系統可以和盲人語音交互，指導盲人出行。關鍵詞：盲人；Openmv；避障；導航中圖分類號：TP23；TP368.2 文獻標識碼：A 文章編號：1006-883X(2020)07-0026-04收稿日期：2020-05-09“智行”導盲系統孫智靈 彭洋 岳凌霞 曹威 吳林湖南文理學院數理學院，湖南常德 415000一、引言息告訴盲人如何前進。在盲人前進過程中，導盲避障系統可以識別紅綠燈及盲道，同時將相關信息告訴盲人，幫助盲人避開障礙物。系統總體流程圖如圖1所示。現在國家為盲人的出行提供了很多的設施，但盲人的出行[1]還是受到很大限制。比如盲道經常被占用，過紅燈時的不便......并且盲人容易迷失方向，從而導致迷路。當前，盲人出行時靠的是一根手杖或是導盲犬。然而，手杖不能為盲人判別方向和避開障礙物，沒有很好地解決盲人出行的問題；而導盲犬，很多盲人無法承受其昂貴的價格。所以，本文針對盲人出行的難處提出了一套“智行”導盲系統，可以定位、導盲、識別盲道和紅綠燈，同時提醒盲人避開障礙物。存儲行走路線數據庫存儲地圖路線信息三、硬件設計1、導盲避障系統硬件設計導盲避障系統基于Openmv，利用Openmv作為中央控制器，控制外部設備以及進行數字圖像處理。二、系統總體設計

“智行”導盲系統分為兩個主要部分，一個是導盲避障系統，另一個是導航儀。導盲避障系統用于和盲人進行人機交互，導航儀主要用于查詢數據庫，以便獲得導航信息。盲人可以通過語音輸入，當輸入一級口令“導航”時，“智行”導盲系統進入導航模式，提醒盲人說出自己想去的目的地。導盲避障系統利用GPS獲得當前位置，同時獲得盲人所說的目的地之后，與導航儀進行通信，查詢相關命令，同時通過語音信接受命令安卓應用程序輸入目的地名稱查詢路線藍牙模塊無線通信串口Openmv模塊語音識別模塊語音模塊輸出命令

2020.0726傳感器世界Vol.26 NO.07 Total 301

Openmv通過串口與藍牙模塊進行通信，發送、接收導航儀的信息。Openmv通過串口與陀螺儀進行通信，通過I2C總線與光學測距模塊通信，利用上述兩個模塊分別收集傾角、距離信息及相應數據處理，判斷前方是否有障礙物。Openmv通過串口與GPS模塊[2]進行通信，可采集到當前位置的經緯度。Openmv本身可以采集圖像信息，識別紅綠燈及盲道。Openmv通過串口與語音模塊[3]、語音識別模塊通信，用于與盲模塊

陀螺儀

GPS

采

集

采集經緯度傾角信

息

判斷

前

光

塊

導航方

行是

學模輸進中央控制器否采測牙采集圖像信息有集藍據傳數盲人openmvCAM距H7障距模

給礙離塊

行識別紅綠燈、盲道物信

進

數字圖像處理息與盲人

進交互采集行語言盲人息語音信息

給盲人信塊模塊模

語音識別

ARM CoreSightTM

多核調試和跟蹤體系結構Cortex-A9 CPUCortex-A9 CPUCortex-A9 CPUCortex-A9 CPUI高速D高速I高速D高速I高速D高速I高速D高速緩存緩存緩存緩存緩存緩存緩存緩存eroCP偵測控制單元（SCU）M通用中斷控制加速器

和分配一致性9高速緩存間A傳輸偵測過濾計數器端口-

MTxe高級總線接口單元tro主 AMBA 3 64 位接口 帶有地址過濾的第二接口（可選）CTechnology & Application

技術與應用人進行語音交互。導盲避障系統硬件設計如圖2所示。2、導航儀硬件設計

導航儀基于ARM Cortex-A9內核，便于嵌入安卓操作系統及調用導航數據庫。ARM Cortex-A9基于先進的推測型八級流水線，便于運行安卓操作系統。ARM Cortex-A9內核如圖3所示。一個嵌入式Linux系統從軟件角度看可以分為四個部分：引導加載程序（Bootloader）、Linux內核、文件系統、應用程序。當程序運行在用戶模式下的時候，開機自動加載BootLoader：初始化RAM、初始化串口端口、檢測處理器類型、設置Linux啟動參數、調用Linux內核映像，Linux的內核是由bootloader裝載到內存中的。開啟Linux內核之后加載文件系統，啟動安卓操作系統，開機自啟動無界面安卓應用程序。四、軟件設計1、Java安卓應用程序設計運用Java語言編寫一個可下載到手機的應用程序，通過藍牙串口模塊將其與導盲眼鏡連接起來。此應用程序運用數據庫存儲地圖路線及行走記錄。Java是一種簡單的、跨平臺的、面向對象的、分布式的、解釋的、健壯安全的、結構中立的、可移植的、性能優異的、多線程的、動態的語言，編寫程序更為方便安全。以下是Java安卓應用程序所使用的部分類及方法：藍牙的打開方法: ();藍牙數據發送方法: ta(es() );藍牙數據接收方法: (f());Java連接MySQL數據庫類import tion;import Manager;import Set;import eption;import ent;2、紅綠燈及盲道識別算法設計

（1）紅綠燈識別

紅綠燈識別分為兩個步驟：一個是顏色識別[4]，傳感器世界

2020.07Vol.26 NO.07 Total 30127

技術與應用 Technology & Application另一個是形狀識別[5]。顏色必須保證在紅色或者綠色置信區間內，形狀在閾值范圍內保證是圓形。方法：取n幀紅燈、綠燈色度方向的圖像，構建紅燈及綠燈模型，通過計算得出穩定的置信區間，以實現紅綠燈狀態識別。分別取區域正態分布90%的數據為紅燈、綠燈色度特征，從而識別紅綠色。紅燈置信區間為：

[x1, x2]=[μR-1.65σR, μR+1.65σR]

（1）其中，x

—置信區間邊緣值；R

—紅色；μ

—均值；σ

—標準差。綠燈置信區間為：[x3, x4]=[μG-1.65σG, μG+1.65σG] （2）其中，G

—綠色。當滿足以下條件時為紅燈：?RL?1

（3）?xIx??1θ2?其中，Iθ —置信區間；x1、x2

—紅燈置信區間邊界值；

RL —判斷結果，1為真。當滿足以下條件時為綠燈：?GL?1 （4）

?xIx??4?3θ其中，Iθ —置信區間；x3、x4

—綠燈置信區間邊界值；GL —判斷結果，1為真。利用分割結果對圓形度進行閾值分割并判定，設圓形度為：

Tc —圓形閾值。紅綠燈識別結果如圖4、圖5所示。（2）盲道識別

盲道識別[6]運用了梯度和顏色特征的盲道跟蹤識別算法。梯度算法是基于小范圍ROl和梯度特征的邊界跟蹤。顏色特征的算法是基于顏色分布的跟蹤有效性檢驗。梯度算法：l、θ分別為左邊界的長度、傾斜角和Zone的最小寬度Wmin和最小高度Hmin。Zone的寬度和高度可以取為：??l?sinθ?,Wmin??W?max???3?

（7）?lcosθ????H?max?,Hmin??3???其中，l、θ

—左邊界的長度、傾斜角和Zone的最小寬度Wmin和最小高度Hmin。首先，使用水平Sobel核與Zone內灰度圖像作卷積以檢測垂直方向的梯度，再對Zone內梯度圖像使用Otsu法，自適應二值化的閾值，最長的那條邊緣被認為是前幀的盲道邊界。本算法通過Hough變換找到最符合條件的邊界直線。顏色算法：假設Zi(ri, gi, bi)(i=1,2,…,n)為前一幀圖像Zone內位于location左側的各個像素點，每個像素的顏色有RGB三通道組成。每次檢驗前，本算法記錄左側所有RGB向量的均值

mean(r,g,b)?nn?1n1?nZi??ri,gi,bi?，

??nn??i1i1?i1??i?1????4πs （5）Sc?2

p其中，S

—區域塊面積；p

—區域塊周長。對結果進行圓形度判定為以下條件成立，則為有效圓形：?Zc?1

? （6）?Sc?Tc其中，Zc —判斷結果，1為真；

2020.0728傳感器世界Vol.26 NO.07 Total 301

Technology & Application

技術與應用以及所有像素RGB向量與mean(r, g, b)向量的平均歐式距離：1nD?Zi(ri,gi,bi)?mean(r,g,b)

（8）ni?1計, 2014(06): 35-36.[2] 李明峰. GPS定位技術及其應用[M]. 北京: 國防工業出版社,

2006.[3] 黃仿元, 陳飛. 帶有語音報警功能的輸液監測系統的設計[J].

電子制作, 2017, Z1:17-19.[4] 趙浩杰, 金德智, 李彥. 基于OpenCV的彩色目標識別[J]. 中國科技信息, 2016(2): 36-37.[5] 徐俊艷, 方敏, 王經維. 車輛牌照識別技術研究綜述[J]. 電腦與電, 2000(2): 46-47.

[6] 杜凱, 宋永超, 巨永鋒, 等. 改進的光照不變道路檢測算法[J].

交通運輸系統工程與信息, 2017, 17(5): 45-52.?其中，D —處理后得到的圖像矩陣；Zi

(ri, gi, bi)

—各個像素點R、G、B像素值，0≤R<255，0≤G<255，0≤B<255；nnn?11??mean(r,g,b)?Zi?ri,gi,bi?。

??nn??i1i1?i1??i?1n????閾值化的規則為：d?i,j??D?255,

?g?i,j??128,?i,j??NewLocation? （9）?0,d?i,j??D?"Wisdom" Blind Guide SystemSUN Zhi-ling, PENG Yang, YUE Ling-xia, CAO Wei, WU Lin(School of Mathematics and Physics, Hunan University of Arts

and Science, Changde 415000, China)Abstract: In view of the difficulty of traveling for blind people

in China, this article propos the "intelligent travel" guide

system. The "intelligent travel" guide system is divided into

openmv-bad obstacle avoidance and Android-bad navigators.

Navigation function. The internal resources of each system and

the functions of each system are explained in detail, and the

calculation process of traffic light recognition and blind lane

recognition algorithms is also explained. Finally, the system can

interact with the blind voice to guide the blind to words: blind; Openmv; obstacle avoidance; navigation作者簡介

孫智靈：湖南文理學院數理學院，學生，研究方向：物聯網。加權平均灰度值VL的定義為：

WL?255V

（10）L?WL?BL其中，WL

—左側白色像素點個數；BL

—左側灰色像素點個數。盲道識別結果如圖6所示。五、總結該系統針對盲人難以出行，出行工具難以實現盲人的出行需求問題進行深入探討，并提出“智行”導盲系統，首先對“智行”導盲系統進行總體設計，提出盲人與該系統交互方式，以及表達如何方便盲人出行；然后對導盲避障系統及導盲儀內部結構進行解析，闡述該系統如何在硬件層面進行設計；最后剖析該系統軟件層面的設計以及識別算法的計算過程。參考文獻

[1] 郭嵩, 張鈺瑩, 韓少華. 關于盲人出行解困的設計研究[J]. 設通信地址：湖南省常德市湖南文理學院郵編：415000 郵箱：*****************彭洋：湖南文理學院數理學院，學生，研究方向：物聯網。岳凌霞：湖南文理學院數理學院，學生，研究方向：物聯網。曹威：湖南文理學院數理學院，學生，研究方向：物聯網。吳林：湖南文理學院數理學院，學生，研究方向：物聯網。傳感器世界

2020.0729Vol.26 NO.07 Total 301