基于CJK統一漢字擴充B的輸入法研究(可編輯)

2023年12月29日發(作者：簡筆畫花朵)

基于CJK統一漢字擴充B的輸入法研究（可編輯）

基于CJK統一漢字擴充B的輸入法研究

內蒙古大學

碩士學位論文

基于CJK統一漢字擴充B的輸入法研究

姓名:張瑞

申請學位級別:碩士

專業:計算機應用技術

指導教師:鞏政

20090508內蒙古大學碩士學位論文

基于統一漢字擴充的輸入法研究

摘 要

漢字輸入法研究是自然語言處理的一個重要課題,自

頒布以來‘,許多研究人員一直在研究支持該超大字符 集的輸入法,而本課題的主要研究目的是實現處于統一漢字擴充 區漢字的輸入與顯示’。本文主要從輸入法碼表的制作和輸入法程 序的編寫兩方面來詳細介紹輸入法的制作。該輸入法碼表采用筆畫順 序、筆畫模糊匹配和部首筆形碼三種模式對四字節漢字進行編碼,

在具體使用時,筆畫輸入法只需要按照漢字的書寫順序輸入對應的鍵 盤碼,就可以顯示并輸出目標漢字,筆畫模糊匹配只需要輸入漢字對 應筆畫的前四筆和后四筆,即可輸出目標漢字,部首筆形輸入法只

需按照筆形對應碼將部首和漢字的編碼通過鍵盤輸入,便能輸出對應 的漢字。

輸入法的實現符合的刪/結構規范卜爭“,是目前

輸入法廣泛采用的編程方法之一。由于處于統一漢字擴充區的 漢字主要出現在各種典籍文獻中,因此基于統一漢字擴充輸入 法的實現,為許多用字量大的漢字辭書、古籍文獻實現數字化起到了 有利的推動作用。

關鍵詞:統一漢字擴充,筆畫,筆形,刪/結構基于統一漢字擴充的輸入法研究

匣 . .

一氣 .

’.

,

,

,

,

.,

.,

, ,

,,

, ./.: ?十 , .

:,, ,

/ 內蒙古大學碩士學位論文

圖標目錄

表. 通用編碼字符集四維代碼結構【引

表.筆畫輸入法中筆畫對應的鍵盤碼.

圖.筆畫輸入過程示例

表.部首編碼表.

表.部首編碼表.

表.筆形碼碼元【】表.筆畫輸入法與簡筆輸入法部分碼表?。 表.部首筆形輸入法部分碼表??.

表.筆畫輸入碼表重碼情況統計?。

表.筆畫輸入法統計概況表.部首筆形輸入法碼表重碼情況統計? 圖. .基本工作過程

圖.輸入法的組成【.

表. 窗口處理的消息響應.

圖.主要接口函數??。

圖. 函數功能。

圖. 統一漢字擴充輸入法運行機制流程圖【】【】【】【】【】【】 圖.圖部首筆形碼輸入法圖.圖筆畫輸入法圖.筆畫輸入法示例?. 圖.候選窗口。

圖.漢字顯示過程?。

圖.輸入方式的選擇。

圖.漢文/英文切換?

圖.大寫鍵鎖定

圖. 關于窗口

圖.幫助文件.

原創性聲明

本人鄭重聲明:所呈交的學位論文,是本人在導師的指導下獨立進行研究所

取得的成果。除文中已經注明引用的內容外,本論文不包含任何其他個人或集體

己經發表或撰寫過的科研成果。對本文的研究作出過重要貢獻的個人和集體,均

已在文中以明確方式標明。本聲明的法律責任由本人承擔。

學位論文作者簽名: 指導教師簽名:

易次袁易

日 .‖

期:川./.

強:妒..

在學期間研究成果使用承諾書

本學位論文作者完全了解學校有關保留、使用學位論文的規定,即內蒙古大

學有權將學位論文的全部內容或部分保留并向國家有關機構、部門送交學位論文

的復印件和磁盤,允許編入有關數據庫進行檢索,也可以采用影印、縮印或其他

復制手段保存、匯編學位論文。為保護學院和導師的知識產權,作者在學期間取

得的研究成果屬于內蒙古大學。作者今后使用涉及在學期間主要研究內容或

研究

成果,須征得內蒙古大學就讀期間導師的同意;若用于發表論文,版權單位必

須

署名為內蒙古大學方可投稿或公開發表。

指導教師簽名:

學位論文作者簽名:

緣乏易

日 。期:

咿期:螄?！?內蒙古大學碩士學位論文

第一章 緒論

.

統一表意文字簡介

統一表意文字 ,即中日韓統一表意文字,

它是位于基本多文種平面中的一個編碼區段,目的是要把分別來自中 文、日文、韓文、越文中本質、意義相同、形狀一樣或稍異的表意文字主要

為

漢字,但也有仿漢字如日本國字、韓國獨有漢字、越南的喃字于 ?:?編碼區段,

及標準內賦予相同編碼,它處于/

編碼為,共個漢字。統一漢字擴充 ,它處于在

/

:編碼區段,編碼為一,共收錄個

漢字。

統一漢字擴充 ,它是位于

表意文字補充平面中的一個編碼區段,該區段共收錄漢字個,這 些漢字中的大部分在我們日常生活中使用頻率很低,它們主要出現在歷史典

籍文

獻中。統一漢字擴充處于/ :的

代碼區段,編碼范圍為?之間。

高位 低位

表. / 通用編碼字符集四維代碼結構似

.

/ 通用編碼字符集采用如表.所示的四維代碼結構,

稱之為規范形式或者,它包含個組,每組有個平面,每個平面有 行,每行有個字位。每個字符用個八位位組表示,每個八位位組都用 十六進制標識,圖形字符的組

八位為。通常我們使用的漢字都分 布在組中的第一個平面??基本多文種平面。由于組號和面號都是基于統一漢

字擴充的輸入法研究

,所以可作為雙八位編碼字符集獨立使用。我們現在 主要支持 兩字節的漢字,而統一漢字擴充編目的漢字都位于組的平面,即表 意文字補充平面中,都是由四字節組成的,在現行主流操作系統中,只 有將這些漢字保存為碼時才可以正常顯示字形,否則識別出的都是亂 碼。

..

基本概念

,簡稱,亦稱第零平

基本多文種平面【】:

面 ,它是中的一個編碼區段,編碼范圍從至,

它采用的主要結構如表.所示,但其組號和面號都為,所以基本多文種平 面可作為雙八位編碼字符集獨立使用,按字母、音節、表意符號和各種符號 及數字定義了常規使用的字符。

,簡稱,

表意文字補充平面【】:

亦稱第二平面 ,是中的另一個編碼區段,該區段編碼范 圍從至,它是在中基本多文種平面以外儲存字符

的區段。現在整個平面所配置的,全部都是一些罕用的漢字或地區的方言 用字,如粵語用字及越南語的字喃等,我們所研究的統一漢字擴充 區的編碼范圍從至。

..

統一漢字擴充區段漢字的主要來源【

統一漢字擴充段共包含 個漢字。根據,的相關文件

【】,這四萬多個漢字分別從以下字典或字集中取得: 的第平 面到第平面所收錄的個漢字;在《漢語大字典》伽中出現的 個未收錄漢字;在《康熙字典》?中出現的個未收錄漢字包括一個 在補遺篇中出現的漢字;在朝文標準中所收錄的個漢字;在越南文

標準中所收錄的個字喃隨;中出現的個未收錄漢字;《漢

語大詞典》中出現的個未收錄漢字; 《四庫全書》中出現的 個未收錄漢字;日本國家工業標準的 第平面及第平面的

個未收錄漢字:年版的《辭?！峰{中出現的個未收錄漢字:韓國內蒙古大學碩

士學位論文

.:中出現的個未收錄漢字; 《中國大百科全書》中

《辭源》中出現的個未收錄漢字;北大方

出現的個未收錄漢字;

正排版系統中出現的個未收錄漢字:這些漢字中有不少是重復的,經過 整理、篩選之后,合計總數為 個漢字。

.

統一漢字擴充的輸入法研究現狀及意義

自?頒布以來,一些研究人員一直在研究支持該超大字符集的 輸入法。據報道,下支持統一漢字擴充的輸入法已經實現。 下也有一種支持統一漢字擴充輸入程序,該輸入法在馬來西亞的一個 網站提供下載,但使用時發現,常用漢字的輸入功能正常,而輸入統一漢字 擴充中的漢字時,候選框中沒有顯示出候選字形?,使用不方便。 處于統一漢字擴充區的漢字主要出現在古籍文書中,目前為了保護這 些古代文集,各文物史館均采用封閉存放,禁止讀者瀏覽。有些圖書館將這些

書

籍掃描成圖片供讀者瀏覽,但圖片文件占用存儲空間過大,網上瀏覽速度太

慢,

且古籍存放時間太久,有些文字已經模糊不清。如果能夠把這些古籍文字錄入計

算機保存、瀏覽,對史料的研究、保護將有非常重要的意義。基于統一漢字

擴種輸入法的實現,為許多用字量大的漢字辭書、古籍實現數字化提供了一種

有效的基礎錄入工具,使原本束之高閣的典籍文獻實現數字化、走進尋常百姓的

案頭成為可能,從而為弘揚古老的中華文化打開了方便之門。

.本課題主要開展的研究工作

本課題的研究目標是能夠用較為適用、簡便的方法輸入處于統一漢字擴

充區的四字節漢字,為了實現這一目標,需要完成如下幾方面的研究內容:

、收集統一漢字擴充的字庫。對于一個輸入法來說,最基本的元素

就是字庫,只有擁有了字庫,才能夠成功輸出目標漢字。

、研究字庫中漢字的特點,對漢字結構進行分析、拆分、歸納,制定出一

種便于操作、記憶的輸入規則。由于該區段的漢字使用率比較低,所以了解其發

音的學者相對較少,所以為了輸入能夠方便,本課題采用了形碼輸入規則,對于

形碼規則來說,一個比較重要的指標就是碼表的重碼率,為降低重碼率,就需要基于統一漢字擴充的輸入法研究

對漢字進行分析,從而研究出一套符合該區漢字的編碼規則。

、根據制定的規則,利用環境設計并實現 操作系統下的

四字節漢字輸入法。

.論文結構

本文結構主要按照工作內容劃分為五章,其中第二、三、四章為所作的研究 工作,也是本文的重點,內容組織如下:

第一章緒論

本章重點介紹處于統一漢字擴充區漢字的相關情況,具體包括區段漢 字的來源、特點、編碼范圍以及國內外研究現狀與本課題研究意義。最 后介紹了本文主要開展的研究工作。

第二章碼表的設計與實現

本章首先簡單介紹了課題的編碼規則以及規則使用的部分注意事項,然后著 重從編碼格式和編碼依據兩方面來闡述規則的合理性。

第三章輸入法概論

本章主要從輸入法的現狀、種類、實現方式以及刪/結構等方面闡述了 輸入法的相關概念和技術。

、

第四章統一漢字擴充輸入法設計與實現

本章詳細討論了基于統一漢字擴充的輸入法的組成及運行機制, 主要從輸入法的組成窗口來詳細敘述輸入法各個功能的具體實現過程。 第五章總結與展望

本章是對課題工作進行了一個總結,給出了已完成的工作以及存在的不足之 處,并對未來的工作提出了一些建議。

內蒙古大學碩士學位論文

第二章碼表的設計與實現

.碼表的編碼規則

統一漢字擴充是對四字節漢字進行編碼的一個編碼區段,處

于該區段中的漢字基本都出現在歷史典籍文獻中,因此使用頻率都不是很高,而

且僅有極少數人知道他們的發音,所以在制作該類漢字輸入法時使用拼音方案輸

入就不切合實際,比較可行的是采用形碼輸入方案。

經過對該區段漢字的觀察和實際情況的考慮,本輸入法決定采取三種方案對

漢字進行編碼。方案一:采用傳統的筆畫進行輸入,即將漢字的拼寫筆畫分為橫、

豎、撇、捺、折五筆,并分別對這五個基本筆畫進行編碼,其中橫編碼為、豎

編碼為、撇編碼為、捺編碼為、折編碼為,編碼如表.所示,對處于

統一漢字擴充中的漢字根據其書寫順序進行筆畫串編碼,漢字中的筆畫

“提’’按照“橫”處理,各種“折和“鉤都按“折”處理。采用該方案的輸

入法本文稱之為筆畫輸入法,在使用時,只要按照漢字本身的書寫順序將基本筆

畫的編碼輸入即可輸出對應的目標漢字,不需專業的學習與訓練,無需依賴拼音,

不需要對漢字的結構進行拆分,具體實現如圖.所示。方案.采用筆畫模糊

匹配規則進行漢字輸入,此方案的提出主要基于方案一中的筆畫輸入原則,仍然

將漢字筆畫拆分為橫、豎、撇、捺、折五筆,分別映射鍵盤碼、、、、,

編碼規則同方案一完全相同。采用該方案的輸入法本文稱之為簡筆輸入法,在具

體使用時,只要輸入漢字筆畫的『四筆和后四筆對應的鍵盤碼,就能夠輸出目標

漢字,此方案在筆畫輸入正確率方面要遠遠高于方案一。方案三:使用“部首

筆形碼’’的形碼規則,其中部首指的是部首的編號,該編號是按照康熙字典中部

首的出現順序進行編輯的,用兩位十六進制數對其進行編碼;筆形碼包含四個

的數字,這四個數字分別代表漢字不含部首的左上角、右上角、左下角、

右下角四個部分的特征編碼,對漢字的這四個部分按照上述順序用數字進行編

碼,這樣只要對鍵盤上數字按鍵進行布局就可以實現輸入法的鍵盤映射。采用該

方案的輸入法本文稱之為部首筆形碼輸入法,方案中的部首編碼如表.和表

基于統一漢字擴充的輸入法研究

.所示,的數字編號分別代表的筆形特征如表.所示:

鍵盤碼

、

乙

對應筆畫

備注 橫、提 豎 撇 捺、點 所有“折’’ 表.筆畫輸入法中筆畫對應的鍵盤碼 .

例如輸入一個四字節漢字康,具體過程如下圖所示:

筆畫順序: 撇撇折 點 撇橫 豎撇撩 ?

、 、

,『 乙

對應筆畫:對應編碼:

編碼串:

圖.筆畫輸入過程示例

.

內蒙古大學碩士學位論文

二抖

日

力 / 門

耳 弋 月 刊

女

;

、 止

匕 丁 勺

木

?牟

習

廣

???一

欠 二/ ..一

士 與廠 卜

、 鄉 .. 幺 一

..一

?

衛

小 歹

彳

幾

瓜

卜 尢 心 ,又

.

口

丁 , 戈 毋 瓦

山

廠 戶 比 人 甘

肚

二

兒 山 于 毛 ...工

匠

專

入又 用卜 八。 口

......? 田 文 。弋

廣

門 疋

己 文 水 ,??, 土 廣

上

巾 斗 火 , ? 二羅鬯 工 斤 爪 亡 厶

工

幾

厶 父 白

欠 門

炙 廣 無 爻 皮 刀 日 皿

夕 月

又一

表.部首編碼表

.基于統一漢字擴充的輸入法研究

口

幸

戶口。

目 刁? 衣 頁 套 矛 耳 兩 酉 凰 麻 掌

產

市

大 ??卜一 兄 采 最 其

田

石 肉 二 食 黍 角

??一

口暑

么叉

里

蘭

不 口 立 首 /?、、 內 自 《

谷 香 黹

禾 二. 顯 陰 屬 阻 穴 臼 豕 阜 骨 鼎 .

千

、/. 局 鼓

白 豸 隸

鄉

舛 只 隹 矽 鼠 竹

.自王

米 舟 赤 雨 同 了 .主

厶

鬯

艮 罔 齏

爾 人巳

口

白二

任 齒 足 習乍 羽 山 鳥

能

網 / /刁 面 鬼 南

芏 畝

堇 囪

,屯 ?? /?、、 匏 ?

....::. .

命

包仁由

曰

羽 , ?. 早 ,習 三匕

血 辰 韭 鹵 ?一鹿

而 行: 走 曰 表.部首編碼表

.內蒙古大學碩士學位論文

編碼 筆形 備注

字例 變形

??.

主

廣、病、剖 點與橫相結合

天 橫、提、豎彎鉤、斜鉤

活、培、氣、兄

/ 舊、頓、力 千、則 豎、撇、豎撇 、

實 點、捺

軍、造、瓜

十義 古、對 式、皮、草 兩筆交叉 豐豐 青、打 春、申、戈 一筆縱穿兩筆或兩筆以上

口口 另、四 目、曲、甲 整齊的方形 刀

廣 寫、陽、亡、兵 折

八。

分、共 午、余、央、羊 八字形及其變形 小、

尖、快 宗、興、木、錄、當 小字形及其變形 表.筆形碼碼元‘埔’

.

.

碼表格式

為了便于對碼表的操作和程序的實現,本課題在制作碼表時采用了如下格 式:部件漢字換行,其中第一行是字段名,標題是筆畫漢字換行 和筆形漢字換行,從第二行開始是正式的編碼。筆畫輸入法與簡筆輸入 法采用的是相同的碼表,具體碼表內容如表.所示,部首筆形輸入法的碼表 如表.所示。

基于統一漢字擴充的輸入法研究

筆畫 筆畫 筆畫 筆畫 筆畫

漢字 ;又 漢字 漢字

漢字

欣 佐 侮 孰柒

胃 飲 慟 乏 汀欽 佃 西 渣

佩且

钷 佩 倆 ‘ 滓

五侈 佃 乙 洪餡 滴

今倪 乏

欲 儆 仙 吾 坎

惡 伏 歌 南 流欣

碧 伏基 浸

侖 歐 充

仉 耕凰 笆 歆 卷 央欣 伉 毳 沃 凋?

堰 仟 牛 活 藝璽 像 耄 淪 洞

...

割 歐 淦 回 恕士毫 倆 乙 玄 才?

土

僑 儕 乙 兇 筆

愾 『巳 囟 欹 抒

仟 偈 亂 活 琶

表.筆畫輸入法與簡筆輸入法部分碼表

.

內蒙古大學碩士學位論文

筆形 漢字 筆形 漢字 筆形 漢字 筆形 漢字

筆形 漢字??。?一. 偃琶是玄皂亂老卷暑豸笆軌望基藝碧堰豸廛馗 愾袱倆

價佩伉仟伏仙倆慟侮佐倪伯像佩仿仙 保俗侍俅伯炱俊傾侈仲傍俄何邵傈慚僑僑 西競傘中月它侖乏老老龜琶毫吾髦營磐 磬才抒耕災鹵充畝襄喜佃參伏仉侈

仔但偈飲

表.部首筆形輸入法部分碼表

.

基于統一漢字擴充的輸入法研究

.編碼的合理性討論‘九

首先,由于處于統一漢字擴充中漢字的使用頻率比較低,而且只有極 少數學者能夠辨認這些漢字的讀音,所以我們采取了形碼輸入規則,其次,為

避

免進行專業的學習與訓練,避免背誦冗長的口訣,我們采用了大家熟悉的筆畫輸

入規則,并在此基礎上產生了筆畫模糊匹配的簡筆輸入規則,再次,經過對該區

漢字的觀察和分析,還采用了筆形輸入規則,而且為進一步降低重碼率,該種方

案在筆形的基礎上又添加了各個漢字的部首編碼。

衡量輸入法的一個標準就是輸入法的速度?？陀^上,用戶使用一個通用鍵盤

的輸入法打字,受三方面因素影響:其一是軟件的反應快慢;其二是編碼方案;

其三是碼表。大多數輸入法軟件的反應速度對于用戶來說,是不會明顯影響到打

字速度的,而如何處理碼表,往往又受到輸入法編碼的影響,所以,編碼的質量

往往是我們在評價一個輸入法速度的主要依據,而影響編碼質量的一個重要因素

就是重碼率,所以我們通過碼表重碼率來說明編碼的合理性。

重碼率重碼字數/總字數

在常用漢字輸入法中,五筆字型輸入法的重碼率最低,不到%。按照本輸

入法中的“部首筆形碼”輸入漢字,重碼率雖然接近%,但是在選擇候選漢

字時不需要進行翻頁操作,因為頻率使用最高的漢字輸入碼串最多僅表示個

漢

字,而候選框每次可以顯示出個候選漢字,這樣,所有的重碼漢字都可以在第

一頁顯示完畢,用戶再按一個序號即可輸入所需漢字,所以,本輸入法重碼率的

高低對輸入效率影響不大;而對于筆畫輸入法,由于其編碼串的長度不唯一,所

以重碼率就更低,僅有一個串出現了九次,其他串出現的頻率都在五次以下,即

當用戶輸入某一編碼串時,除了一個串,其他的都不需要翻頁即可找到目標漢字。

表.為筆畫輸入法碼表的重碼的情況。

漢字

編碼串 出現次數

類侈傻

愣舁

德想內蒙古大學碩士學位論文

偶籬

僭眢偽休

售恪

恕衄

鰳赍類

卜廣上

屹老

旨冒置崗內

帽幅

婁樓

蜊捌

蛔帕

崇螺

崛贏

蝸帽

具巾具 粵導

嶧阜

磐崎

爆嶷幄 基于統一漢字擴充的輸入法研究

蠟封

類

苒苜

亙盲

類

弓袒

稠裙福初初’

耘視

類 贛鳘

啉糶

出瓦蠱

頗頓出品

陴陽

巳琵巴弓

皇皇

艮阪忉叻陰陰 電電

嘆迎

乞厶 ,

表.筆畫輸入碼表重碼情況統計

. 內蒙古大學碩士學位論文

字數 個

出現次的串 個 個

出現次的串 厶

出現次的串出現次的串

.

出現次的串 個

. %

重碼率

平均碼長 .筆

表.筆畫輸入法統計概況

. 肛

字數 個

個

出現次的串

個

出現次的串

個

出現次的串

出現次的串 個

碼長

平均擊鍵次數

表.部首筆形輸入法碼表重碼情況統計 .基統一漢字擴充的輸入法研究

第三章輸入法概論

.

輸入法的現狀‘捌

根據輸入設備的不同,計算機輸入方法主要分為以下三類:

一、鍵盤輸入:即通過鍵盤把編碼串輸入計算機,從而輸入目標文字到計算

機,目前這是最常用的輸入方法。

二、筆識別輸入:筆識別輸入法是指使用手寫板、掃描儀等輸入設備獲取用

戶書寫漢字或符號的筆劃或圖像信息,通過使用模式識別的方法,將筆跡轉化為

對應的文字。

三、語音輸入:指通過麥克風等語音輸入設備獲取用戶文字發音的語音信號,

通過使用各種模式識別的方法,將其轉換為對應的目標文字,從而達到輸入的效

果。

.輸入法的實現方式恤

輸入法的實現主要包括三種方式:第一種是直接實現方式;第二種是使用

操作系統提供的掛鉤機制方式;第三種是使用輸入法管理器

,以下簡稱管理的方式。

一、直接實現方式:作為編碼或識別程序的界面,直接將轉換后的字符顯示

在轉換程序的顯示窗口中。這種實現方式簡單直觀,可以用來直接演示編碼方案

或識別器的效果,是開發算法原型階段常用的方式。一個顯著的優點是輸入法只

要啟動一次,就可以在所有進程中使用,但機動性很差,必須生成程序。

二、使用操作系統提供的掛鉤機制方式:這種輸入法的核心技術是

使用系統提供的掛鉤機制。掛鉤機制主要完成以下任務:在輸入事件到

達應用程序之前將其截獲,將鍵盤、鼠標等輸入設備的動作消息轉換為中文字串

消息,而后傳遞給應用程序窗口。利用掛鉤機制有它的優缺點:優點是使用系統

級的掛鉤函數可作用于所有應用程序窗口,適應性很強;缺點是當多種輸入法并

存,或者不同應用程序窗口需要不同的輸入法支持時很難協調,也很難保證在一

內蒙古大學碩士學位論文

種環境下正常工作的輸入法可以適用于所有的應用程序窗口,且機制不穩

定,而且容易使系統不穩定,其生成的程序也是程序。

三、使用輸入法管理器刪來管理的方式:輸入法管理器的作用是統一管

理平臺的輸入法。面向開發人員,允許開發人員設計新的輸入法并

添加到系統中。為此, 公司為開發人員提供了一整套用于開發輸入

法的工具包,這套工具包包含在開發驅動程序的工具包

中。利用提供的輸入法管理器,使用 應用程序

編程接口進行輸入法編程的實現,是規范而方便的實現方式。我們開發的基于

統一漢字擴充的輸入法就使用了這種實現方式。

. /

結構

系統下鍵盤輸入法實際上是把通過鍵盤輸入的編碼串按照一定的

編碼規則轉換為目標字符串,傳遞給應用程序窗口。由于應用程序各不相同,

用戶不可能自己去設計轉換程序,而是利用系統提供的輸入法管理器

/輸入法編輯器刪/結構來完成文字的輸入。下面對和她結構作簡 單的介紹。

..

/結構的概念 ,簡稱就是通常意義上講的輸入法,它允許

用戶通過標準的鍵盤輸入各種不同的字符,從而達到輸入非拼音文字的目

的。在

平臺下,一個是作為一個動態鏈接庫,

而存在的,但這個動態鏈接庫較特殊,它的結構必須符合提供的一整 套輸入法接口規范。當輸入法運行時,它實際上是一個多文種的鍵盤布局 ,通過它,我們可以把鍵盤的英文字符映射為非拼音文字,從 而達到輸入非拼音文字目的。這個動態鏈接庫的位置是在的系統目錄 或者 下,輸入法的程序名稱為::.。

輸入法管理器是操作系統多語言支持環境的內在組成部分, 操作系統通過輸入法管理器管理當前系統中活動的各個輸入法編輯器,維護

輸入

法編輯器和應用程序之間的通信。其中應用程序是輸入法的用戶,用來接收

輸入基于統一漢字擴充的輸入法研究

法轉換后的字符消息。

..

的特點

平臺下的主要有以下特點:

每個僅僅是整個多文種環境 的一個

部件,一個多文種環境可以包含多個不同的。

每個應用程序都擁有自己的一個活動實例,不再為所有的應用 程序所共有,同樣的一個,可能同時運行多個實例,每個實例屬于不同的應用 程序。

應用程序和之間可以進行消息傳遞,應用程序可以控制。 ..

/結構的工作過程

在中,用戶的鍵盤輸入在被轉換為鍵盤消息之后,系統首先將這些 消息通過刪傳遞給與當前線程對應的。根據提供的輸入消息以 及輸入上下文記錄的數據,將用戶的輸入代碼串轉換為結果字符串,以字符

消息

的形式返回給,將其放到應用程序窗口的消息隊列中去。而每個不是孤 立地存在的,它們由一個統一管理,/刪結構負責輸入信息處理,包括 制定系統規范、輸入法接口、消息傳遞和輸入法控制等內容。通過調用/ 函數或發送消息控制和管理各個。同樣,也提供了一批供調用的函 數,使能主動地向提供自己的狀態以及請求執行某些公共操作。 內蒙古大學碩士學位論文

用戶鍵盤輸入 顯示

,

鍵盤驅動程序

網岡阿

窗口 窗口窗口

鍵盤消息

鍵盤消息

鍵?爭件

’’

轉換接口. .

?

. 用戶界面窗口

,。潲‰然、卜 函數集 一

某輸入法總控窗口

象

用戶界面

。 ?

漢字

膏:

消息答辯洲 上二

// 缺省窗口

箕消皂

相

?~?/、 ,

所有輸入法共享窗口

相關消息

,

//

應用程序

句柄

圖. 基本工作過程

.

基于統一漢字擴充的輸入法研究

第四章統一漢字擴充輸入法的設計與實現

隨著科學技術的發展,語言信息處理工作已進入人們的日常生活,并以日新 月異的速度發展。世界上所有國家都在不同程度地進行著本國語言的信息處

理工

作。對于任何一種文字信息處理系統來講,包括中文、日文、韓文等,首先要

解

決的關鍵技術就是文字的輸入技術?；诮y一漢字擴充輸入法的研究為進 一步加強中文信息處理做了重要的補充,是本課題重點完成的工作目標。 .四字節漢字 碼與機內碼的轉化關系伍?

由于現行主流操作系統主要支持字節的漢字顯示,因此,要想在其中輸入 和處理字節漢字,就要清楚他們在 中的保存的方式及其與

之間的轉換關系。例如漢字“糸”的碼為,在 中發現其存儲內碼按進制數表

示為 ,而并不是,如何才能使碼的轉變為 是解決四字節漢字存儲的關鍵

所在,經過研究發現,碼和機內碼之間有轉換規則,將四字節 碼減去,即得’一,然后將得到的’寫成

二十位二進制形式:,那么的二進制編碼格式就是 ,

,’的二進制為

將其代入的二進制編碼格式中,,然后再

轉化為十六進制: ,與中的存儲碼字相符。具體計算過 程如下:

,

’一,

,

’的二進制為:

代入二進制編碼格式:,。

轉換為進制:

內蒙古大學碩士學位論文

.

統一漢字擴充輸入法的基本原理‘“洶

統一漢字擴充輸入法的實現,最為規范的方式是利用所提供的輸入法管理器

和輸入法編輯器,即“腳/結構,使用

應用程序接口實現輸入法編程技術原理,在平臺下提供輸入環境, 系統穩定性高,也是比較規范、方便的一種方式。但是輸入法是與所有窗口

都有

關的系統級多語言支持組件,所以有許多不同于一般應用程序開發的特點,

相對

限制更多,處理過程也比較復雜。統一漢字擴充區漢字輸入法程序是完成 輸入法中鍵盤響應功能,配合系統的輸入法管理器,對用戶的鍵盤輸入 做出響應并完成鍵盤碼到漢字編碼的轉換。統一漢字擴充區輸入 法程序適用于中文 .版

環境,編譯環境為

本。

.

統一漢字擴充輸入法的組成

統一漢字擴充輸入法主要由用戶接口和轉換接口兩部分組成,如圖. 所示:

圖.輸入法的組成‘

’.

圖中的窗口、,簡稱窗口、狀態窗口、編碼輸入

窗口和選擇窗口構成了輸入法的用戶接口 。這些窗口主要 基于統一漢字擴充的輸入法研究

用來接收和處理由刪發出的輸入消息,提供與用戶交互的界面。下面簡單的 對這些窗口進行下介紹。

輸入法轉換接口 是一批可供或應用程序調

用的接口函數 集合,和應用程序通過調用這批接口

函數來實現從輸入代碼到機內碼的轉換和輸入法狀態的控制,也就是說,在

這里

實現從筆畫、簡筆和筆形碼轉換到漢字的過程。

..

窗口

我們開發的基于統一漢字擴充的輸入法中利用了缺省的窗口。當 應用程序線程初始化的時候,操作系統會基于.中預定義的全局類 類為其創建一個缺省的窗口,此窗口對用戶是不可見的,它管理著應用程序 中所有的可選輸入法,處理著輸入法中的用戶界面和從、及應用程序發 出的所有控制消息,是為所有的輸入法共享的一個窗口。

..

窗口

由于不同的用戶界面體現了輸入法程序的不同特點,因此每一種輸入法程序 總是希望向系統注冊自己的用戶界面類。根據用戶界面類創建用戶界面窗口 及其組件窗口。用戶界面窗口是一個具體的輸入法的總控窗口,它是窗口的 子窗口。用戶界面窗口的作用是接收由和應用程序發送來的消息,并根據消 息進行相應的處理。在用戶界面窗口過程中,將根據當前的輸入上下文具體

處理

消息,在此過程中可以調用缺省的窗口過程。因此,用戶界面窗 口主要是針對輸入上下文進行操作,輸入上下文包含了與當前狀態有關的所 有數據信息。參考這些信息,用戶界面窗口才能創建相應的組件窗口并控制

其行

為。另外,它還創建狀態欄窗口、編輯窗口和候選窗口,并保存這些窗口的基

本

數據。

中的消息主要分成兩大類:在內的各個窗口間傳遞的消息和同 姍或應用程序問傳遞的消息。

、在的各個窗口間傳遞的消息:此類消息主要用于使的各個窗口 能協調工作。內蒙古大學碩士學位論文

、同或應用程序問傳遞的消息:這些消息主要在和或應 用程序問傳遞,便于向或應用程序報告狀態信息、的動作等。這類 消息都以?的形式出現。這類消息有多種,其中有的消息還附帶子 一

消息。

在窗口處理的消息響應中,主要使用的消息如表.所示: 消 息 介紹

?? 窗口的創建,主要是初始化變量和創建編輯和候 選窗口。

用戶改變編碼狀態時,發送此消息通知。

????

編輯窗中編碼結束時,發送此消息通知。

系統或應用程序通過此消息和它所帶的參數來通

】『??

知改變輸入法當前的狀態。

緞? 當選擇新輸入法時觸發此消息相應。

當應用程序被激活時,向消息相應激活輸入法。 ????

當用戶開始輸入編碼時,系統發送該消息到, 緞?

打開編輯窗口。

?? 當輸入法結束時,進行窗口的銷毀。 『?? 當編輯窗口被移動時候,調用此消息來改變編輯窗

口和候選窗口的位置。

表. 窗口處理的消息響應

.

該輸入法中涉及到的 消息的子消息如下: 關閉狀態窗口時,系統發送此消息

:

?: 打開狀態窗口時,系統發送此消息 ?: 設黃輸入法狀態時,系統發送此消息 ?:設置編碼窗口時,系統發送此消息 打開或產生選擇窗口時,系統發送此消息 :

:

更新當前的選擇窗口時,系統發送此消息 : 關閉選擇窗口時,系統發送此消息基于統一漢字擴充的輸入法研究

?: 設置選擇窗口位置時,系統發送此消息

?: 設置編碼窗口字體時,系統發送此消息

輸入法運行機制就是窗口通過微軟提供的輸入法接口來處理消息響 應。下面對主要的幾個接口函數進行簡單介紹:

、:此接口函數在用戶選擇某個輸入法時最先由輸入法管理器 調用,以獲得該輸入法的有關信息,從而對輸入法進行初始化。函數應返回輸

入

法編輯器的初始化信息,在結構中設置當前輸入法的各種屬性,以及當 前輸入法的用戶界面窗口類名稱。

、:接口函數在用戶打開或關閉輸入法時被調用。在

此函數中對輸入法上下文內容進行初始化或恢復釋放。 、:系統或應用程序通知輸入法根據參數修改輸入法的當前狀態。 根據接口函數中狀態值的不同產生不同的結果。具體如下: : 打開候選窗口。

關閉候選窗口。

:

從候選窗口中選擇字符。

?:

?:設置候選窗口開始頁號。

: 更新應用程序的信息的輸入法信息。

?: 改變輸入編碼窗口中的輸入代碼。

、:此接口函數在某個應用程序窗口中打開了統

一漢字擴充輸入法后在應用程序窗口獲得或失去輸入焦點時被調用。在此函

數

中可以獲取當前的輸入法上下文并通知輸入法編輯器用戶界面窗口組件,令其刷

新顯示。

下面兩個接口函數的功能是完成字符的處理工作,并且這兩個接口函數一起

構成了鍵盤輸入方式下輸入法編輯器轉換引擎的主體。

、:此接口函數由輸入法管理器在處理鍵盤事件時調用。在

此函數中對鍵盤事件進行預處理,根據此函數的返回值,系統確定對于特定的輸

入上下文來說此鍵盤事件是否應送交輸入法編輯器進行處理。如果返回,

則表示應該先把鍵盤消息傳送到輸入法編輯器進行處理,所以輸入法管理器會緊

接著繼續調用 函數。如果返回,說明此消息不需要輸入法內蒙古大學碩士學位論文

編輯器進行處理,輸入法管理器將其直接送到應用程序。

圖.主要接口函數

.

、:此接口函數只有當返回時才被調用。

它主要是根據輸入法上下文的內容,使用輸入法編輯器的轉換引擎產生轉換結

果,將相應的字符消息放入指定緩沖區中。返回值是產生消息的條數。

在筆畫和簡筆輸入法中, 的簡單工作過程為圖.所示:基于統一漢字擴充的

輸入法研究

函數返回

對字符分類處理

空格鍵

或數字 囂鬻處理 的符號鍵 蓉個英文字母掣畢 鍵 ‘??一一

調用選擇選擇

調用符號處理 把輸入編碼轉 調用向上翻頁 調用向下翻頁

窗口中字符的

函數 換成目標字符 函數 函數

函數

結束

圖. 函數功能

.

鍵盤鍵彈起事件,此事件發生時輸入法說明鍵已彈起,不

:

’

做其它處理。

圖.是該輸入法運行機制流程圖,其中用到了以上介紹的相關內容。

內蒙古大學碩士學位論文

圖.

統一漢字擴充輸入法運行機制流程圖?‘?！?.

基于【統一漢字擴充的輸法研究

下面用統一漢字擴充筆畫輸入法為例對圖.輸入法運行機制流程圖 進行簡單的介紹,使讀者對輸入法的使用和內部運行機制有所了解。 當點擊選擇統一漢字擴充輸入法時,系統從文件夾中找到

輸入法的執行程序文件將其加載到內存中,觸發 消

息響應。在

消息響應中,創建輸入法所有使用的字體,為

以后將文字編輯窗口和候選窗中橫排和豎排顯示做準備。然后分別注冊窗 口,編輯窗,候選窗:,狀態欄窗口四個窗口,為輸入法的四大窗口進行注冊。 ?墨置四

匿璧鱉茁,型

圖 圖部首筆彤碼輸入法

然后就是消息循環機制的啟動,接的初始化,編輯窗口、候選窗 口、狀態欄窗口的初始化和創建。當一切都已經創建完畢后,狀態欄窗幾將

通過

注冊表中的設置屬性來顯示當前輸入法使用屬性。為了轉換兩種不同的狀態

進行

輸入,需要觸發狀態欄窗口的消息循環束選擇所需要的輸入狀態。當選擇后,

輸

入法送碼的狀態和狀態欄的顯示將有相應的變化。如圖 所示: ?圃鲴墅墅班

至雯雯匝

圈 圍筆畫輸入法到此,輸入法已經準備就緒,等待用戶輸入編輯窗口中的碼值。假如想要輸

入漢字“?”,只需要連續輸入該字的筆畫符號即“”到編輯窗口。在這個過

程中.其觸發到窗口,編輯窗口,候選窗口幾個消息循環。首先,窗不被

觸發,接受編碼并存儲到編輯窗中的變量數組中,同時觸發編輯窗口的顯示響

應。當編輯窗接收到編碼后,通過已經接收的編碼經過程序中的轉換規則查找

到所有符合浚寧符串集合,并取出所有字符串集合存到候選窗口結構體中的數組

變量中。這樣同時觸發了候選窗口的消息循環,候選窗門首先選擇一定數目的字

符串顯示到窗口中,等待用戶選擇所要輸入的內容。內蒙古大學碗七學位論文

囤 筆畫輸八法示例

當然,并不是所有的重碼都顯示出來,每頁最多可以顯示排,每排最多顯

示個漢字.如果需要翻頁才能找到所需要的字符串.這時可以點擊翻頁鍵來進

行向前翻頁或向后翻頁,而這只不過是改變了候選窗口中記錄顯示字符串起始位

置的變量,當找到所要的字符串時候,點擊它的相應數字鍵標號,候選窗口就會

通過該標號和顯示此編碼的起始位置來計算出它所在候選窗口結構體中的位置,

并將該編碼串存入輸送編碼的數組中,向系統發送輸送編碼的消息響應,這樣所

要的編碼就會送入機器中。

輸入完成后,當退出輸入法時,將會觸發的 消息

響應,釋放所申請的變量和空間,最后,輸入法執行文件.腿從內存調出。編輯窗口

編輯窗口是顯示當口擊鍵情況的窗口,它是~個可見的窗口。在四個窗口的

消息循環中,編輯窗口消息循環的機制足最簡單的。幾乎所有的輸入法中,編輯

窗口都是用來顯示輸入的字符串的,而并不需要特殊的功能。統一漢字擴充

輸入法將編輯窗口與候選窗口合并為一個窗口柬進行處理?；诮y一漢字擴充的輸入法研究

候選窗口

候選窗口用于顯示當前輸入碼對應的全部漢字字符,供用戶選擇或查詢,它

足一個可見的窗:。候選窗口也按照中文的行款要求設計成橫排顯示,且每排顯

示個候選漢字,方便讀者使用。候選窗口的運行原理就比編輯窗口復雜一些。

因為它涉及到將編輯框中所輸入的編碼進行轉換,將四字節漢字顯示到候選

窗

口.提取出所需要的編碼供用戶選擇,其中,因為四字節漢字不是 默認的識別漢字,所以還涉及到轉換字體的問題.統一漢字擴充輸入法的 候選窗:如圖 所示:

圖 候選窗口

它的顯示漢字的過程如圖.所示:內蒙古大學碩士學位論文 圖.漢字顯示過程.

本文設計的統一漢字擴充輸入法是有重碼的輸入方式,用戶可以按相 應的數字鍵來選擇需要的字符或音節。所有重碼不可能一次全部顯示,部分

需要

翻頁才能夠顯示,可以按“,’’“.鍵實現向前、向后翻頁。 ..狀態欄窗口

狀態欄窗口是用于顯示、切換輸入法的狀態,如中文/英文狀態,輸入方式 等信息。

本文設計的統一漢字擴充輸入法有三種輸入方法:筆畫輸入法、簡筆 輸入法和部首筆形碼輸入法?？梢酝ㄟ^狀態欄窗口選擇不同的輸入方法,如

圖

.所示:

回氫丑碉回面至園圃

圖.輸入方式的選擇

.

考慮到輸入的方便性,可以進行漢文/英文的切換,如圖.所示:基于統一漢字

擴充的輔法研究

【哥亞亞圈畫面?硼

困.漢文/英文切換

厄

鍵,必須切換到英文狀態

此外.在中文輸入狀態時,不能鎖定

下才允許。一旦 鍵鎖定之后,只能對英文進行大寫輸入操作,而不能 進行中英文之間的切換工作了,只有取消之后才能繼續進行切換。 回面五圈回西豇圈

回塑甄碗回虱豇盈

囤 太寫鍵鎖定

關于窗口

為了標明該四字節漢字輸入法的名稱、版本、版權等信息,專門設計了關于 窗口.圖.為統一漢字擴充輸入法的關于窗口。

囝 關于窗口

內蒙古大學碩士學位論文幫助文件

碼表的編碼規則采用了“部首筆形碼”,其中對每個漢字的偏旁部首都進行 了編碼,為方便用戶使用,在幫助文件中顯示了每個偏旁部首對應的編碼以

及各

個數字所代表的漢字特征碼.此外.在幫助文件中還簡單敘述了筆畫輸入法

和簡

筆輸入法的使用方法以及部分注意事項。該四字節漢字輸入法的幫助窗口如

圖

.所示

件?嘿書 迎選項咀幫助?

目錄《 打?哩

四字節漢字輸入法

筆畫輸入沾

筒筆輸濁

部濘筆形碼輸入沾

囤幫助文件以上幾個窗口都屬于用戶界面組建窗口,包括編輯窗口、候選窗口、狀奄窗

口等。用戶界面組件窗口對用戶是可見的,用戶通過它們與輸入法交互信息。所

有的組件窗口都由窗口創建并擁有.處于無效狀態,即不能獲得輸

入焦點,只能接收用戶輸入虬及對其進行編輯。組件窗口應該在輸入法被打開時

創建,但這時可以不顯示或只顯示其中的部分組件窗口;在用戶切換到其他窗口

時,組件窗幾~般應當隱藏,直到與其有關的應用程序窗口重新獲得焦點;在輸

入法被關閉時所有組件窗丁被銷毀。基于統一漢字擴充的輸入法研究

第五章總結與展望

.

工作總結

語言是人類交際的工具,文字是記錄語言的符號,語言文字的出現,印刷術

的發明,大大推進了人類文明的進程,社會越發展,人們對文化的追求就越加強

烈?；诮y一漢字擴種的輸入法的實現,為許多用字量大的漢字辭書、古

籍實現數字化提供了一種有效的錄入工具,使原本束之高閣的典籍文獻實現數字

化、走進尋常百姓的案頭成為可能,從而為弘揚古老的中華文化打開了方便之門。

本文旨在利用計算機對統一漢字擴充區中的漢字進行輸入處理,對實

現古籍的數字化提供一種錄入工具。本文在完成以下幾個方面的工作后,已經基

本達到了輸入、顯示統一漢字擴充區中漢字的目的。

、收集統一漢字擴充的字庫。本輸入法采用的是宋體一方正超大字符

集,該字庫包括全部漢字以及在第二平面中選出的個在中國

大陸,香港特別行政區以及部分臺灣地區使用的漢字。因此包括西文等常用字

符在內,宋體一方正超大字符集共包括個字符,這是目前見到的包含漢字

數目最多的字庫;

、研究字庫中漢字的特點,對漢字結構進行分析、拆分、歸納,制定出一

種便于操作、記憶的輸入規則。經過對漢字的觀察和實際情況的考慮,本輸入法

采用了三種編碼規則,即筆畫輸入編碼規則、簡筆輸入規則和部首筆形碼編碼

規則,筆畫輸入法只要按照漢字的書寫順序將對應的鍵盤碼輸入,就能輸出目標

漢字,而簡筆輸入法主要是基于筆畫輸入法的,在使用時只要輸入對應漢字的前

四筆和后四筆,即可輸出目標漢字,部首筆形碼輸入法需要將部首對應的編碼

以及目標漢字的筆形碼輸入鍵盤,也可輸出目標漢字,這三種輸入方式都比較容

易操作。

、分析

,研究出用文本文件格式顯示統一漢字擴充文字

的方法。在 操作系統中,四字節漢字的碼是以一格式

存儲的,該格式與之間的轉換由系統自動完成,但是在輸入法的候選窗