上大學的時候在CSDN發的文章，突然有人聯系我要源代碼，順便就發到這個平臺分享一下）

咱直接進入正題吧！下面這個程序是我一個老師做研究，用到python來把韓文拆分。老師讓我幫他做的。因為自己 所以拿出來分享一下。

首先呢！ 參考這個“韓文的unicode范圍及應用”文章。（為了方便，下面分隔線內是這個文章的內容）

韓文的unicode范圍

韓文字母 (1100–11FF) 10進制4352-4607 韓文兼容字母 (3130-318F) 10進制12592-12687 韓文音節 (AC00-D7AF) 10進制44032-55215 目前電腦可顯示AC00-D7A3 10進制44032-55203 韓文字母擴展A (A960-A97F) 10進制43360-43391 韓文字母擴展B (D7B0-D7FF) 10進制55216-55295

通常用下面這段javascript正則表達式即可驗證是否韓文: /^([\uAC00-\uD7AF])*$/gi

韓文是立體化的拼音,雖然像字,但卻不是字,和日本平假名,片假名相同 韓文音節unicode計算公式(10進制): [{(子音)×588}+{(母音)×28}+(韻尾)]+44032 子音/聲母/初聲 ? 0 ? 1 ? 2 ? 3 ? 4 ? 5 ? 6 ? 7 ? 8 ? 9 ? 10 ? 11 ? 12 ? 13 ? 14 ? 15 ? 16 ? 17 ? 18 母音/韻母/中聲 ? 0 ? 1 ? 2 ? 3 ? 4 ? 5 ? 6 ? 7 ? 8 ? 9 ? 10 ? 11 ? 12 ? 13 ? 14 ? 15 ? 16 ? 17 ? 18 ? 19 ? 20 韻尾/終聲 無韻尾 0 ? 1 ? 2 ? 3 ? 4 ? 5 ? 6 ? 7 ? 8 ? 9 ? 10 ? 11 ? 12 ? 13 ? 14 ? 15 ? 16 ? 17 ? 18 ? 19 ? 20 ? 21 ? 22 ? 23 ? 24 ? 25 ? 26 ? 27

例子 “?” 的 Unicode: 子音 ? 值為 18 母音 ? 值為 0 韻尾 ? 值為 4 根據公式計算 {(18×588)+(0×28)+4}+44032=54620 即?的unicode編碼是54620(10進制), ? 或者是 U+D55C (標準unicode16進制標記法)

其次，因為這個這個只針對現代韓文是有效的。對很古老的韓文是無法拆分的。所以單獨地，對古代韓文的拆分是放在一個txt文件中的。存放方式如下

程序思路如下：

1.先從古代韓文txt文件中讀取所有的古韓文和其對應的分解，然后存放在一個字典中；

代碼如下:

在這里，之所以用utf-8編碼打開是因為我當時存古韓語和其分解的時候是用utf-8編碼存放的。

2.從一個文件夾中讀取所有的以utf-16編碼的txt文件；

3.讀取一個文件的一行，再對每一個字符進行處理；

如果是古代韓文，通過從先前得到的字典中查找返回相應的分解。如果是現在使用的韓文字符，通過參考文章http://www.ch2ko.com/hanguoyu/hanwen-unicode/來處理的。如果是其它字符，返回原字符。

4.得到的每一個字符的分解存放在一個臨時的行temp_line中（初始為空），處理完每一個行，把temp_line加到每個文件字符串temp_file_string中（初始為空）。

5.處理完一個文件后把結果存儲為一個新文件，一行分解，下一行原文的方式。

如下圖

程序代碼如下

#dividing_test.py
#coding:utf-8
 
import codecs
import glob
import codecs
import os
 
first_parts=("?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?")
second_parts=("?", "?", "?", "?", "?", "?", "?", "?", "?", "??", "??", "??", "?", "?", "??", "??", "??", "?", "?", "??", "?")
third_parts=("", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?", "?")
def divide_korean(temp_string):
 temp_string_value=ord(temp_string)
 part_1=(temp_string_value - 44032) // 588
 part_2=(temp_string_value - 44032 - part_1 * 588) // 28
 part_3=(temp_string_value - 44032 ) % 28
 return first_parts[part_1] + second_parts[part_2] + third_parts[part_3]
 
 
 
old_korean_dictionary={}
read_file=codecs.open("old_korean_dictionary.txt", 'r', encoding="utf-8")
for each_line in read_file:
 old_korean, dividing_parts=each_line.split()
 old_korean_dictionary[old_korean]=dividing_parts
 
 
# wriet string to txt file
def write_string_to_file(temp_str, file_name):
 #the encoding must be same with the str
 file_object=open(file_name, 'w', encoding="utf-16") 
 file_object.write(temp_str) 
 file_object.close()
 
 
data_files=glob.glob(os.getcwd() + "/test_data/*.txt")
print ("the result files save in the " + os.getcwd())
for each_file in data_files:
 print (each_file + "-"*5 + ">dealing") #begin to deal file
 with codecs.open(each_file, 'r', encoding="utf-16") as read_file:
 temp_file_string=""
 for each_line in read_file:
 if each_line.strip()=="":
 continue
 temp_line=""
 for i in range(0, len(each_line)):
 if each_line[i] in old_korean_dictionary:
 temp_line=temp_line + old_korean_dictionary.get(each_line[i])
 elif each_line[i] >=u'\uAC00' and each_line[i] <=u'\uD7AF':
 temp_line=temp_line + divide_korean(each_line[i])
 elif each_line[i]=="\n": 
 continue 
 else :
 temp_line=temp_line + each_line[i]
 temp_line=temp_line + each_line.strip('\n') 
 temp_file_string=temp_file_string + temp_line
 print ( each_file + "-"*5 + ">finished") #finish
 #the name of new file to save the result, the new file is in the current dir
 new_filename=os.path.splitext(os.path.basename(each_file))[0] + "_result.txt"
 #write to the file
 write_string_to_file(temp_file_string, new_filename)
 
 
 
 

最后，如果需要源代碼和測試的文件請發私信 韓文分解

喜歡我的文章給個關注唄！