だめんずAWK'er (the men's awker): 用語辞書作成支援Awk Script

用語辞書はプロジェクトへの導入等に重要なドキュメントだがこれをgawkだけで作成するには荷が重い。
そこで、コアになる形態素解析にはMecabを使う。Mecabに関しては各自ググってくれ。
gawk側ではMecabが通りやすくする為、フロント処理をする事とMecab出力結果から連名詞の使用頻度を取り出す事だ。

結果として連名詞の使用頻度一覧が出力される。
使用頻度が高い固有名詞は重要な単語で、低い単語は誤字か誤用の可能性が高い。

AWKのつぼ

特になし。Mecab様々だ。

mecabx.bat

ntab.awk

BEGIN{
 IGNORECASE=0
 az="０１２３４５６７８９";
 ah="0123456789";

a2zz="〇①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳"
 a2hh="0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20"
 
 split(a2zz,a2z,"");
 split(a2hh,a2h,",");

bz="ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ";
 bh="ABCDEFGHIJKLMNOPQRSTUVWXYZ";

cz="ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ";
 ch="abcdefghijklmnopqrstuvwxyz";

k2zz="ヴガギグゲゴザジズゼゾダヂヅデドバビブベボパピプペポ";
 split(k2zz,k2z,"");
 split("ｳﾞ,ｶﾞ,ｷﾞ,ｸﾞ,ｹﾞ,ｺﾞ,ｻﾞ,ｼﾞ,ｽﾞ,ｾﾞ,ｿﾞ,ﾀﾞ,ﾁﾞ,ﾂﾞ,ﾃﾞ,ﾄﾞ,ﾊﾞ,ﾋﾞ,ﾌﾞ,ﾍﾞ,ﾎﾞ,ﾊﾟ,ﾋﾟ,ﾌﾟ,ﾍﾟ,ﾎﾟ",k2h,",");
 
 k1z="アイウエオァィゥェォカキクケコサシスセソタチツテトッナニヌネノハヒフヘホマミムメモヤユヨャュョラリルレロワヲンー・、。"
 k1h="ｱｲｳｴｵｧｨｩｪｫｶｷｸｹｺｻｼｽｾｿﾀﾁﾂﾃﾄｯﾅﾆﾇﾈﾉﾊﾋﾌﾍﾎﾏﾐﾑﾒﾓﾔﾕﾖｬｭｮﾗﾘﾙﾚﾛﾜｦﾝｰ･､｡"
 kz=k1z k2zz;
 split("・～’”：；＋－＊／＝！＠＃＄％＾＆＊（）＿｜．，＜＞？￥", dz, "");
 split("･~'\":;+-*/=!@#$%^&*()_|.,<>?\\", dh, ""); # \ は重ねて記述、 
#'
 for( e in dh){dh[e] = "\\"dh[e];}

ez="ABCDEFGHIJKLMNOPQRSTUVWXYZ";
 eh="abcdefghijklmnopqrstuvwxyz";

fz="9999999999";
 fh="0123456789";

kakko[0]="《》"
 kakko[1]="≪≫"
 kakko[2]="〈〉"
 kakko[3]="『』"
 kakko[4]="【】"
 kakko[5]="〔〕"
 kakko[6]="＜＞"
 kakko[7]="｛｝"
 kakko[8]="{}"
 kakko[9]="<>"
# kakko2[10]="[]"

}
{
 for(e =1;e<11;e++) gsub(substr(az,e,1),substr(ah,e,1)); # 半角数字を全角に変換
 for(e in a2z) {gsub(substr(a2z[e],1,1),substr(a2h[e],1,1));}
 for(e =1;e<11;e++) gsub(substr(fh,e,1),substr(fz,e,1)); # 丸付き数字を半角に変換
 for(e =1;e<27;e++) gsub(substr(ez,e,1),substr(eh,e,1)); # 英大文字を英小文字に変換
# for(e =1;e<27;e++) gsub(substr(bz,e,1),substr(bh,e,1)); # 全角英字を半角に変換（大文字）
# for(e =1;e<27;e++) gsub(substr(cz,e,1),substr(ch,e,1)); # 全角英字を半角に変換（小文字）
 for(e in kakko) {gsub(substr(kakko[e],1,1),"「");gsub(substr(kakko[e],2,1),"」");}
 for(e in k2z) {gsub(k2h[e],k2z[e]);} # 半角カタカナを全角カタカナへ変換
 for(e =1;e<=length(k1h);e++) gsub(substr(k1h,e,1),substr(k1z,e,1)); # 英小文字を英大文字に変換
 
 gsub(/[\t 　]+/," ");
 gsub(/\[|\［/,"「");
 gsub(/\]|\］/,"」");
 gsub(/$/,"（");
 gsub(/$/,"）");
 gsub(/\//,"／");
 gsub(/:/,"：");
 gsub(/\./,"。");
 gsub(/[\"_@ ]+/,"の、");
 gsub(/・/,"と、");
 gsub(/（|「/,"は");
 gsub(/）|」/,"。");
#"
 gsub(/\\/,"￥");
 s1=$0;
 do{$0=s1;s1 = gensub(/^(.*[0-9]),([0-9].*)$/, "\\1\\2","g",$0);}while(s1 != $0);
 do{$0=s1;s1 = gensub(/^(.*[a-z])([0-9].*)$/, "\\1と\\2","g",$0);}while(s1 != $0);
 do{$0=s1;s1 = gensub(/^(.*[0-9])([a-z].*)$/, "\\1と\\2","g",$0);}while(s1 != $0);
 for(e in dz) gsub(dh[e],dz[e]); # 半角記号を全角記号へ変換
 do{$0=s1;s1 = gensub(/^(.*[^0-9a-z[[:space:]][[:punct:]]\W]+)([0-9a-z]+.*)$/, "\\1と\\2","g",$0);}while(s1 != $0);
 do{$0=s1;s1 = gensub(/^(.*[0-9a-z]+)([^0-9a-z[[:space:]][[:punct:]]\W]+.*)$/, "\\1と\\2","g",$0);}while(s1 != $0);
 
 
 
 print $0;
}
END{
}

mecab.awk

だめんずAWK'er (the men's awker)

はじめに

2013年10月22日火曜日

用語辞書作成支援Awk Script

0 件のコメント:

コメントを投稿