らこらこブログ

唐揚げとアニメとプログラミングが大好きです

メカらこ

メカらこv3の文章生成 修正

kuromoji.jsには学習器がなく、新しい単語を覚えさせて形態素解析に反映させることが現状できない。よって分かち書き、品詞付与は既存辞書に強く依存し、その精度が一番のネックになる。 品詞基準のN-POSはその影響をガッツリ受けてしまい、今の形態素解析で…

メカらこv3の文章生成草案1

文章生成 N-gramモデルをベースにする 想定されるデータモデル(「今日は雨です」) { w1: "今日", w2: "は", w3: "雨" }, { w1: "は", w2: "雨", w3: "です" } 確率の推定 w3がw2, w1から生起する確率 「w1,w2,w3と並んだ回数」と「w1,w2と並んだ数」の比によ…