対話システムの改良には、自然言語処理が必要となりますが、それには前処理が不可欠のようです。以下の順序でソースコードを蓄積しながら学ぶことにします。

１　クリーニング処理

２　文書の単語分割

３　単語の正規化

４　ストップワードの除去

５　単語のベクトル表現