この問題は WordPress 2.5.1 で確認しました。
WordPress 2.5.1 をインストールして記事を書いていたら、中国語が現れることがわかりました。「リンクの挿入/編集」ボタンや「画像の挿入/編集」などに、「连结地址」「图片地址」といった中国語（繁体？）が並んでいます（下図）。
何となく意味はつかめますが、何かしらの不具合の産物でしょうから、気分が悪いので直すことにしました。検索したところ tiny-p さんのページが見つかったので、そのとおりに作業しました。
こちらのページから日本語の Language Package をダウンロードして、展開します。「plugins」というフォルダがありますが、その中身をサーバー上の wp-content/plugins/tinymce-advanced/mce/ フォルダに上書きします。同じ名前のフォルダが両方にあるはずですから、Language Package の中身でどんどん書き変えていきます。
アップロードが終わったら、TinyMCE Advanced プラグインをいったん無効にし、キャッシュを削除したのちふたたびプラグインを有効にすれば、日本語で表示されるようになっているはずです。