Частотный словарь

[roman753.livejournal.com]

Каким образом для файла .doc или .txt можно получить частотный словарь - таблицу с двумя столбцами (слово и частота его употребления в файле)

Comments

[zabodarius.livejournal.com]

cat file.txt| sed -e 's/ /\n/g' | sort | uniq -c | sort -k 1,2 -n > file_sorted.txt

[morlos.livejournal.com]

Предвижу вопрос "А это куда вставлять надо?".
Упд. Ну и с doc`ами не сработает.

[fox-12.livejournal.com]

Для *.doc-ов - сначала конвертнуть в *.txt - дальше эта команда....

[roman753.livejournal.com]

как поменять столбцы местами и изменить сортировку(от большего к меньшему)?
P.S. Linux считает дефолтной ос? ))

[roman753.livejournal.com]

Ещё есть проблема что она знаки препинания (?,.: ) вместе со словами учитывает.
Например "дома" и "дома," считает по разному.

[vsempesdets.livejournal.com]

sed -e 's/\W//' поможет убрать знаки препинания.
еще на Perl'е можно написать скрипт используя Win32::Word::Declarative чтобы не конвертить .doc руками

[a-konst.livejournal.com]

Формально это задачу решает, но обычно при решении такой задачи хочется, чтобы слова в разных падежах/временах считали за одно.

[qegrandtua.livejournal.com]

Поискать программку с названием Wordstat. Существует множество версий разной степени функциональности.

[dr-trans.livejournal.com]

http://provalisresearch.com/products/content-analysis-software/