Запись звуков языка

[josefinebaker.livejournal.com]

Надеюсь, в сообществе найдутся специалисты по следующему вопросу:
Можно ли представить звук в графическом виде? Я имею в виду не тембр, высоту, длительность и громкость, а именно звуки языка: ы, с, р и так далее. Представьте себе: человек отрабатывает прозношение, у него есть звуковые образцы, он пытается к ним приблизиться. Он может оценить степень приближения своего произношения к образцу, но только субьективно. А если добавить графическое отображение образца и того, что произносит обучающийся? Графики совпадают - звук хорошо произнесен, не совпадают совсем - тренируйся.

Comments

[blood-again.livejournal.com]

Да, можно.
Но я не настоящий сварщик. Читал о компьютерных программах обучения для глухих и плохо слышащих. В их числе есть и описанные Вами, с двумя графиками.

[josefinebaker.livejournal.com]

О! Спасибо. Теперь ясно куда копать.

[dims12.livejournal.com]

Пока что это получается плохо.



Просто график звуковой волны не воспринимается на глаз (верхний график).

Лучше воспринимается спектрограмма (средний график).

Самое лучшее, что придумано, это MFCC, нижний график.

Почитать можно здесь: http://en.wikipedia.org/wiki/Mel-frequency_cepstrum

[josefinebaker.livejournal.com]

Спасибо.

[egor-13.livejournal.com]

Еще есть такая разновидность спектограмм, как сонограммы... что-то непросто в сети найти именно такие, которые я имею в виду, но вот на рис. 4 здесь более-менее:
http://www.bnti.ru/showart.asp?aid=496&lvl=04.03.
По идее тоже должно быть неплохо даже в монохроме. Голоса птиц ими в целях сравнения аудиозаписей очень эффективно визуализуются.

[josefinebaker.livejournal.com]

Спасибо. Это примерно то, что я искала. Только, думаю, что пример с птицами нерелевантен. Для птицы же не принципиально: тю-тю или фю-фю. Там важнее высота и громкость. В моем же случае важны нюансы фонетические - мягкий звук "л" или твердый, а вот тембр голоса и громкость уходят на второй план.

[egor-13.livejournal.com]

Мягкий Л от твердого или Т от Ф как раз отлично должны отличаться по частотно-временной характеристике при разгоне трека на хорошем сонографе. Но у птиц обычно тона более чистые, поэтому для разбора человеческой речи нужно более высокое разрешение по частоте (по оси Y).

[josefinebaker.livejournal.com]

Спасибо.

[karpion.livejournal.com]

Я думаю, для начала программа должна "понять", какине звуки человек произносит правильно. Это чтобы настроиться на его личные особенности. Потом программа должна прикинуть, как в исполнении такого человека должны звучать иностранные слова - и сравнивать реальность с вычисленнвым идеалом.

[josefinebaker.livejournal.com]

Должны быть образцы разных тембров, с которыми можно будет сравнивать. Речь не идет о стопроцентном совпадении.

[ex-ergil.livejournal.com]

Посмотрите как работает Rosetta Stone. По умолчанию она просто сравнивает ваше произношение с тем что у нее есть и заставляет повторять слово пока не признает, что говорите правильно, при желании можно сказать показать спектрограмму и будет видно как она у эталона и как у вас получается.

[josefinebaker.livejournal.com]

Спасибо большое за хорошую идею.

[ex-ergil.livejournal.com]

Да не за что.
Просто там это реализовано, но не показывается по умолчанию.

[horen.livejournal.com]

Кто-то проводил эксперимент с дымом: наполняли комнату, человек произносил звуки, камера фиксировала. Оказалось: в дыму возле рта человека образовывось начертание буквы, обозначающей этот звук.

[ex-ergil.livejournal.com]

Буквы какого алфавита? :-D

[horen.livejournal.com]

Вроде русского.