Речевой синтезатор, управляемый с помощью жестов

Новые тех­но­ло­гии из Уни­вер­си­тета Бри­тан­ской Колум­бии, поз­во­ляют чело­веку гово­рить или петь только с помо­щью его рук, кон­тро­ли­руя син­те­за­тор речи.

Иссле­до­ва­тель из UBC Сидни Фельс (Sidney Fels) гово­рит, что тех­но­ло­гия голо­со­вого син­те­за­тора, управ­ля­е­мого с помо­щью жестов, отра­жает про­цессы, кото­рые исполь­зует чело­век, когда он управ­ляет своим рече­вым аппаратом.

“Это как игра на музы­каль­ном инстру­менте, кото­рый играет голо­сом. При­ло­же­ния могут вклю­чать в себя новые формы музы­каль­ного выра­же­ния и вспо­мо­га­тель­ные сред­ства для людей с нару­ше­ни­ями речи”,- гово­рит Фельс, про­фес­сор элек­тро­тех­ники и вычис­ли­тель­ной тех­ники на факуль­тете при­клад­ных наук и дирек­тор Меж­дис­ци­пли­нар­ного цен­тра Медиа и Гра­фики  (MAGIC).

Фельс пред­ста­вил совре­мен­ные тех­но­ло­гии на еже­год­ном собра­нии Аме­ри­кан­ской ассо­ци­а­ции содей­ствия раз­ви­тию науки в Ван­ку­вере.
Фельс и его команда исполь­зо­вали спе­ци­аль­ные пер­чатки, осна­щен­ные 3-D дат­чи­ками поло­же­ния, кото­рые фик­си­руют поло­же­ние рук в про­стран­стве. Неко­то­рые жесты  свя­заны с неко­то­рыми рай­о­нами зву­ко­вого спек­тра.
Пра­вая пер­чатка имеет дат­чики для обна­ру­же­ния изгиба, поэтому, когда поль­зо­ва­тель закры­вает ее, созда­ются соглас­ные звуки. Откры­тие пра­вой рукой про­из­во­дит глас­ные звуки так же, как рече­вой аппа­рат делает это, когда дви­га­ется язык. Левая пер­чатка управ­ляет корот­кими зву­ками — как соглас­ная “Б”.
Иссле­до­ва­тели раз­ра­бо­тали ряд кол­лек­ций жестов, кото­рые исполь­зу­ются для извле­че­ния соглас­ных зву­ков. Пра­вая пер­чатка кон­тро­ли­рует поло­же­ние глас­ных в про­стран­стве гори­зон­тально, а также кон­тро­ли­рует их поло­же­ние в про­стран­стве вертикально.

“Дру­гие воз­мож­ные при­ме­не­ния этого откры­того интер­фейса – это упро­ще­ние неко­то­рых задач, таких как управ­ле­ние кра­ном или дру­гой тяже­лой тех­ни­кой”,- гово­рит Фельс, чьи науч­ные инте­ресы вклю­чают вза­и­мо­дей­ствие чело­века с ком­пью­те­ром, био­ме­ха­ни­че­ское моде­ли­ро­ва­ния верх­них дыха­тель­ных путей, син­теза речи, и ней­рон­ных сетей.

Co-исследователи этого про­екта из Музы­каль­ной школы UBC доц. Про­фес­сор Роберт При­чард (Robert Pritchard) и Джонти Ван (Johnty Wang) из UBC мастер элек­тро­тех­ники и вычис­ли­тель­ной тех­ники —  сту­дент и пианист.

По дан­ным University of British Columbia

© 2012 Мир Инно­ва­ций

Похожие новости

Ответить

Последние комментарии

  • Загрузка...

Фотогалерея

Войти