*/ -->

по Мультимедиатехнологии (Скрипкин С.К. )

30__Классификации и области применения мультимедиа

Слово мультимедиа в буквальном переводе означает много средств для представления информации пользователю. Компьютер без средств мультимедиа сегодня уже не считается полноценным.

Понятие "мультимедиа" настолько широко и расплывчато, что в него можно включить огромный спектр программного и аппаратного обеспечения, от 8-битной звуковой платы и накопителя для компакт-дисков с одинарной скоростью до профессиональных программ и компьютеров, используемых при создании специальных киноэффектов и даже целых компьютерных фильмов.

Мультимедиа - это взаимодействие визуальных и аудиоэффектов под управлением интерактивного программного обеспечения.

Мультимедиа технологии - возможность представления информации пользователю во взаимодействии различных форм (текст, графика, анимация, звук, видео) в интерактивном режиме.

Технологию мультимедиа составляют специальные аппаратные и программные средства.

Мультимедиа - продукты можно разделить на несколько категорий в зависимости от того, на какие группы потребителей они ориентированны. Одна предназначена для тех, кто имеет компьютер дома, - это обучающие, развивающие программы, всевозможные энциклопедии и справочники, графические программы, простые музыкальные редакторы и т.п. Другая категория - это бизнес-приложения. Здесь мультимедиа служит для иных целей. С ее помощью оживают презентации, становится возможным организовать видеоконференции "вживую", а голосовая почта настолько хорошо заменяет офисную АТС, что обычный телефон начинает восприниматься как архаизм. А есть еще немногочисленная группа продуктов, ориентированных исключительно на профессионалов. Для них предлагаются средства производства видеофильмов, компьютерной графики, а также домашние музыкальные студии.

Основными целями применения продуктов, созданных в мультимедиа технологиях (CD-ROM с записанной на них информацией), являются:

• Популяризаторская и развлекательная (CD используются в качестве домашних библиотек по искусству или литературе).

• Научно-просветительская или образовательная (используются в качестве методических пособий).

• Научно-исследовательская - в музеях и архивах и т.д. (используются в качестве одного из наиболее совершенных носителей и "хранилищ" информации).

Мультимедиа можно классифицировать с разных точек зрения:

• на основе использования различных мультимедийных телекоммуникационных технологий (рис.2).

Рис.2 Классификация мультимедиа средств на основе использования различных мультимедийных телекоммуникационных технологий

• на основе поддержки взаимодействия (рис.1)

Рис.1. Классификация мультимедиа средств на основе поддержки взаимодействия.

3.1. Различные области применения мультимедиа

3.1.1. Обучение с использованием компьютерных технологий

Применение мультимедиа в образовании и обучении (Computer Based Training - CBT) предполагается как для личного использования, так и для бизнеса. Многочисленные исследования подтверждают успех системы обучения с использованием компьютеров. Экономия времени, необходимого для изучения конкретного материала, в среднем составляет 30%, а приобретенные знания сохраняются в памяти значительно дольше.

Существенные позитивные факторы, которые говорят в пользу такого способа получения знаний, следующие:

- лучшее и более глубокое понимание изучаемого материала,

- мотивация обучаемого на контакт с новой областью знаний,

- экономия времени из-за значительного сокращения времени обучения,

- полученные знания остаются в памяти на более долгий срок и позднее легче восстанавливаются для применения на практике после краткого повторения,

- уменьшение затрат на производственное обучение и повышение квалификации.

3.1.2. Фирменные презентации и реклама продукции

Область витринной рекламы (POS = point jf Sale = пункт продажи) является классическим примером для применения мультимедиа. С помощью таких витрин клинты имеют возможность самостоятельно получать интересующую их информацию (запросить необходимую информацию и получить ее на экране).

Преимущество этой системы заключается в быстрой реакции на получение желаемой информации и создании дополнительной положительной (в смысле покупки) рекламы товара, а также получение статической информации об отношении покупателя к покупке и, следовательно, весьма ценной информации по спросу в данной области рынка.

3.1.3. Моделирование на компьютере и кибернетическое пространство (Cyberspace)

Программы моделирования позволяют довольно естественно представить некую реальность с помощью движущегося изображения и звука в сочетании с интерактивной способностью такой системы. Такие системы в начале своего существования были весьма сложны и дороги, поэтому использовались лишь для военных нужд. Система моделирования для использования в гражданских условиях возникла как "продукт отходов" (например, в компаниях гражданского воздушного сообщения). Здесь точно также можно проигрывать ситуации, близкие к реальной жизни, находить ошибки и проводить тренировки.

Область, в которой возникает взаимодействие человека и компьютера и которая проявляется в создании виртуальной (кажущейся) реальности - называемая также CYBERSPACE (кибернетическое пространство) - расширяет и обогащает это новое направление применения мультимедиа. Этот виртуальный трехмерный изображаемый мир динамично реагирует на интерактивное общение с пользователем

3.1.4. Мультимедиа в учреждениях

Вырисовывающаяся на данный момент тенденция в области приложений мультимедиа связана не только с областью автоматизации, но и с улучшением условий для пользователя, повышением комфортности в его работе, так как цифровые изображения и речь оживляют сухие программы и существенно улучшают восприятие.

Начало было положено введением теперь уже известных систем ввода текста (в графическом виде с помощью сканера) и распознаванием образов букв (с помощью специального программного обеспечения). Обусловленная постоянным улучшением систем автоматического распознавания текста и образов, наряду с обычной корреспонденцией, справками и т.д., усиливается тенденция к вводу в персональный компьютер технических рисунков и документов для дальнейшей обработки или документирования.

Произошли изменения и в области речевого ввода информации в компьютер. По крайней мере, задача распознавания отдельных отчетливо сказанных (независимо от того кем) слов и преобразования их в цифровой сигнал уже решена. Современный уровень состояния разработок внушает надежду, что в скором времени система будет в состоянии корректно распознавать все предложение. Тогда вместо того, чтобы на клавиатуре печатать письма, манускрипты, системные команды для самой операционной системы и т.д., вы сможете сообщить компьютеру желаемую информацию при помощи голоса.

3.1.5. Мультимедиа в организации службы агентов (внешняя служба)

Получают широкое распространение системы POS/POI на компьютерах типа Laptop, способных работать с мультимедиа.

Уже существуют Laptop с цветным экраном, оборудованный DVI, с помощью которого сотрудник внешней службы в разговоре с потенциальным покупателем может обосновать свои аргументы, используя деловую компьютерную графику (гистограммы, кривые функциональной зависимости и т.д.). Возможная область применения товара или услуги, которая интересует покупателя, также может быть чрезвычайно наглядно представлена.

Если покупатель изменил свое мнение, он все же может сопоставить свое решение с широким ассортиментом товаров и может обсудить, должны ли быть осуществлены возможные изменения и где это можно сделать.

3.1.6. Система ориентирования

В последнее время разрабатывается все больше мощных программ, которые могут интерактивно использовать картографический материал на основе банков данных. Желающий получить справку указывает начальный и конечный пункты желаемого маршрута, а также, возможно, еще несколько связанных с этим маршрутом остановочных пунктов. Программа вычисляет маршрут поездки или альтернативные отрезки дороги - в случае пробки (затора) на дороге - с такими параметрами, как общая длина маршрута, километраж отдельных отрезков, ответвления, остановочные пункты и т.д. При желании вы можете получить точный план улиц по маршруту следования в конечную точку. При использовании систем в туристическом обслуживании информация о маршруте путешествия может сопровождаться соответствующими картинами и звуком. Например, проезжая (на экране монитора) вблизи памятника архитектуры, вы услышите о нем пояснения историка и т.д.

Если вы имеете электронную связь на стоянке через спутник - это уже прототип системы, которая автоматически разрабатывает маршрут следования, и водитель через громкоговоритель информируется о дальнейшем пути.

3.1.7. Справочники и руководства

Разумеется, что руководства и справочники по аппаратным и программным средствам могут быть отражены на экране с помощью интерактивной программы. Фирма Microsoft поставляет свои Mulimedia Extensions начиная с версии 3.0 Windows на компакт-диске и предлагает обстоятельную конкретную справочную систему с помощью HyperGuide. Система, базирующаяся на гипертексте (Hypertext), имеет очень быстрый доступ к любой нужной информации.

3.1.8. Обслуживание и ремонт

Каждый из нас сталкивается при ремонте технических или механических приборов с проблемой несовершенного (неполного) руководства по обслуживанию. Определенные операции гораздо проще объяснить с помощью изображения и звука, чем длинными описаниями и рисунками в руководстве пользователя. Соответствующие руководства по уходу, обслуживанию, ремонту больше находят применение в индивидуальной деятельности, чем в производственной. Для мастерской ремесленника система с такими инструкциями могла бы быть разумной и доходной, если конечный пользователь имеет для этого достаточную базу.

3.1.9. Производство и производственный контроль

Для оптимизации промышленного процесса производства с технической и экономической точек зрения в начале 80-х годов были разработаны различные программы, которые получили сокращенное название CIM (Computer Integrated Manufactoring - интегрированное производство под управлением компьютера). Эта концепция или область применения простирается от обработки договора через контроль качества до выписки счетов и планирования производства. Существенным недостатком этой компьютеризированной возможности управления является отсутствие у аппаратных и программных средств способности к импровизации и компенсации (выравниванию). Это просто окаменевшая система. При этих обстоятельствах способность систем мультимедиа передавать изображение и звук и их оценивать могла бы оказать помощь в этой важной части и открыть новые горизонты для применения. Процесс изготовления может наблюдаться с помощью различных станций; визуальный контроль качества так же, как и управление станками, может быть предусмотрен дистанционно. Область управления различными производственными процессами и их контроль - это обширное поле для применения мультимедиа.

3.1.10. Архивирование и документирование

Информация, которая раньше сохранялась на пленках и/или микроафишах, теперь часто размещается на видеодисках и CD-ROM. Некоторые системы архивирования управляют текстом, графикой, отдельными изображениями и звуком при помощи банков данных и размещают их на различных носителях информации.

Одна из важнейших областей применения мультимедиа - это управление документами, договорами, счетами, служебной перепиской и т.д. Эта информация почти без исключения заносится на носитель с однократной записью, причем в дальнейшем эта информация не так часто используется. С помощью специальных программ эта документация в любой момент может быть считана и просмотрена.

Оригиналы документов, которым угрожает разрушение, могут не выдаваться на руки, однако если с помощью сканера запечатлеть их сегодняшний вид, то появляется возможность изготовить идентичные копии. Если старые гравюры, литографии и т.д. таким образом сохранять и объединять в соответствующие банки данных, то такой метод действий приводит нас в область приложений мультимедиа.

31__Звуковые файлы: музыка, речь и звуковые эффекты.

Мультимедиа началась со звука, поэтому вполне логично, что это направление наиболее развито. Звуковые устройства значительно видоизменились в ходе эволюционного развития. Метод синтеза звуковых сигналов, использующийся в большинстве разработок, давно перестал удовлетворять притязательных пользователей, т.к. метод частоты модуляции (FM -Frequency Modulation) обеспечивает не очень естественный звук. Выход был только один - перевести в цифровую форму звучание настоящих инструментов и переписать их в память звуковой платы. Это произвело настоящую революцию в компьютерном аудиомире. Впервые профессиональные музыканты задумались о персональном компьютере с хорошей аудиоплатой как о дешевой альтернативе обычной домашней студии. Такая система по качеству ничем не уступает обычному студийному оборудованию, а по удобству значительно ее превосходит. Можно подключить синтезатор к аудиовходу компьютера и наиграть мелодию, а потом, при помощи специальной программы, ее обработать. Можно менять высоту тона, длительность звучания, тип инструмента. Можно регулировать даже такие параметры, как скорость нажатия и отпускания клавиши.

Другое очень интересное применение звука в персональных компьютерах - всевозможная работа с речью. Компьютер уже можно научить распознавать голосовые команды, что очень ускоряет и облегчает работу при необходимости частого ввода повторяющихся команд с клавиатуры. Есть программы, позволяющие распознавать произнесенный текст и вводить его сразу в текстовый процессор. Но самое неожиданное применение звука в ПК - это использование голоса пользователя для защиты от несанкционированного доступа. Стоит провести соответствующую настройку (произнести в микрофон несколько слов и отрегулировать чувствительность) - и постороннему человеку будет уже практически невозможно "влезть" в защищенный таким образом ПК.

Но все-таки наиболее интенсивно звук используется в играх и обучающих программах. Практически все выпускаемые игрушки имеют звуковые стереоэффекты. Некоторые мелодии из компьютерных игр стали настолько популярными, что даже продаются отдельно на кассетах. Мультимедиа-приложения, использующиеся для образовательных целей, переживают настоящий бум. С их помощью изучают языки, обучают детей математике и чтению, и т.п. С помощью мультимедиа-энциклопедий можно путешествовать по всему миру, осматривать достопримечательности, и получать при этом подробные пояснения.

Как делаются звуковые эффекты, применяемые в музыке?

Вот наиболее распространенные звуковые эффекты:

• вибрато — амплитудная или частотная модуляция сигнала с небольшой частотой (до 10 Гц). Амплитудное вибрато также носит название тремоло; на слух оно воспринимается, как замирание или дрожание звука, а частотное — как «завывание» или «плавание» звука (типичная неисправность механизма магнитофона — детонация).

• динамическая фильтрация (wah-wah — «вау-вау») — реализуется изменением частоты среза или полосы пропускания фильтра с небольшой частотой. На слух воспринимается, как вращение или заслонение/открывание источника звука — увеличение высокочастотных составляющих ассоциируется с источником, обращенным на слушателя, а их уменьшение — с отклонением от этого направления.

• реверберация (reverberation — повторение, отражение). Получается путем добавления к исходному сигналу затухающей серии его задержанных во времени копий. Это имитирует затухание звука в помещении, когда за счет многократных отражений от стен, потолка и прочих поверхностей звук приобретает полноту и гулкость, а после прекращения звучания источника затухает не сразу, а постепенно. При этом время между последовательными отзвуками (примерно 15..50 мс) ассоциируется с величиной помещения, а их интенсивность — с его гулкостью. По сути, ревербератор представляет собой частный случай фленжера без модуляции и с увеличенной задержкой между отзвуками основного сигнала, однако особенности слухового восприятия качественно различают эти два вида обработки.

• эхо (echo). Реверберация с еще более увеличенным временем задержки — выше примерно 50 мс. При этом слух перестает субъективно воспринимать отражения, как призвуки основного сигнала, и начинает воспринимать их как повторения. Эхо обычно реализуется так же, как и естественное — с затуханием повторяющихся копий.

• компрессия — сжатие динамического диапазона сигнала, когда слабые звуки усиливаются сильнее, а сильные — слабее. На слух воспринимается как уменьшение разницы между тихим и громким звучанием исходного сигнала. Используется для последующей обработки методами, чувствительными к изменению амплитуды сигнала. В звукозаписи используется для снижения относительного уровня шума и предотвращения перегрузок. В качестве гитарной приставки позволяет значительно (на десятки секунд) продлить звучание струны без затухания громкости.

Каковы достоинства и недостатки цифрового звука?

Цифровое представление звука ценно прежде всего возможностью бесконечного хранения и тиражирования без потери качества, однако преобразование из аналоговой формы в цифровую и обратно все же неизбежно приводит к частичной его потере. Наиболее неприятные на слух искажения, вносимые на этапе оцифровки - гранулярный шум, возникающий при квантовании сигнала по уровню из-за округления амплитуды до ближайшего дискретного значения. В отличие от простого широкополосного шума, вносимого ошибками квантования, гранулярный шум представляет собой гармонические искажения сигнала, наиболее заметные в верхней части спектра.

При восстановлении звука из цифровой формы в аналоговую возникает проблема сглаживания ступенчатой формы сигнала и подавления гармоник, вносимых частотой дискретизации. Из-за неидеальности АЧХ фильтров может происходить либо недостаточное подавление этих помех, либо избыточное ослабление полезных высокочастотных составляющих. Плохо подавленные гармоники частоты дискретизации искажают форму аналогового сигнала (особенно в области высоких частот), что создает впечатление "шероховатого", "грязного" звука.

Какие методы используются для эффективного сжатия цифрового звука?

В настоящее время наиболее известны Audio MPEG, PASC и ATRAC. Все они используют так называемое "кодирование для восприятия" (perceptual coding) при котором из звукового сигнала удаляется информация, малозаметная для слуха. В результате, несмотря на изменение формы и спектра сигнала, его слуховое восприятие практически не меняется, а степень сжатия оправдывает незначительное уменьшение качества. Такое кодирование относится к методам сжатия с потерями (lossy compression), когда из сжатого сигнала уже невозможно точно восстановить исходную волновую форму.

Приемы удаления части информации базируются на особенности человеческого слуха, называемой маскированием: при наличии в спектре звука выраженных пиков (преобладающих гармоник) более слабые частотные составляющие в непосредственной близости от них слухом практически не воспринимаются (маскируются). При кодировании весь звуковой поток разбивается на мелкие кадры, каждый из которых преобразуется в спектральное представление и делится на ряд частотных полос. Внутри полос происходит определение и удаление маскируемых звуков, после чего каждый кадр подвергается адаптивному кодированию прямо в спектральной форме. Все эти операции позволяют значительно (в несколько раз) уменьшить объем данных при сохранении качества, приемлемого для большинства слушателей.

Каждый из описанных методов кодирования характеризуется скоростью битового потока (bitrate), с которой сжатая информация должна поступать в декодер при восстановлении звукового сигнала. Декодер преобразует серию сжатых мгновенных спектров сигнала в обычную цифровую волновую форму.

MPEG расшифровывается как "Moving Picture Coding Experts Group", дословно - "Группа экспертов по кодированию подвижных изображений.

Группа была образована для создания стандартов кодирования подвижных изображений и аудио информации. Начиная с первого собрания в мае 1988 года группа начала расти и выросла до сообщества специалистов высокого уровня. На сегодняшний день MPEG разработаны следующие стандарты и алгоритмы:

• MPEG-1 (ноябрь 1992) - стандарт кодирования, хранения и декодирования подвижных изображений и аудио информации;

• MPEG-2 (ноябрь 1994) - стандарт кодирования для цифрового телевидения;

• MPEG-4 - стандарт для мультимедиа приложений: версия 1 (октябрь 1998) и версия 2 (декабрь 1999);

• MPEG-7 - универсализованный стандарт работы с мультимедиа информацией, предназначенный для обработки, фильтрации и управления мультимедиа информацией.

1) Рассмотрим комплект MPEG-1. Этот комплект, в соответствии со стандартами ISO, включает в себя три алгоритма различного уровня сложности: Layer (уровень) I, Layer II и Layer III. Общая структура процесса кодирования одинакова для всех уровней. Для каждого уровня определен свой формат записи бит-потока и свой алгоритм декодирования. Алгоритмы MPEG основаны в целом на изученных свойствах восприятия звуковых сигналов слуховым аппаратом человека (то есть кодирование производится с использованием так называемой "психоакустической модели").

Комплект MPEG-1 предусмотрен для кодирования сигналов, оцифрованных с частотой дискретизации 32, 44.1 и 48 КГц. Как было указано выше, комплект MPEG-1 имеет три уровня (Layer I, II и III). Эти уровни имеют различия в обеспечиваемом коэффициенте сжатия и качестве звучания получаемых потоков. Layer I позволяет сигналы 44.1 КГц / 16 бит хранить без ощутимых потерь качества при скорости потока 384 Кбит/с, что составляет 4-х кратный выигрыш в занимаемом объеме; Layer II обеспечивает такое же качество при 194 Кбит/с, а Layer III – при 128 (или 112). Выигрыш Layer III очевиден, но скорость компрессии при его использовании самая низкая (надо отметить, что при современных скоростях процессоров это ограничение уже не заметно). Фактически, Layer III позволяет сжимать информацию в 10-12 раз без ощутимых потерь в качестве.

2) Стандарт MPEG-2 был специально разработан для кодирования ТВ сигналов вещательного телевидения. В апреле 1997 этот комплект получил «продолжение» в виде алгоритма MPEG-2 AAC (MPEG-2 Advanced Audio Coding – продвинутое аудио кодирование).

3) Стандарт MPEG-4 - это особая статья. MPEG-4 не является просто алгоритмом сжатия, хранения и передачи видео или аудио информации. MPEG-4 - это новый способ представления информации, это - объектно-ориентированное представление мультимедиа данных. Стандарт оперирует объектами, организует из них иерархии, классы и прочее, выстраивает сцены и управляет их передачей. Объектами могут служить как обычные аудио или видео потоки, так и синтезированные аудио и графические данные (речь, текст, эффекты, звуки...). Такие сцены описываются на специальном языке.

4) Стандарт MPEG-7 вообще в корне отличается от всех иных стандартов MPEG. Стандарт разрабатывается не для установления каких-то рамок для передачи данных или типизации и описания данных какого-то конкретно рода. Стандарт предусмотрен как описательный, предназначенный для регламентации характеристик данных любого типа, вплоть до аналоговых. Использование MPEG-7 предполагается в тесной связи с MPEG-4.

Для удобства обращения со сжатыми потоками, все алгоритмы MPEG разработаны таким образом, что позволяют осуществлять декомпрессию (восстановление) и воспроизведение потока одновременно с его получением (download) – потоковая декомпрессия «на лету» (stream playback). Эта возможность очень широко используются в интернете, где скорость передачи информации ограничена, а с использованием подобных алгоритмов появляется возможность обрабатывать информацию прямо во время ее получения не дожидаясь окончания передачи.

Частота следования фреймов называется битрейтом (BIT RATE)

• модель Dual Channel

  • каждый канал получает половину потока и кодируется как моносигнал. Отсюда и ее название. Эта модель идеально подходит в случае, когда каналы содержат абсолютно разные сигналы;

• В модели Stereo

  • каждый из каналов кодируется отдельно, но кодеру "позволено" самому принять решение о передаче одному из каналов большего места, чем другому. Этим достигается кодирование "тишины" (либо уровень сигнала лежит ниже порога слышимости) в одном канале, когда в другом присутствует мощный сигнал

• Модель MS Stereo

  • использует разложение стереосигнала на средний между каналами и разностный, который кодируется с меньшим битрейтом. Данный метод не рекомендуется использовать, если каналы не совпадают по фазе (наиболее часто встречается в записях, оцифрованных с аудиоленты);

• Модель MS/IS Stereo

  • позволяет несколько увеличить качество кодирования сигнала при использовании низких битрейтов. Суть метода заключается в использовании на некоторых частотных диапазонах отношения мощностей сигнала в разных каналах. Однако данный метод приводит к потере фазовой информации

Super Audio CD

• полностью совместим с обычным CD — обычные CD-проигрыватели смогут воспроизводить двухслойные SACD-диски, просто читая один из слоев

• Метод кодирования DSD предусматривает однобитное представление сигнала с частотой дискретизации 2,8224 МГц

• Воспроизводимый диапазон частот от 0 до 100 000 Гц.

• Динамический диапазон — до 144 дБ.

• Количество каналов — 6.

MIDI

• список ссылок на звуки в WT синтезаторе звуковой карты

• список команд,

  • тональность,

  • продолжительность,

  • скорость звука и т.д.

• недостатки

  • Продолжение »