· Elementy przekazu multimedialnego
Multimedia – połączenie wielu mediów, interakcja z użytkownikiem.
Zastosowania – business: szkolenia, prezentacje, edukacja: encyklopedie, rozrywka, gry
Elementy przekazu multimedialnego:
tekst, grafika, dźwięk, animacja, video, Internet: hypertext, hotspots, interakcja z użytkownikiem – wybór obiektu i kontrola,
Grafika – kodowanie inf. graficznej, kodowanie stratne korzystające z własności wzroku, kompresja,
kompresja stratna – jpeg, bezstratna – gif, kompresja fraktalna, kompresja oparta o analizę falkową
Addytywna konstrukcja koloru (RGB)– monitory, Substraktywna (CMYK) – drukarki,
Wyświetlanie grafiki, wykorzystanie własności wzroku do przedstawienia inf 3D na ekranie – perspektywa zbieżna, barwna, tekstury itd.
Proste animacje, filmy
Kodowanie – wykorzystanie podobieństwa sąsiednich klatek i fragmentów obrazu
Standardy kompresji – mpeg, mjpeg
Dźwięk stereofoniczny. Kodowanie stratne oparte o własności słuchu. Standard mp3
Sonogram, (oparty o FFT, czyli *Fast Fourier Transform* )
Internet: hypertext, hotspots – przełączeni między stronami WWW, przeglądanie encyklopedii multimedialnych – uzyskiwanie informacji, hypertext – możliwość przygotowania w każdym edytorze.
· Związek luminancji z rozdzielczością widzenia kolorów
System percepcji luminancji może rozróżniać bardzo drobne szczegóły. Szczyt czułości przypada na 2-4 cykle na stopień, z częstotliwością odcięcia 60 cykli na stopień.System percepcji może rozróznić jedynie zgrubne zmiany przestrzenne. Szczyt czułości dla wzorów o stałej luminancji przypada dla dolnych częstotliwości, a częstotliwość odcięcia – około 10-20 cykli na stopień. Mechanizm luminancji uczestniczy w zadaniach związanych z wysoką częstotliwością przestrzenną (np.trudno odczytać żółty tekst na białym tle, gdyż różnica w luminancji jest wówczas bardzo mała. Wysoka rozdzielczość przestrzenna zależy od luminancji i jest niezależna od barwy.) ma szersze pasmo (w kodowaniu obrazów kolorowych należy poświęcić większe pasmo na kodowanie luminancji, aby osiągnąć wyższy stosunek komresji nie tracąc na jakości obrazu) mechanizm widzenia kolorów jest bardziej wrażliwy na częstotliwości przestrzenne (małe punkty „tracą” kolor i wydają się być achromatyczne, kolory na większych powierzchniach wydają się być bardziej nasycone i intensywne na większych powierzchniach, stąd obraz na dużym ekranie wydaje się być bardziej kolorowy niż na małym, przy projektowaniu GUI wystarczą małe różnice barw do rozróżnienia okien i nie ma potrzeby używania ostrych, nasyconych kolorów )
· Jakie rodzaje kodowania stosowane są w cyfrowym torze fonicznym?
Kod protekcyjny,kanałowy, transmisyjny, czasowy i sterujący.
· Zastosowania multimediów
Zastosowania komercyjne:
Przedstawianie inf,. klientom, nauka personelu, promocja, wideokonferencje, telewizja interaktywna, sklepy wirtualne, informacja (kioski z touch screens), MM na pokładach samolotów: obserwacja przebiegu lotu, gry, filmy na życzenie, zakupy, telefony, Inteligentne urządzenia domowe
MM w domu
Biblioteka na CD: encyklopedie, encyklopedie tematyczne, książki interaktywne, atlasy, atlasy 3D+video (możliwość powiększania map, informacje statystyczne), gazety internetowe, muzea interakytwne i virtualne,
Nauka poprzez zabawę – edutainment
Rozwijanie inwencji twórczej – pisanie, tworzenie animacji, „zywe” książki – interaktywne wersje dla dzieci, Nauka języków obcych – rozpoznawanie mowy, nauka gramatyki przy użyciu animacji (czasowniki), Matemayka – gry z liczbami, nauka innych dziedzin przez rzeczywistość wirtualną, Aplikacje dla małeych dzieci : nauka kolorów, zegara,
Gry – rpg, symulatory, FPP, Filmy interaktywne – sterowanie akcją, Muzyka interaktywna – symulacja studia nagrań, konsole do gier (PS2),
Rzeczywistość wirtualna – grafika komputerowa, video, dżwięk stereo, obraz 3D, headset,
podstawa i barierka ochronna. Zastosowania – symulatory lotów, CAD, testy samochodów, trening militarny,
· Jak definiowana jest skala decybelowa poziomu dźwięku?
Skala liniowa – natężenie dźwięku, skala logarytmiczna – poziom dźwięku,
Skala decybelowa: Liczba decybeli = 10log10I1/I0
Gdzie: I1 – natężenie (porównywane z I0
I0 - natężenie odniesienia; powszechnie stosowane jest 10-12W/m2, co jest ekwiwalentem ciśnienia 20 mikropaskali,
Poziom ciśnienia akustycznego dźwięku SPL – poziom dźwięku wyrażony względem ciśnienia odniesienia I0
· Na czym polega kodowanie protekcyjne w cyfrowym torze fonicznym? Wymienić podstawowe metody kodowania protekcyjnego
Kodowanie to ma na celu zabezpieczenie sygnału cyfrowego związanych z występowaniem „dziur”, tj. zaników nośnika: Przplatanie, kontrola parzystości, metoda Wynera-Asha (dodatkowa kontrola parzystości obejmująca 2 pakiety, zapisywana na osobnej ścieżce), krzyżowa kontorla parzystości, kody cykliczne, cross-interleaving.
· Wzrok i słuch - podstawowe pojęcia: bodziec wzrokowy/słuchowy, wrażenie, percepcja
Bodziec wzrokowy/słuchowy – mierzlna cecha fizyczna: luminancja, długość fali, ciśnienie
Wrażenie – natychmiatowy efekt pobudzenia fizycznego
Percepcja – efekt zjawuska zmysłowego: na efekt wpływają procesy wyższego rzędu jak pamięć, koncentacja, doświadczenie
Psychofizyka – nauka o wrażeniach i percepcji, (np. jasność, głośność, kolor)
wywoływanych przez bodźce fizyczne
Neurofizjologia – nauka o mechanizmach fizjologicznych, uczestniczących w przekazywaniu, kodowaniu i przetwarzniu informacji uzyskanej w wyniku działania bodźców fizycznych
Kolor – jest wrażeniem wytwarzanym w mózgu jako reakcja na światło dopływające do siatkówki oka. Wrażenie koloru jest zależne od rodzaju światła emitowanego przez źródła światła lub odbijanego przez obiekty.
Wrażenie subiektywne – ocena obserwatora, który odbiera (i przetwarza) bodziec
Metameryzm – wiele różnych widm jest postrzeganch jako ten sam kolor. Kolor jest opisywany w przestrzeni trójwymiarowej
· Co to są izofony?
Są to krzywe jednakowej głośności dla różnych poziomów głośności. Ilustrują fakt, że wysokie częstotliwości są lepiej słyszlane tzn. próg słyszlaności i próg bólu są dla nich wyższe.
· Na czym polega kodowanie kanałowe w cyfrowym torze fonicznym? Wymienić podstawowe metody kodowania kanałowego
Ma na celu dopasowanie sygnału binarnego do charakterystyk kanału lub nośnika informacji cyfrowej.
Proste: NRZ (Non-return-to-zero), FSK (Freqency Shift Keying), FM (Manchester I), MFM (kod Millera, Manchester II), MMFM( kod Miller2), HDM (High Density Modulation)
Złożone: 4/5 MNRZ, 3PM, 8/10 M – magnetofony R-DAT, EFM (8/14M)
· Składowe przestrzeni koloru w terminach obserwatora i w terminach światła
Kolor postrzegany w terminach obserwatora:
Barwa – „kolor” widziany przez człowiek np blue, jasność/intensywność/luminancja, nasycenie/chrominanacja
Jasność/intensywność/luminancja – ilość światła emitowanego lub odbijanego „ile czerni jest wmieszne w kolor”
Luminancja – achromatyczny składnik koloru (ilość światła emitowanego lub odbijanego)
Intensywność dotyczy kolorów achromatycznynych. Jest wielkością fizyczną (cd/m^2), ale czsem jest używna zamiennie z terminami perceptualnymi, psychofizycznymi,
Jasność – ligthness odnosi się do obiektów i jest związana z ilością odbijanego światła. (od jasnego do bardzo ciemnego), brightenss odnosi się do źródeł światła i jest związana z ilością światła emitowanego (od przyćmionego do bardzo jasnego)
Nasycenie/chrominancja – określa czystość (w terminach zmieszania z bielą) lub żywość koloru. Jest to stopień zróżnicowania w stosunku do szarości dla różnych kolorów o tej samej jasności.
Nasycenie dotyczy jasności koloru – zwiększenie jasności jest postrzegane jako zmniejszenie nasycenia i na odwrót. Chrominancja – porównanie z bielą: nie zmienia się przy zmianie jasności (np, szarawy, średni, mocny,żywy)
Kolor specyfikowany w terminch światła
+- dominująca długość fali, luminancja, czystość,
Dominująca długość fali – określa jaki kolor „widzimy”. Odpowiada subiektywnemu wrażeniu barwy.
Luminancja – określa ilość światła/światła odbitego. Dla światła achroamtycznego jest to intensywność światła.Dla koloru chromatycznego odpowiada subiektywnemu wrażeniu jasności.
Czystość – określa rozkład widmowy, jaki powoduje powstanie światła o danym kolorze. Jest to proporcja dominującej długości fali i światła białego, niezbędnego do zdefiniowania tego koloru. Czystość odpowiada perceptualnemu pojęciu nasycenia
· Co to jest son?
L = k l0.3 Percypowana głośność. 1 son = głośność tonu o częstotliwości 1kHZ i poziomie 40 dB SPL
Dla niskich pozimów głośność zmienia się szybciej -> skala fonów
· Na czym polega kodowanie transmisyjne w cyfrowym torze fonicznym? Wymienić podstawowe protokoły kodowania transmisyjnego
Kody transmisyjne są wykorzystywane do przesyłania cyfrowego kanału fonicznego w sposób znormalizowany, zgodnie ze standardami interfejsów urządzeń fonicznych. Protokoły transmisyjne:
AES/EBU, MADI (Multichannel Audio Digital Interface) Magistrala I2S (Inter-IC-Sound)
· Budowa oka
Źrenica kontroluje ilosc swiatla dochodzacego do oka (analogicznie jak przeslona aparatu fotograficznego)
Dwie soczewki powoduja dostosowanie wzroku do odleglosci: rogówka (stała) i soczewka o zmianie ogniskowej
Siatkówka zawiera pięć warstw komórek
- pierwsza warstwa zawiera 4 typy fotoreceptorów
- preciki – ok 120 mln – wrażliwe na światło achromatyczne (b&w)
- czopki – ok 8 mln – odpowiadaja za wiedzenie w swietle dziennym, wyrozniamy trzy typy dzialajace jak flitry o różnych zakresach
S type (fale krótkie) – maksymalna czułość dla 440 nm, tj fiolet, opisywany jako niebieski
M type (fale srednie) - maksymalna czułość dla 550 nm tj żółtawo-zielony,opisywany jako zielony
L type(fale długie) - maksymalna czułość dla 570 nm tj żółty, opisywany jako czerwony
zakres światłą widzialnego 280- 780
Czopki są głównie skoncentrowane w plamce żółtej, w plamce ślepej brak fotoreceptorów, ruchy oka są istotne dla podtrzymywania wrażenia wzrokowego, 6 mięśni ukierunkowywuje oko na przedmiot obserwacji,
· Pasmo krytyczne
Pasmo krytyczne jest to elementarne pasmo częstotliwości o szerokości Δf wydzielone z ciągłego pasma szumów i zawierające w sobie moc akustyczną równą mocy akustycznej tonu prostego o częstotliwości f położonej w środku tego pasma, przy czym rozpatrywny ton prosty ma taką intensywność, że zagłuszany przez nieograniczone widmo szumów ciągłych znajduje się dokładnie na granicy słyszalności
Jeśli ton prosty o częstotliwości f jest słyszany na tle równomiernego i nieograniczonego szumu, to efekt zagłuszania tonu przez szum wywołany jest jedynie działaniem szumów mieszczących się w paśmie krytycznym.
· Co to są kody czasowe i sterujące w cyfrowym torze fonicznym? Wymienić podstawowe standardy tych kodów
Kod czasowy przypisuje każdej ramce wizyjnej ramkę kodu, zawierającą pewien ciąg binarny.
Standardy: kod wzdłużny LTC (Longtundial TC), kod „wertykalny” VITC (Vertical Interval TC), kod czasowy MIDI,
Kody sterujące – MIDI (do sterowania elektornicznymi instrumentami muzycznymi oraz urządzeniami fonicznymi, standard EsBus
· Czułość wzroku i rozdzielczość wzroku
Czulosc wzroku – zdolność ekstrakcji informacji przy niskich poziomach luminancji,
Rozdzielczość wzroku – zdolność rozróżniania małych detali przestrennych
Połączenie 1-1 (one-to-one) – czopków w plamce żółtej poprzez nerw wzrokowy z komórkami zwojowymi w mózgu daje dobrą rozdzielczość wzroku, ale przy dostatecznie dużych poziomach jasności,
Połączenie many-to-one – pręcików na obrzeżach siatkówki poprzez nerw wzrokowy z komórkami zwojowymi w mózgu daje większą czułość
Stąd znaczenie silniejsz czułość wzroku w widzeniu peryferyjnym, kosztem zdolności rozrózniania detali, Widzenie peryferyjne charakteryzuje się większą czuloscia czasowa tzn. na zmiany luminancji w czasie (spójrz na świetlówkę kątem oka )
Widzenie wczesne – w dowolnym momencie czulosc oka jest ograniczona do 2 jed w skali logarytmicznej. Poziomy jasnosci ponizej dolnego pozimu sa postrzegane jako najciemniejsze, a powyzej gornego – jako najjaśniejsze, co daje dynamiczną adaptację do zmian jasności
Postrzegana jasność nie jest linową funkcją luminacji.
· Formant
Jest to maksimum charakterystyki, wyraźnie przekraczajce założony poziom średni tej charakterystyki, przy zapewnieniu warunku odpowiedniej rozległości tej chartakterystyki. Głoski dźwięczne zawierają formanty, I formant odpowiada tonowi krtaniowemu
· Na czym polega postsynchronizacja?
Zapisywanie dźwięku (dialogi, tło muzyczne) towarzyszącego obrazowi filmowemu po wykonaniu zdjęć, filmowych, stosowane min. w dubbingu.
· Addytywne/subtraktywne mieszanie kolorów i kolory podstawowe
Każdą barwę można otrzymać przez nieskończoną liczbę kombinacji fal różnej długości. Stanowi to podstawę tv kolorowej i monitorów kolorowych. Do otrzymania milionów kolorów wystarczą trzy podstawowe.
Trzy kolory liniowo niezależne tzn takie,że żadnego z nich nie można otrzymać jako mieszaniny dwóch pozostałych,
mogą być kolorami podstawowymi
Mieszanie addytywne – proces mieszania emisji ze źródeł światła pokrywajacych różne części widma. Czerń otrzymywana jest , gdy nie miesza się żadnych kolorów (zerowa emisja energii), zaś biel otrzymywana jest jako zmieszanie 3 kolorów z maksymalną energią (RGB)
Mieszanie substraktywne – proces filtracji odbijanych części widma. Biel - brak mieszania (odbiujanie całego widma), czerń – mieszanie trzech kolorów podstawowych w maksymalnych ilościach. Druk kolorowy – CMY, CMYK
· Rola ruchów głowy w słyszeniu
Ponieważ żródło dżwięku określa się dzięki różnicy w słyszeniu każdym z uszu, ruchy głowy pomagają precyzyjnie określić np. różnicę czasu w dojściu dźwięku, zniekształcenia dźwięku itp. (Ludzie, choć posiadają odpowiednie mięśnie, nie potrafią poruszać uszami. Zwierzęta nie muszą poruszać całą głową, by określać źródło dźwięku)
· Co to jest kod SMPTE? Opisać krótko podstawowe sposoby zapisu tego kodu
Jest to kod czasowy Sociaty of Motion Picture and Television Engineers)
Identyfikuje dokładną pozycję na taśmie magnetycznej, przypisując jej adres cyfrowy. Monitorowanie na bieżąco taśmy pozwala na łatwe przypisanie zdarzeń. Kod czasowy nagrywany jest na najwyższej ścieżce na taśmie.
· Kanały kolorów w nerwie optycznym
Wyjścia fotoreceptorów oka łączą się w nerwie optycznym, gdzie są konwertowane do 3 kanałów.
R+G, R-G, Y-B,
R+G: achromatyczna zawartość koloru (jasność). Błękit jest z tego kanału wykluczany. Stąd zmiany błękitu nie są wystarczające do dostrzeżenia zmian koloru, a zatem nie jest konieczne ich kodowanie.
R-G: jeden z kanałów chromatycznych („czerwony-lub-zielony”, „czerwony-minus-zielony”). Stąd nie jest możliwe otrzymanie wrażenia koloru czerwono-zielonego, w odróżenieniu od możliwości otrzymania koloru zielono-żółtego, zielono-niebieskiego, czerwono-niebieskiego)
Y-B: drugi z kanałów chromatycznych(„żółty-lub-niebieski”, „żółty-minus-niebieski”)Stąd nie jest możliwe uzyskanie koloru żółto-niebieskiego.
· Wymienić wielowymiarowe struktury danych i krótko je scharakteryzować
k-d trees -używane są do przechowywania k-wymiarowego pumktu danych np. punktów mapy. Każdy węzeł ma strukturę rekordu 2-d trees są to drzewa, dla których kryterium dowiązania (lewy czy prawy syn) jest raz zależne od zmiennej X, a raz Y, Point Quadtrees – stosowane do reprezentowania punktów danych w przestrzeni 2D, zawsze dzieli region na 4 części , MX-Quadtrees – kształt drzewa (i jego wysokość) jest niezależny od liczby węzłów w drzewie, zakłada się że na mapę jest nałożona siatka 2^k na 2^k, R-trees – stosowane do przechowywania prostkątnych regionów na mapie/obrazie, szczególnie przydatne przy przechowywaniu wielkich ilości danych na dysku, Każde R-tree ma przyporządkowany rząd K; każdy węzeł nie będący liściem zawiera co najwyżej K prostokątów i co najmniej floor[K/2] prostokątów, (wyjątek może stanowić korzeń), każdy wierzchołek nie będący liściem musi być co najmniej w połowie pełny, wysokość drzewa jest zwykle niewielka, prostokąt jest albo rzeczywistym prostokatem, albo grupą prostokątów,
· Wymienić najważniejsze metody przyspieszania aplikacji 3D poprzez usuwanie niewidocznych powierzchni
Wybieranie tylnych ścian, obcinanie stożka widzenia, Z-bufor, drzewa BSP, portale, PVS(Potentialy Visible Set)
· Wymienić przykłady modeli przestrzeni kolorów
To było na Grafice (sześcian, stożek, podwójny stożek, model używany przez artystów
· Miary podobieństwa obrazów
Metric approach – znajdowanie najbardziej podobnego obrazu w bazie na podstawie metryki,
...
webss