Návrh experimentu

semestrální práce ze SCP

 

Vytvořil: Jiří Meixner

Semestr: zimní 2002/2003

 

Úvod

S rozvojem osobních počítačů a se zvyšováním výkonu se stolní osobní počítače a dnes již i přenosné osobní počítače stávají domácím centrem zábavy. Před velkým boomem osobních počítačů byl jedním z největších forem zábavy filmový průmysl. Samozřejmě, že je jím i nyní, ale už se o svojí pozici musí dělit s počítačem, především pak s počítačovými hrami. Díky vysokému výkonu osobních počítačů se však PC může stát soustavou pro luxusní prohlížení filmů, která konkuruje i domácímu kinu.

Pro svoji semestrální práci jsem si vybral otestování několika programů pro přehrávání filmů na PC s operačním systémem Windows. Semestrální práce se jednak letmo dotkne problematiky spojené s přehráváním filmů na PC, zadefinuje typické skupiny uživatelů a především sestaví a provede testy s vybranými produkty. Práce se zaměří na přehrávání video souborů na harddisku či CD a přehrávání DVD disků nechá stranou.

 

Problematika filmů na PC

Problematika přehrávání filmů na PC je celkem obsáhlá a pro tuto práci vlastně není ani podstatná. Proto si zde uvedeme jen takový menší úvod a především rozdělení. Drobné nepřesnosti prosím berte v rámci zjednodušení a lepšího pochopení problematiky.

Film v digitální podobě je pouze datový soubor, podobně jako dopis napsaný na počítači. Soubor má danou strukturu uložení (a také danou kompresy) a příslušnou koncovku. Například dopis napsaný v programu Notepad má koncovku txt a má textovou strukturu, která je čitelná i bez textového editoru. Naproti tomu dopis napsaný v programu Word2000 má koncovku doc a strukturu MS word2000, která je čitelná pouze v editorech podporující tuto strukturu. Podobně je tomu i u video souborů. Jednak mají koncovku pro rozlišení typu struktury a jednak mají konkrétní strukturu. Film je takzvaně v určitém kodeku. Aby bylo možné v systému Windows přehrát takovýto film musí být v systému nainstalován video a audio kodek, který film používá. Zjednodušeně lze říci, že tyto kodeky slouží vlastně k přeložení nul a jedniček z datového souboru na obraz a zvuk. Audio a video kodeků je celá řada a každý kodek má své výhody a nevýhody.

Základní rozdělení filmů by mohlo vypadat následovně:

V širším pojetí, ale lze za počítačové soubory prohlásit jednotlivé soubory ze všech těchto skupin. Pod označení VCD, SVCD a DVD se však většinou myslí celý disk s pevně danou strukturou, který lze přehrát i mimo počítač na speciální přehrávači.

      V této práci se chci, ale zaměřit jen na počítačové soubory a to především na ty založené na kompresy MPG a MPEG4 známé jako DivX a XviD. Filmy v takovémto kodeku se vytvářejí jako domácí záloha DVD či vlastního DV záznamu, popřípadě pro efektivnější přenos vysokorychlostním internetem. Tyto kodeky totiž nabízejí srovnatelnou kvalitu s DVD (MPEG4) či VHS (VCD), přičemž se filmový záznam vejde pouze na jedno až dvě klasická CD. Důležité je vědět, že přehrávací programy mohou nabízet komfort DVD. Tím mám namysli, že k filmu – video souboru - (nejčastěji s koncovkou avi, divx, xvid, mpg, dat) si uživatel může nechat zobrazit různé titulky v různých jazykových mutacích (nejčastěji s koncovkou sub, srt, txt) a dokonce i různé audiostopy s různým dabingem (nejčastěji s koncovkou wav, mp3, mpa či jiný video soubor). Na závěr se ještě musím zmínit o tom, že při použití externích titulků či audiostopy se mohou vyskytnout určité problémy se synchronizací s obrazem. Titulky či zvuk se předbíhají či zpožďují vůči obrazu. V takovémto případě mohou přehrávací programy nabízet nějakou formou korekci titulků, aby se sesynchronizovali s obrazem. Pro korekci audiostopy to samozřejmě lze také, ale v praxi to přehrávače většinou nenabízejí. Korekce se většinou provádí „přidáním“ či „ubráním“ času či snímků nebo změnou televizního systému. Snímek je vlastně taktéž časová jednotka, jelikož pro daný video soubor je pevně určen počet snímků za sekundu (fps). Pro televizní systém PAL je to 25fps, pro NTSC 30fps, pro klasický film 24fps. Různorodost FPS pro různé systémy je největším zdrojem rozsynchronizace externích titulků a audiostop s obrazem.

 

Uživatelé

Začátečník

Pokročilý

Znalý

 

Pro testy v tomto rozsahu, popsané níže se dají vlastně uživatelé ze skupiny pokročilý a znalý spojit do jedné skupiny, jelikož vykazují podobné vlastnosti a zkušenosti vzhledem k testované problematice.


Testované produkty

RadLight 3.03 R5.2

 

MicroDVD 1.2

 

 

Testování

            Testování bude probíhat tak, že uživatelům bude vysvětleno co mají dělat a o co v tomto testu jde, přečtou si kapitolu o problematice přehrávání filmů na PC (popřípadě se krátce zodpoví jejich následné dotazy). Poté se uživatelé během maximálně pěti minut sami seznámí s daným programem a začnou postupně plnit úlohy. Během plnění úkolů je bude „testovatel“ sledovat a zaznamenávat chování uživatelů a „kvalitu“ splnění úloh viz. kapitola  zpracovávání výsledků.

Popis úloh:

 

  1. Identifikovat ikony a informační prvky na GUI programu a popsat jejich předpokládanou funkci.
  2. Přehrání filmu
    1. Spustit film ze souboru CD:\film.avi
    2. Přetočit film na pozici 15:00 minut co nejrychleji a nejpřesněji
  3. Přehrání filmu s titulky ve stejném adresáři a se stejným jménem
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst titulky ze souboru CD:\film.sub
  4. Přehrání filmu s titulky v jiném adresáři nebo s jiným jménem
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst titulky ze souboru CD:\titulky.sub
  5. Přehrání filmu s jiným zvukovým doprovodem
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst novou audiostopu ze souboru CD:\zvuk.wav
  6. Nastavení titulků
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst titulky ze souboru CD:\film.sub
    3. Nastavit pozici titulků, která Vám vyhovuje
    4. Nastavit zbarvení titulků, které Vám vyhovuje
    5. Nastavit font (velikost) titulků, který Vám vyhovuje
  7. Korekce titulků
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst titulky ze souboru CD:\posunute.sub
    3. Sesynchronizovat titulky s obrazem
    4. Prověřit správnou synchronizaci od pozice 10:00 a 1:30:00 (zhruba)
    5. Načíst titulky ze souboru CD:\jinefps.sub
    6. Sesynchronizovat titulky s obrazem
    7. Prověřit správnou synchronizaci od pozice 10:00 a 1:30:00
  8. Nastavení obrazu
    1. Spustit film ze souboru CD:\film.avi
    2. Načíst titulky ze souboru CD:\film.sub
    3. Přepnout obraz přes celou obrazovku
    4. Přizpůsobit pozici titulků a změnit obraz tak, aby titulky byli v černém pruhu, mimo obraz filmu (originál je přes celou obrazovku a titulky jsou v obraze).
  9. Nastavení zvuku
    1. Spustit film ze souboru CD:\film.avi
    2. Nastavit zvuk na reprosoustavu 5.1 (systém to podporuje a je přítomný i daný hardware)
    3. Nastavit hlasitost na tichou úroveň (šepot)

Správný postup pro splnění úloh:

Některé funkce/úlohy lze provést několika postupy a proto zde nebudou uvedeny všechny postupy. Přednostně budou uváděny postupy pomocí ikon programu a klávesových zkratek. Jako základní postavení před zahájením úlohy je spuštěný přehrávací program s jeho základním skinem a základním nastavením klávesových zkratek.

 

RadLight    

  1. Celkem má 13 ovládacích prvků a 2 informační pole.
  2. Přehrání filmu
    1. Standardní ikonkou EJECT pro vysunutí média (kazety, CD apod.) v ovládacích prvcích (CTRL+O) se otevře standardní OpenDialog Windows, ve kterém se zvolí soubor CD:\film.avi. Po načtení se film automaticky spustí.
    2. Pomocí čárkované čáry nad ovládacími prvky se nastaví film na požadovanou pozici, kterou můžeme odečítat v časovém poli či přímo v obrazovém okně. Jedná se o rychlé nastavení s krokem cca 20s. Nebo přes menu Nastavení/Skoč na… (J) se vloží požadovaný čas či snímek do dialogu. Přesné, ale pomalé.
  1. Přehrání filmu s titulky ve stejném adresáři a se stejným jménem

a.   Postup 1a

    1. Titulky se načtou automaticky
  1. Přehrání filmu s titulky v jiném adresáři nebo s jiným jménem

a.   Postup 1a

    1. Ikonkou S v ovládacích prvcích (CTRL+S) se otevře standardní OpenDialog Windows, ve kterém se zvolí soubor CD:\titulkyENG.sub
  1. Přehrání filmu s jiným zvukovým doprovodem

a.   Postup 1a

    1. Funkce nepodporována
  1. Nastavení titulků
    1. Postup 1a
    2. Titulky se načtou automaticky
    3. Posuňte titulky do zvolené pozice přes CTRL+šipka a dolu CTRL+šipka dolu
    4. Z menu Nastavení/Titulky/Font (CTRL+F) se otevře klasický dialog pro nastavení písma
    5. Postup 5d
  2. Korekce titulků
    1. Postup 1a
    2. Postup 3b se souborem CD:\posunute.sub
    3. Zjistit pomocí sledování filmu s titulky a přehraného času o kolik jsou titulky posunuté a nastavit ofset. Z menu Nastavení/Titulky/Nastavit offset (D) se otevře dialog a do něho se napíše počet snímků nebo sekund, které se mají přidat/ubrat v titulcích.
    4. Postupem 1b přeskočit na pozici a sledovat správnou synchronizaci titulků s obrazem, případě nesouhlasu opakovat předcházející bod
    5. Postup 3b se souborem CD:\jinefps.sub
    6. Funkce nepodporována
    7. Postup 6d
  3. Nastavení obrazu
    1. Postup 1a
    2. Titulky se načtou automaticky
    3. Ikonkou F v ovládacích prvcích (F) nebo dvoj klikem na obraz se přepne obraz z okna na celou obrazovku a naopak,
    4. Pomocí šipek vlevo a vpravo na číslicové klávesnici se zmenší obraz bez zdeformování a vytvoří se místo pro titulky. Pomocí CTRL+šipka na číslicové klávesnici se mění poloha obrazu.
  4. Nastavení zvuku
    1. Postup 1a
    2. Nelze nastavit, automatické nastavení dle HW
    3. Pomocí tečkované čáry nahoře skinu (šipkami nahoru, dolu) nastavit zvuk na požadovanou hlasitost

MicroDVD

  1. Celkem má 40 ovládacích prvků a 9 informačních polí.
  2. Přehrání filmu
    1. Ikonkou M se přepnout se do FILE Mode (F) pokud to je třeba (indikace v levém horním rohu display) a standardní ikonkou EJECT pro vysunutí média (kazety, CD apod.) otevřít standardní OpenDialog Windows, ve kterém se zvolí soubor CD:\film.avi. Po načtení se film automaticky spustí.
    2. Pomocí šedivé čáry pod displayem se nastaví film na požadovanou pozici, kterou můžeme odečítat v časovém poli na display. Jedná se o rychlé nastavení s krokem cca 20s. Nebo přes (J) se klikáním na šipky nastaví čas v dialogu. Přesné, ale pomalé.
  3. Přehrání filmu s titulky ve stejném adresáři a se stejným jménem
    1. Postup 1a
    2. Titulky se načtou automaticky
  4. Přehrání filmu s titulky v jiném adresáři nebo s jiným jménem
    1. Ikonkou M se přepnout se do DVD Mode (F) a ikonkou F nastavit zdroj na QuickINI (G) pokud to je třeba (indikace v levém horním rohu display) a standardní ikonkou EJECT pro vysunutí média (kazety, CD apod.) otevřít standardní OpenDialog Windows, ve kterém se zvolí video soubor CD:\film.avi, poté druhý audio soubor s dabingem, v tomto případě storno nebo CD:\film.avi a pak soubor s titulky CD:\titulkyENG.sub. Po načtení se film automaticky spustí.
    2. Titulky se načtou již v bodě 3a
  5. Přehrání filmu s jiným zvukovým doprovodem
    1. Ikonkou M se přepnout se do DVD Mode (F) a ikonkou F nastavit zdroj na QuickINI (G) pokud to je třeba (indikace v levém horním rohu display) a standardní ikonkou EJECT pro vysunutí média (kazety, CD apod.) otevřít standardní OpenDialog Windows, ve kterém se zvolí video soubor CD:\film.avi, poté nový audio soubor CD:\zvuk.wav a pak soubor s titulky, v tomto případě storno. Po načtení se film automaticky spustí.
    2. Nová audiostopa se načte již v bodě 4a. Přepnout se na novou audiostopu pomocí (L).
  6. Nastavení titulků
    1. Postup 1a
    2. Titulky se načtou automaticky
    3. Přes ikonku pro konfiguraci (F12)/Subtitles/Options Page 2 si zvolit pozici nahoře nebo dole a vlevo nebo vpravo nebo vycentrováno.
    4. Přes ikonku pro konfiguraci (F12)/Subtitles/Font si zvolit barvu
    5. Přes ikonku pro konfiguraci (F12)/Subtitles/Font si zvolit nastavení fontu
  7. Korekce titulků
    1. Postup 3a se souborem pro titulky CD:\posunute.sub
    2. Titulky se načtou již v bodě 6a
    3. Funkce nepodporována.
    4. Postupem 1b přeskočit na pozici a sledovat správnou synchronizaci titulků s obrazem, případě nesouhlasu opakovat předcházející bod
    5. Postup 3a se souborem pro titulky CD:\jinefps.sub
    6. Funkce nepodporována.
    7. Postup 6d
  8. Nastavení obrazu
    1. Postup 1a
    2. Titulky se načtou automaticky
    3. Přes ikonku se šipkami do leva a doprava nad ikonkami M a F (Z,na CS klávesnici Y), pokud není nastaveno automatické přepnutí do Fullscreenu.
    4. Funkce nepodporována. Automaticky ořízne obraz pod titulky.
  9. Nastavení zvuku
    1. Postup 1a
    2. Přes ikonku pro konfiguraci (F12)/Codecs/Intervideo Audio zvolit 6 Speakers a Apply Changes
    3. Přes ikonku + (+ na číslicové klávesnici) a - (- na číslicové klávesnici) v pravém dolním rohu display nastavit zvuk na požadovanou hlasitost

Zpracovávání testů

            Testy by měli prokázat, jak kvalitní je dané rozhraní přehrávacích programů pro určené skupiny uživatelů. Měli by zodpovědět základní otázky:

Způsob měření

Největším problémem takovéhoto testování je zvolit správný postup měření, lépe řečeno správný postup při sběru dat. Metod pro sběr dat je několik. Od přímého pozorování přes pořízení videozáznamu a automatické monitorování aplikací až po některou z verbálních metod. Většina metod má pro tento test nějaké pěkné či požadované vlastnosti. Stejně tak, ale i spoustu záporných vlastností. Přímé pozorování se jeví jako nejlepší, přesněji řečeno nejpřesnější metoda. Pozorovatel bude nahlížet „přes rameno“ každému uživateli a dělat si poznámky do předem připraveného formuláře (viz. níže). Při takovémto sběru dat se však asi nejvíce ze všech metod projevuje tzv. Hawthomský jev, při kterém je chování uživatele zkresleno vědomím, že je někým pozorován a sledován. Tento rušivý nedostatek lze snížit při použití metody videozáznamu. Kamera má přeci jen menší vliv na uživatele než lidský pozorovatel. A na víc se tím odbourá i další záporná vlastnost přímého pozorování a to, že pozorovatel je nucen dělat dvě činnosti zároveň, pozorovat a zaznamenávat. Tento nedostatek však nepovažuji při tomto konkrétním testu za tak závažný. Obě tyto metody mají, ale společnou a velikou nevýhodu. Ať již se bude jednat o přímé pozorování nebo pozdější prohlížení videozáznamu, vždy bude zpracování dat velmi časově náročné. Pro získání minimálně smysluplných dat by bylo třeba minimálně alespoň několik stovek uživatelů v každé skupině. Takovýto test by pak byl neúnosně zdlouhavý a tudíž nepředstavitelně drahý (pro zkrácení testu bychom mohli nasadit spoustu pozorovatelů, ale to by neřešilo finanční problém věci).

Pro z efektivnění testu se nabízejí dvě cesty. Předat sběr dat do rukou samotných uživatelů a nebo jej z automatizovat. Pro tento konkrétní test by automatický monitoring mohl vypadat následovně. Varianta 1: Nahrávání vstupních signálů (klávesnice, myš) pomocí makro jazyků do skriptu. Poté by se vytvořený skript předal na vstup speciálního programu, který by tento skript dokázal přečíst a „vyplnit“ požadovaný formulář. Varianta 2: Naprogramování simulační aplikace se stejným interfacem jako mají testované aplikace. Tato aplikace by mohla přesně a kvalitně měřit a zaznamenávat téměř všechny námi požadované parametry. Obě tyto varianty by bylo vhodné doplnit o dotazník s otevřenými otázkami. Ale i tuto metodu nepovažuji za nejlepší, jelikož by potřebovala dodatečné náklady na měření.

Dle mého názoru se jako nejlepší jeví ponechat sběr dat na uživateli. Do připraveného formuláře by každý uživatel vyplnil potřebné informace. Výhody tohoto řešení jsou nasnadě. Když už uživatel provádí tento test, který může trvat 30-60 minut, tak také může vyplňovat formulář, což mu zabere sotva pár minut. Nebudou tedy nutné další náklady na sběr dat a kvalita sběru dat se bude blížit sběru dat prováděném pozorovatelem. Možnou nevýhodu, úmyslné či neúmyslné zkreslení údajů, nepovažuji za důležitou z důvodu množství měřených subjektů.

Formulář:

Výsledky testů se budou zaznamenávat do následujícího formuláře. Testovatel člověk či stroj zaškrtne pole GUI, klávesová zkratka podle toho co uživatel použil, také zaškrtne příslušný časový údaj (hned, po nějaké době, vůbec či za velmi dlouhou dobu). Také má možnost učinit menší poznámku (jestli nejprve zvolil jinou funkci; jestli si nebyl jist, zda zvolil spráně apod.) U úlohy 0 se vyplní počet identifikovaných ikon a informačních prvků do příslušného pole. Pro vyplňování formuláře uživatelem, by musel být formulář doplněn v úloze 0 o místo na popis funkčnosti jednotlivých ikonek. Správnost odpovědi by pak vyplnila jiná osoba, která by znala správné odpovědi.

 

Úloha:

Správně

Téměř

Špatně

Celkem

 

Poznámka

0

Ikony

 

 

 

 

 

 

 

Info prvky

 

 

 

 

 

 

 

 

GUI

Kl.zkr.

Hned

Po chvilce

Vůbec*

Poznámka

1

a

 

 

 

 

 

 

 

b rychle

 

 

 

 

 

 

 

b přesně

 

 

 

 

 

 

2

a

 

 

 

 

 

 

 

b

 

 

 

 

 

 

3

a

 

 

 

 

 

 

 

b

 

 

 

 

 

 

4

a

 

 

 

 

 

 

 

b

 

 

 

 

 

 

 

   Zjistil subjekt nepodporování funkce?

 

 

5

a+b

 

 

 

 

 

 

 

c

 

 

 

 

 

 

 

d

 

 

 

 

 

 

 

e

 

 

 

 

 

 

6

a+b+e

 

 

 

 

 

 

 

c

 

 

 

 

 

 

 

d

 

 

 

 

 

 

 

   Počet opakování:

 

 

 

 

 

 

   Zjistil subjekt nepodporování funkce?

 

 

 

f

 

 

 

 

 

 

 

g

 

 

 

 

 

 

 

   Počet opakování:

 

 

 

 

 

 

   Zjistil subjekt nepodporování funkce?

 

 

7

a+b

 

 

 

 

 

 

 

c

 

 

 

 

 

 

 

d

 

 

 

 

 

 

 

   Zjistil subjekt nepodporování funkce?

 

 

8

a

 

 

 

 

 

 

 

b

 

 

 

 

 

 

 

   Zjistil subjekt nepodporování funkce?

 

 

 

c

 

 

 

 

 

 

 

*vůbec nebo také za velmi dlouhou dobu

 

 

Vyhodnocení měření

            Vyhodnocení měření testů by mohlo býti automatizováno. Z ïnformací z formuláře (tedy kromě poznámek) by automat mohl bez problémů odpovědět na vyřčené otázky. Sečetl by odpovědi ve stejných buňkách formuláře a podle nastavených hranic by bez problému mohl odpovědět na otázku, jak byl uživatel úspěšný v identifikaci ikon a ovládacích prvků, jak rychle dokáže uskutečnit požadovanou funkci či zda-li není podporována. Po globální analýze těchto údajů taktéž může vydat resumé, který produkt je nejlepší pro danou uživatelskou skupinu. Jediné na co by automat nedokázal odpovědět je, zda-li uživatel dokáže rychle poznat, že vyvolaná funkce není ta co chtěl. Tato informace je totiž uložena jen v oblasti poznámek. Pro tuto informaci bychom mohli ovšem zavést speciální buňku s mottem „Spletl jsem se, já vím.“, do které by se zaznamenával počet špatných voleb, které uživatel odhalil a buňku „Ježíši, kde to zase jsem?“, ve které by byl počet stavů, do kterých se uživatel dostal a netuší vůbec jak.