Perancangan Eksperimen dan Teknik Pengumpulan Data pada Evaluasi

a.      Perancangan Eksperimen

1)      Between-Groups (Randomized)

·         Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen dan control.

·         Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi

·         Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok di masyarakat terwakili.

2)      Within-Groups

·         Setiap user akan menampilkan kondisi yang berbeda

·         Jumlah user yang tersedia lebih sedikit

·         Pengaruh dari subyek lebih sedikit

b.      Teknik Pengumpulan Data

1)      Teknik Observasi

a)      Think aloud

Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi user. Evaluator melihat dan merekam aksi user (dengan berbagai teknik). Think aloud mempunyai keuntungan yaitu sederhana, membutuhkan sedikit pengetahuan untuk menampilkannya dan menyediakan pengertian yang berguna dengan interface juga dapat digunakan untuk mengobservasi bagaimana sistem digunakan.

b)      Analisa Protokol

Terdapat beberapa metode untuk merekam kegiatan user yaitu Paper and pencil, Audio recording, Video recording, Computer logging, User notebook.

c)      Automatic protocol analysis tools

EVA (Experimental Video Annotator) yaitu sistem prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder. Contoh : Workplace project pada Xerox PARC.

d)     Post-task walkthroughs

Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang

mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat secara subyektif perilaku user.

2)      Teknik Query

a)      Interview

Meng-interview user tentang pengalaman mereka dengan sistem interaktif yang menyediakan informasi secara langsung dan terstruktur.

b)      Questionnaire

        Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Terdapat beberapa jenis questionnaire yaitu General, Open-ended, Scalar, Multi-choice, Ranked.