PENGEMBANGAN DESAIN FITUR ANALISIS SOAL TES

PADA PERANGKAT LUNAK MOODLE

 

Luthfi Maslichul Kurniawan, Djuniadi

Teknik Elektro Fakultas Teknik Universitas Negeri Semarang

luthfi.emka@yahoo.com, djuni_adi@yahoo.com

Abstrak

Fitur analisis soal pada MOODLE dipandang masih kurang lengkap karena tidak melakukan analisis validitas dan reliabilitas dari soal tes hasil belajar. Paper ini menyajikan desain pengembangan fitur analisis soal tes yang mendasarkan pada analisis tingkat kesukaran, daya pembeda, pola penyebaran jawaban, validitas butir soal dan reliabilitas skor tes.  Pengunaan seluruh parameter tersebut dalam menguji soal tes agar dihasilkan soal tes yang baik serta dapat digunakan sebagai soal tes standar.

Kata kunci: Moodle, fitur analisis soal, soal standar

PENDAHULUAN

Perkembangan Teknologi Informasi, khususnya teknologi internet telah memberikan kontribusi yang besar diberbagai bidang termasuk pula bidang pendidikan. Perkembangan teknologi informasi tersebut telah menghasilkan berbagai perangkat keras maupun perangkat lunak yang sangat menunjang dan mendukung pencapaian tujuan dan konsep pendidikan nasional yang tentunya bermuara pada mutu pendidikan yang tinggi.

Mutu Perguruan tinggi tak terlepas dari mutu kinerja dosennya. Karena itulah dosen dituntut untuk profesional dan memiliki pengetahuan serta wawasan yang luas untuk ditransfer kepada mahasiswanya. Keprofesionalan dosen tersebut dapat dilihat dari keprofesionalannya dalam menjalankan tugas-tugas pokoknya. Salah satu tugas pokok seorang dosen adalah melakukan proses penilaian pendidikan. Proses penilaian pendidikan dapat dilakukan dengan berbagai metode. Salah satu metode yang popular digunakan adalah dengan melakukan tes hasil belajar. Sebagai tindak lanjut dari tes tersebut, maka dilakukanlah proses pengujian lebih lanjut untuk mengukur kemampuan pencapaian kompetesni siswanya secara akurat.

Namun, proses pengujian tes hasil belajar yang selama ini digunakan masih menggunakan cara manual yang dirasa kurang efektif dan efisien. Salah satu cara yang kemudian dikembangkan adalah dengan memanfaatkan teknologi informasi dan komunikasi. Pemanfaatan teknologi informasi dan komunikasi tersebut diwujudkan dengan hadirnya berbagai perangkat lunak yang mampu melakukan proses uji tes hasil belajar, baik itu perangkat lunak yang bersifat independen atau terangkum dalam sebuah perangkat lunak sistem manajemen pendidikan (Learning Management System). Menurut Muntoha (2010: 2) perangkat lunak yang bersifat independen dalam proses uji tes hasil belajar atau evaluasi tes hasil belajar antara lain ITEMAN, SPSS dan Microsoft Excel masih mempunyai kekurangan antara lain antar muka yang sulit dimengerti dan tak bisa dilakukan secara online dan cepat. Selain itu, sistem evaluasi dan pengujian butir soal masih terpisah dengan manajemen pendidikannya sehingga dibutuhkan penelitian lebih lanjut.

Salah satu perangkat lunak yang telah mendukung penerapannya sebagai alat uji tes hasil belajar sekaligus sebagai sebuah perangkat lunak sistem manajemen pendidikan adalah MOODLE (Modular Object Oriented Dynamic Learning Environment). MOODLE merupakan paket perangkat lunak open source di bawah lisensi GNU/GPL (Public License) yang berguna untuk membuat dan mengadakan kursus, pelatihan dan pendidikan berbasis internet (Prakoso 2005). Kemampuan analisis butir soal yang telah dimiliki MOODLE meliputi menghitung Partial Credit, Range Count, Range Procentage, Facility Index  (% Correct),  Standard Deviation  (SD), Discrimination  Index  (DI) dan Discrimination Coefficient  (DC) (Muhammad Soleh: 2007).

Namun kemampuan analisis butir soal pada MOODLE dengan parameter tersebut masih kurang lengkap dalam memberikan gambaran hasil analisis butir soal. Hal ini disebabkan MOODLE tidak melakukan analisis validitas dan reliabilitas dari tes soal hasil belajar. Dengan demikian, kajian ini penting dilakukan untuk meningkatkan kualitas fitur analisis butir soal pada MOODLE.

MOODLE

MOODLE adalah perangkat lunak untuk kegiatan belajar berbasis internet dan menggunakan prinsip social constructionist pedagogy. MOODLE merupakan salah satu aplikasi dari konsep dan mekanisme belajar mengajar yang memanfaatkan teknologi informasi, yang dikenal dengan konsep e-learning. MOODLE dapat digunakan secara bebas sebagai produk sumber terbuka (open source) di bawah lisensi GNU.

Sabine Graf dan Beate List (Graf, 2005; Wahono, 2008) telah melakukan penelitian tentang evaluasi dan komparasi LMS berbasis open source dengan menggunakan satu metode evaluasi produk software bernama QWS (Qualitative Weight and Sum). QWS menghitung bobot (weight) menggunakan enam simbol kualitatif berdasarkan tingkat kepentingannya (importance level). Simbol-simbol kalau diurutkan dari yang paling penting: E (Essential), * (Extremely Valuable), # (Very Valuable), + (Valuable), | (Marginally Valuable), 0 (Not Valuable). Sistem pengukuran kualitas software seperti yang dilakukan Graf ini adalah berdasarkan “Product” dan bukan “Process“. Ada 8 kategori yang dievaluasi yaitu: Communication Tools, Learning Objects, Management of User Data, Usability, Adaptation, Technical Aspect, Administration dan Course Management.

Berdasarkan hasil penelitian tersebut, secara umum MOODLE unggul dibanding dengan LMS lain terutama di kategori Communication Tools, Learning Objects, Management of User Data, Usability, dan Adaptation. ILIAS dan Dokeos di urutan kedua dan ketiga, sedangkan urutan keempat adalah ATutor, LON-CAPA, Spaghettilearning dan Open USS. Sakai dan dotLRN ada di posisi terakhir. Adapun beberapa kelebihan MOODLE, yaitu :

1)        Cocok 100% untuk kelas online dan sama baiknya dengan belajar tambahan yang langsung berhadapan dengan dosen.

2)        Sederhana, ringan, efisien, dan menggunakan teknologi sederhana.

3)        Mudah di instal pada banyak program yang bisa mendukung PHP dan hanya membutuhkan satu database.

4)        Menampilkan penjelasan dari pelajaran yang ada dan pelajaran tersebut dapat dibagi kedalam beberapa kategori.

5)        MOODLE dapat mendukung 1000 lebih pelajaran.

6)        Mempunyai keamanan yang kokoh, formulir pendaftaran untuk pelajar telah diperiksa validitasnya dan mempunyai cookies yang terenkripsi.

7)        Paket bahasa disediakan penuh untuk berbagai bahasa. Bahasa yang tersedia dapat diedit dengan menggunakan editor yang telah tersedia. Lebih dari 45 bahasa yang tersedia, termasuk Bahasa Indonesia.

 

Analisis Tes Hasil Belajar Secara Kuantitatif

Kegiatan menganalisis tes hasil belajar (butir soal) merupakan suatu kegiatan yang harus dilakukan pendidik untuk meningkatkan mutu soal yang telah ditulis. Kegiatan ini merupakan proses pengumpulan, peringkasan, dan penggunaan informasi dari jawaban siswa untuk membuat keputusan tentang setiap penilaian (Nitko, 1996: 308). Tujuan penelaahan tersebut adalah untuk mengkaji dan menelaah setiap butir soal agar diperoleh soal yang bermutu sebelum soal digunakan. Disamping itu, tujuan analisis tes hasil belajar (analisis butir soal) juga untuk membantu meningkatkan tes melalui revisi atau membuang soal yang tidak efektif, serta untuk mengetahui informasi diagnostik pada siswa apakah mereka sudah atau belum memahami materi yang telah diajarkan (Aiken, 1994: 63).

Para penulis soal dapat melakukan analisis secara kualitatif, berkaitan dengan isi dan bentuknya, maupun secara kuantitatif yang berkaitan dengan ciri-ciri statistiknya (Anastasi dan Urbina, 1997) atau prosedur peningkatan secara judgement dan prosedur peningkatan secara empirik (Popham, 1995). Analisis kualitatif mencakup pertimbangan validitas isi dan konstruk, sedangkan analisis kuantitatif mencakup pengukuran kesulitan butir soal dan diskriminasi soal yang termasuk validitas soal dan reliabilitasnya.

Menurut Anastasi dan Urbina (1996) penelaahan tes hasil belajar (soal tes) secara kuantitatif maksudnya adalah penelahaan butir soal yang didasarkan pada data empirik dari butir soal yang bersangkutan. Data empirik ini diperoleh dari soal yang telah diujikan. Ada dua pendekatan dalam melakukan analisis kuantitatif, yaitu dengan pendekatan secara klasik dan secara modern. Secara klasik maksudnya, proses penelaahan butir soal dilakukan melalui informasi dari jawaban peserta didik guna meningkatkan mutu butir soal yang bersangkutan dengan menggunakan teori tes klasik. Sedangkan analisis butir soal secara modern yaitu penelaahan butir soal dengan menggunakan IRT (Item Response Theory) atau teori jawaban butir soal. Teori ini merupakan teori yang menggunakan fungsi matematika untuk menghubungkan antara peluang menjawab benar pada suatu soal dengan kemampuan siswa.

Adapun dalam penelitian kali ini, analisis tes hasil belajar secara kuantitatif memakai pendekatan secara klasik dengan alasan murah dan  dapat dilaksanakan sehari-hari dengan cepat menggunakan komputer, sederhana, familiar serta dapat menggunakan data dari beberapa peserta didik atau sampel yang kecil (Millman dan Greene: 1993).

Aspek yang perlu diperhatikan dalam analisis butir soal secara klasik adalah setiap butir soal ditelaah dari segi: tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban (untuk soal bentuk obyektif) atau frekuensi jawaban pada setiap pilihan jawaban.

  1. 1.      Tingkat Kesukaran

Tingkat kesukaran soal adalah peluang untuk menjawab benar suatu soal pada tingkat kemampuan tertentu yang biasanya dinyatakan dalam bentuk indeks. Indeks tingkat kesukaran ini pada umumnya dinyatakan dalam bentuk proporsi yang besarnya berkisar 0,00 – 1,00  (Aiken : 1994). Semakin besar indeks tingkat kesukaran yang diperoleh dari hasil penghitungan, berarti semakin mudah soal itu. Rumus untuk menghitung tingkat kesukaran (TK) adalah sebagai berikut:

Hasil perhitungan dengan menggunakan rumus di atas menggambarkan tingkat kesukaran soal itu. Adapun klasifikasi tingkat kesukaran soal dapat dicontohkan sebagai berikut ini: (Aiken: 1994)

  1. 0,00 – 0,30      : soal tergolong sukar,
  2. 0,31 – 0,70      : soal tergolong sedang,
  3. 0,71 – 1,00      : soal tergolong mudah.

Tingkat kesukaran butir soal memiliki 2 kegunaan, yaitu kegunaan pada pendidik dan kegunaan bagi pengujian/pengajaran (Nitko, 1996). Kegunaan bagi pendidik antara lain: sebagai pengenalan konsep terhadap pembelajaran ulang, memberi masukan kepada peserta didik tentang hasil belajar mereka, memperoleh informasi tentang penekanan kurikulum, mencurigai butir-butir soal yang bias. Sedangkan kegunaan bagi proses pengujian dan pengajaran antara lain: pengenalan konsep yang diperlukan untuk diajarkan ulang, memberi tanda-tanda terhadap kelebihan dan kelemahan pada kurikulum sekolah, serta merangkai tes yang memiliki ketepatan data soal.

  1. 2.      Daya Pembeda

Daya pembeda soal adalah kemampuan suatu butir soal dapat membedakan antara peserta didik yang telah menguasai materi yang ditanyakan dan peserta didik yang tidak/kurang/belum menguasai materi yang ditanyakan. Indeks daya pembeda setiap butir soal biasanya juga dinyatakan dalam bentuk proporsi. Semakin tinggi indeks daya pembeda soal berarti semakin mampu soal yang bersangkutan membedakan peserta didik yang telah memahami materi dengan peserta didik yang belum memahami materi. Indeks daya pembeda berkisar antara -1,00 sampai dengan +1,00. Semakin tinggi daya pembeda suatu soal, maka semakin kuat/baik soal itu. Jika daya pembeda negatif (<0) berarti lebih banyak kelompok bawah (peserta didik yang tidak memahami materi) menjawab benar dibanding dengan kelompok atas (peserta didik yang memahami materi yang diajarkan pendidik). Analisis daya pembeda soal bentuk pilihan ganda adalah dengan menggunakan rumus berikut ini:

Keterangan:

  • DP adalah daya pembeda soal,
  • BA adalah jumlah jawaban benar pada kelompok atas,
  • BB adalah jumlah jawaban benar pada kelompok bawah,
  • N adalah jumlah peserta yang mengerjakan tes

Selain rumus di atas, untuk mengetahui daya pembeda soal bentuk pilihan ganda dapat dipergunakan rumus korelasi point biserial (r pbis) dan korelasi biserial (r bis) (Miliman , Ireene, 1993: 359-360) dan (Glass, Stanley, 1970: 169-170) seperti berikut:

Keterangan:

  • Xb, Yb adalah rata-rata skor warga belajar/siswa yang menjawab benar
  • Xs, Ys adalah rata-rata skor warga belajar siswa yang menjawab salah
  • SD adalah simpangan baku skor total
  • nb dan n, adalah jumlah siswa yang menjawab benar dan jumlah siswa yang menjawab salah, serta nb + n, = n.
  • p adalah proporsi jawaban benar terhadap semua jawaban siswa
  • q adalah I –p

Hasil perhitungan dengan menggunakan rumus di atas dapat menggambarkan tingkat kemampuan soal dalam membedakan antar peserta didik yang sudah memahami materi yang diujikan dengan peserta didik yang belum/tidak memahami materi yang diujikan. Adapun klasifikasinya adalah seperti berikut ini.

  1. 0,40 – 1,00       : soal diterima baik
  2. 0,30 – 0,39       : soal diterima tetapi perlu diperbaiki
  3. 0,20 – 0,29       : soal diperbaiki
  4. 0,19 – 0,00       : soal tidak dipakai/dibuang

(Crocker, Algina, 1986: 315)

  1. 3.      Pola Penyebaran Jawaban

Pola penyebaran jawaban adalah distribusi peserta dalam menentukan pilihan jawaban pada soal dengan bentuk pilihan ganda (Arikunto, 2002:219). Hal ini dimaksudkan untuk mengetahui berfungsi tidaknya jawaban yang tersedia. Suatu pilihan jawaban (pengecoh) dapat dikatakan berfungsi apabila pengecoh tersebut:

  1. Paling tidak dipilih oleh 5% peserta tes/siswa,
  2. Lebih banyak dipilih oleh kelompok siswa yang belum paham materi.

Secara statistik, pola penyebaran (distribusi) jawaban dapat dihitung dengan menghitung Standar Deviasi (SD) dari soal tersebut. Jika semua peserta menjawab pada butir jawaban yang sama, maka standar deviasinya 0 (nol).

  1. 4.      Validitas Butir Soal

Sebuah butir soal (item) dikatakan valid apabila mempunyai dukungan yang besar terhadap skor total. Skor pada item menyebabkan skor total menjadi tinggi atau rendah (Arikunto, 2002: 76). Butir soal yang memiliki validitas yang tinggi jika skor pada item mempunyai kesejajaran dengan skor total. Kesejajaran ini dapat diartikan dengan korelasi sehingga untuk mengetahui validitas item digunakan rumus korelasi product moment seperti berikut:

Keterangan:

rx             = koefisien korelasi antara skor butir soal dan skor total,

N         = jumlah peserta tes,

∑xy      = jumlah perkalian x dengan y (skor butir soal dengan skor total)

∑x        = jumlah x (jumlah skor butir soal)

∑y        = jumlay y (jumlah skor total)

x2         = kuadrat dari x (kuadrat dari skor butir soal)

y2         = kuadrat dari y (kuadrat dari skor total)

Hasil perhitungan ini berkisar diantara -1,00 sampai +1,00. Sedangkan interpretasi hasil perhitungan ini akan menentukan besarnya koefisien korelasi (validitas item) dengan klasifikasi (Arikunto, 2002: 75) sebagai berikut:

  1. 0,8 – 1,00        : sangat tinggi
  2. 0,6 – 0,8          : tinggi
  3. 0,4 – 0,6          : cukup
  4. 0,2 – 0,4          : rendah
  5. 0 – 0,2             : sangat rendah
  1. 5.      Reliabilitas Skor tes

Tujuan utama menghitung reliabilitas skor tes adalah mengetahui tingkat ketepatan (precision) dan keajegan (consistency) skor tes. Indeks reliabilitas ini berkisar antara 0 sampai 1. Semakin tinggi koefisien reliabilitas suatu tes (mendekati 1), makin tinggi pula keajegan/ketepatannya.

Untuk mengetahui koefisien reliabilitas tes soal bentuk pilihan ganda dapat digunakan rumus Kuder-Richardson 20 (KR-20) seperti berikut:

Keterangan:

k          = jumlah butir soal

(SD)2   = varian

p          = proporsi peserta yang menjawab benar

∑p(1-p)= jumlah proporsi peserta yang menjawab benar dan proporsi peserta yang menjawab salah

KR-20 = koefisien reliabilitas tes

Analisis Kebutuhan Sistem

Fitur analisis soal mampu melakukan analisis tes hasil belajar bentuk soal pilihan ganda. Fitur ini dikembangkan dalam bentuk sebuah block dan module dan  fitur ini dapat diintegrasi serta memenuhi standar pengembangan block/module yang ditetapkan oleh MOODLE. Pemakai fitur ini adalah guru, pengampu atau tutor. Guru/tutor selaku pihak yang bertanggungjawab memasang sendiri fitur ini pada mata kuliah/course yang diampunya dan bertanggung-jawab merancang dan melaksanakan pembelajaran sampai pada evaluasi hasil belajar dengan prasyarat menggunakan model tes tertulis dengan bentuk soal pilihan ganda.

Sistem e-learning yang dilengkapi fitur analisis butir soal memiliki kemampuan untuk

1)      mendeteksi soal bentuk pilihan ganda pada tiap mata kuliah/course yang menggunakan fitur ini

2)      mampu melakukan analisis tes hasil belajar yang mengacu pada beberapa parameter yaitu 1) Tingkat Kesukaran Soal, 2) Daya Pembeda Soal, 3) Pola Distribusi Soal/Standar Deviasi, 4) Validitas Soal dan 5) Reliabilitas Tes hasil belajar.

3)      merekam tiap proses analisis yang dilakukan pada basisdatanya sendiri dan terpisah dari question engine.

4)      mengkoleksi soal yang telah dianalisis dalam bentuk bank soal tersandar.

DESAIN FITUR

Fitur analisis butir soal ini dirancang menggunakan database MySQL, sehingga data soal, jawaban, hasil analisis dan data pengaturan/variabel aplikasi yang disimpan dalam suatu record pada tabel yang berada dalam satu database MySQL yang dipakai juga oleh perangkat lunak MOODLE. Fitur ini juga dikembangkan dengan bahasa pemrograman PHP yang juga digunakan oleh perangkat lunak MOODLE.

Fitur analisis butir soal dilengkapi dengan menu cara pemakaian, teori singkat tentang masing-masing proses analisis yang dilakukan, fasilitas melihat paket soal (kuis) yang pernah dibuat dengan link langsung untuk melakukan analisis tes hasil belajar serta fasilitas untuk melihat koleksi soal yang telah dianalisis. Desain arsitektur fitur analisis soal dapat dilihat pada gambar 1. Bagian yang digambarkan dengan pola garis putus-putus adalah bagian yang ditambahkan pada MOODLE dan merupakan fitur analisis butir soal.

Gambar 1. Arsitektur fitur analisis soal

KESIMPULAN

Berdasarkan pembahasan tentang pengembangan desain fitur analisis soal pada perangkat lunak MOODLE dapat diampil kesimpulan sebagai berikut

  1. Desain fitur analisis soal yang dikembangkan menggunakan model block atau module. Guru/tutor dapat mengaktifkan fitur tersebut dengan mengaktifkan block fitur tersebut.
  2. Fitur analisis soal digunakan untuk menganalisis soal pilihan ganda dan didasarkan kepada analisis tingkat kesukaran, daya pembeda, pola penyebaran jawaban, validitas butir soal dan reliabilitas skor tes.
  3. Fitur ini dapat mengkoleksi soal-soal yang telah teruji kemudian dimasukkan kedalam basis data kelompok soal terstandar.

Daftar Pustaka

Aiken, Lewis R. 1994. Psychological Testing and Assesment – Eight Edition. Boston: Allyn and Bacon.

Anastasi, Anne and Urbina, Susana. 1997. Psychological Testing – Seventh Edition. New Jersey: Prentice-Hall, Inc.

Arikunto, Suharsimi. 2002. Dasar-dasar Evaluasi Pendidikan. Jakarta: Bumi Aksara.

Arikunto, Suharsimi. 2007. Prosedur-prosedur Penelitian. Jakarta: Bumi Aksara.

BPG Disdik Jabar. 2008. Penilaian dan Panduan Analisis Butir Soal. Bandung: BPG Disdik Propinsi Jawa Barat.

Cooch, Mary.2010. Moodle 2.0 First Look. Birmingham: Packt Publishing.

Crocker, L & Algina, J. 1986. Introduction to Classical and Modern Test Theory. Illinois: Scott, Foresman and Company.

Djuniadi dkk. 2009. Petunjuk Penggunaan ILMO Unnes v1.0. Semarang: UPT Komputer Universitas Negeri Semarang.

Gronlund, Normand E. 1977. Constructing Achievment Tests- Second Edition. Illinois: Prentice-Hall, Inc.

Haladyna, Thomas M. 2004. Developing and Validating Multiple-Choice Test Items. New Jersey: Lawrence Erlbaum Associates.

Hernowo, Ilham. 2010. Pengembangan Software Learning Management System di SMP 1 Ungaran Menggunakan PHP dan MySQL. Semarang: Universitas Negeri Semarang.

Howell, Scott L.and Hricko, Mary. 2006. Online Assessment and Measurement: Case Studies from Higher Education, K-12 and Corporate.London: Information Science Publishing.

Kubiszyn, Tom and Borich, Gary. 2003. Educational Testing and Measurement, Classroom Application and Practice. New York: John Wiley & Sons, inc.

Munawar, Akhmad. 2009. Pengembangan E-Learning Berbasis Moodle Sebagai Penunjang Perkuliahan Di Jurusan Teknik Elektro Universitas Negeri Semarang. Semarang: Universitas Negeri Semarang.

Muntoha, Muhammad. 2010. Pengembangan Sistem Informasi Evaluasi Pendidikan berbasis web di Jurusan Fisika Universitas Negeri Semarang. Semarang: Universitas Negeri Semarang.

Moore, Jonathan and Churchward, Michael. 2010. Moodle 1.9 Extension Development. Birmingham: Packt Publishing Ltd.

Murphy, Kevin R. and Davidshofer, Charles O. 2005. Psychological Testing Principles and Application 6th Edition. New Jersey: Pearson Education International.

Nitko, Anthony J. 1996. Educational Assesment of Students – Second Edition. Ohio: Merrill an imprint of Prentice Hall Englewood Cliffs.

Soleh, Muhammad. 2004. Penerapan CMS Moodle sebagai Alat Uji Coba Soal. Bangkok: SIB Bangkok.

Sudijono, Anas. 2009. Dasar Evaluasi Pembelajaran. Jakarta: Grafindo Press.

Utomo, Pristiadi. 2008. Analisa Butir-butir Soal Fisika. Semarang: Universitas Negeri Semarang.

Moodle Documentation Team. 2009. Moodle Documentation Wiki. http://docs.moodle.com. Akses 19 September 2010.

PHP Documentation Team. PHP Documentation Online. http://php.net. Akses 19 September 2009.

Wikipedia. MySQL http://en.wikipedia.org/wiki/MySQL. Akses 19 September 2010.

Tim Penyusun. 2009. Kamus Besar Bahasa Indonesia. Jakarta: Pusat Kajian Bahasa Indonesia Depdiknas.

Ali, Mohammad. 2004. E-learning in Indonesian Education System, Indonesian University of Education, Seminar-Workshop on E-learning: The seventh Programming Cycle of APEID Activities. http://gauge.u-gakugei.ac.jp/apied04/country_papers/indonesia.pdf Akses 19 September 2010.

Anaraki Firouz.2006. Developing An Effective And Efficient eLearning Platform Using Open Source Software, Bangkok (http://www.elearningap.com/eLAP2006/Proceeding/p40.1-4-fin-16.pdf) Akses 19 September 2010.

Duvall, Kathy. Measurement and Evaluation: Test Item Performance: The Item Analysis. Illinois: University of Illionis at Urbana Champaign (http://www.oir.uiuc.edu/dme/exam/item.html) Akses 19 September 2010.

Incoming search terms: