Teknologi ICR dan Pemilu 2009, Lesson Learned

Kegiatan tabulasi nasional elektronik KPU di Hotel Borobudur resmi ditutup kemarin 20 April, hasilnya jauh dari harapan semula, 70-80% dalam 12 hari. Tulisan ini untuk mengoreksi dan menjelaskan pernyataan pada blog saya sebelumnya seputar penggunaan ICR dan pemilu 2009,  berdasarkan komentar dan masukan Pak Anto dan Pak Oskar yang saya hormati, semoga bisa menjadi pelajaran buat kita semua dalam memilih dan menyarankan sebuah teknologi atau produk.

Pak Oskar dan Pak Anto yang saya hormati, terima kasih telah mampir dan memberi komentar pada blog saya.
Saya minta maaf jika kata-kata yang saya gunakan dalam tulisan saya telah menyinggung perasaan rekan-rekan scientist yang sehari-hari bergelut dengan teknologi ICR. Tulisan tersebut saya buat pada tanggal 6 April setelah membaca cuplikan berita kompas pada hari yang sama seperti yang terlampir dan setelah dilengkapi ulasan lainnya baru saya publish tanggal 8, sehari sebelum pemilu. Saat itu saya belum membaca posting dari link yang diberikan pak Anto.

Saya tidak menyangkal akurasi teknologi ICR yang bisa mencapai hasil 99% (hint, ada pengecualian dalam kalimat saya). Tapi dalam konteks topik di atas yaitu teknologi ICR dan pemilu 2009, berdasarkan spesifikasi yang saya temui(dikeluarkan sebelum KPU menggandeng BPPT), saya sangat meragukan bahwa produk ICR yang disarankan kepada KPU dan dicari untuk digunakan dalam mendukung tabulasi elektronik adalah produk ICR yang sudah cukup teruji. Karena itu saya sangat tidak mengerti ketika membaca cuplikan berita di kompas tersebut, sangat khawatir gitu loh... Berita di Kompas tersebut menimbulkan kesan kepada publik seolah-olah produk ICR yang akan digunakan KPU telah diuji BPPT dan akurasinya 98% (silakan disimak kembali cuplikan beritanya), sebenarnya ini yang saya komentari dengan 'omong kosong', dan ini melalui komentar blog sudah Pak Anto tegaskan bahwa apa yang tertulis di Kompas tersebut memang tidak benar, terima kasih.

Kalau Pak Anto sehari-hari bergelut dengan teknologi ICR di lab, maka tulisan saya hanya berdasarkan pengalaman saya di lapangan, sebagai orang yang membantu beberapa customer dalam menggunakan solusi-solusi form processing termasuk OCR, DMR dan ICR.
Ketika seseorang menanyakan kepada saya tentang akurasi ICR, maka selalu saya jawab dengan pertanyaan juga, akurasi pada kondisi yang bagaimana?
1. apakah formnya sudah beredar dan/atau sudah diisi?
2. apakah formnya dirancang untuk diproses komputer?
3. apakah petunjuk pengisiannya ada dan cukup mudah dimengerti?
4. apakah yang mengisi berkepentingan pada hasil pembacaan form yang diisi?
5. kalau belum dicetak, adakah anggaran yang tersedia untuk penyediaan form yang memadai?
6. berapa target throughput yang ingin dicapai?

Dari jawaban atas pertanyaan-pertanyaan tersebut, kita bisa membuat strategi bagaimana memaksimalkan akurasi pembacaan ICR, seperti bagaimana rancangan form yang cocok, bagaimana memudahkan operator melakukan validasi dan verifikasi, dan bagaimana memaksimalkan throughput dari proses secara keseluruhan.

Kita sebaiknya jangan terlalu optimis dalam menjanjikan akurasi ICR, karena ini akan sangat besar risikonya, apalagi kalau risiko ini tidak dikelola dengan baik, seperti yang terjadi pada kegiatan IT pemilu 2009 ini. Boleh optimis tapi harus realistis dan jangan sampai timbul over-expectation yang pada akhirnya tidak bisa kita wujudkan. Ini yang ingin saya tekankan pada tulisan saya tersebut.

Tentang pernyataan saya, "Kalau OCR saja tidak 100% akurat apalagi ICR, maka adalah omong kosong jika ada ICR yang mampu mencapai akurasi 98%, kecuali jika tesnya sangat terbatas dan kondisinya terekayasa dengan apik.", yang saya maksud ICR di sini adalah produk ICR yang ingin digunakan sesuai spesifikasi KPU dan bukan teknologi ICR nya, karena itu saya harap akan lebih bisa diterima kalau penulisannya saya koreksi menjadi ...jika ada produk ICR untuk pemilu 2009 yang telah diuji bppt yang...  

Sama seperti yang dituliskan Pak Oskar dan Pak Anto, dan pada kalimat saya tersebut di atas, untuk mencapai akurasi yang optimal dari sebuah produk ICR, kondisi penerapannya harus terekayasa dengan apik. Perancangan formulirnya harus direkayasa dengan baik, pencetakan formulirnya harus direkayasa dengan baik, cara pengisiannya harus direkayasa dengan baik, teknik scanningnya harus direkayasa dengan baik, serta metode validasi dan verifikasinya harus direkayasa dengan baik, tidak boleh lepas kendali, lalu kemudian berharap akurasinya 98%.
Hal yang sama berlaku juga untuk produk OMR/DMR, namun pengalaman keberhasilan DMR pada UASBN 2008, di mana pelaksananya adalah operator-operator yang baru pertama kali mengoperasikan scanner di tingkat kabupaten dan dengan jumlah kertas belasan juta lembar jawab yang diisi jutaan siswa-siswi setingkat SD, sudah cukup sebagai bukti bahwa produk DMR telah teruji untuk volume yang sangat besar dalam waktu singkat dan hasilnya akurat. Metode untuk mencapai hasil yang optimal pun sudah ada, bukan just do it and let see.
Menjanjikan akurasi dan kemudahan tanpa menuntut kondisi yang harus dipenuhi, sama saja dengan menyesatkan KPU sebagai pelaksana pemilu, dan akibatnya mengecewakan semua pihak yang turut menanggung biaya pelaksanaan kegiatan TI Pemilu 2009 yang tidak kecil. Setelah melihat hasil dan pelaksanaannya, semakin jelas bahwa dasar pemilihan ICR untuk tabulasi pemilu 2009 mungkin berasal dari petunjuk orang yang keliru dan karena itu tidak dapat dipertanggung jawabkan, apalagi jika tidak ada feasibilty study yang mendukung, hanya berdasarkan janji-janji dan harapan.

Sekali lagi terima kasih atas komentarnya dan semoga bisa menjadi pelajaran buat kita semua di masa yang akan datang dalam memilih dan menyarankan sebuah teknologi atau produk.

Share this post: | | | |
Published Tuesday, April 21, 2009 7:36 AM by tahir
Filed under: , ,

Comments

# re: Teknologi ICR dan Pemilu 2009, Lesson Learned

Tuesday, April 21, 2009 3:05 PM by irwansyah

Mantaf nih kalo 2 orang scientist berargumen. Jarang-jarang bisa lihat perdebatan tingkat tinggi seperti ini.

# re: Teknologi ICR dan Pemilu 2009, Lesson Learned

Tuesday, April 21, 2009 3:13 PM by mr_o

yup..sangat sayang sekali dengan anggarannya yang besar sekali namun hasilnya null...duit rakyat terbuang percuma...

# re: Teknologi ICR dan Pemilu 2009, Lesson Learned

Tuesday, April 21, 2009 3:21 PM by zeddy

ah... the old debate "Pragmatist" vs "Professor"

Yg satu experience hands-on di real-world, kehebatan dia di-review oleh customer dan dunia bisnis... dan fokus untuk "customer satisfaction".

Yg satu lagi kebanyakan di-lab melakukan riset...interaksi-nya dgn membaca paper orang-orang senior terdahulu. Kehebatan dia di-review oleh system "peer-review"... dan fokus-nya agar bisa presentasi paper di IEEE/ACM Conference dan Journals.

Dua-duanya aim untuk advancing state-of-the-art... bedanya Pragmatist lebih terasa solusinya dalam short-term, sedangkan Professor lebih terasa solusinya dalam long-term.

Ada posting menarik juga disini, judulnya "The Master, The Expert, The Programmer" (www.zedshaw.com/.../master_and_expert.html). Disitu disinggung juga ttg Donald Knuth, penulis The Art of Programming, yg juga akademisi.

Oh ya, saya juga kecewa dgn tim IT Pemilu 2009 ini, kurang keliatan IT-nya gitu :)

# re: Teknologi ICR dan Pemilu 2009, Lesson Learned

Wednesday, April 22, 2009 2:17 PM by Oskar Riandi

Terima kasih Pak Tahir untuk topiknya. Saya setuju dengan pendapat Bapak, apapun teknologi yang dipakai, harus direncanakan dan diorganisasikan dengan baik. Kegagalan yang timbul setelah melakukan usaha yang optimal adalah faktor lain; selama traceable, bisa dibuatkan counter measurenya, dibuatkan perbaikannya dan dapat diimplementasikan, maka itu adalah lesson learning yang sesungguhnya. Orang Jepang bilang kaizen. Dan itu berlangsung seumur hidup.

@Zeddy

Saya atas nama pribadi yang kebetulan berada di Tim IT KPU 2009 memahami benar kekecewaan Anda. Siapapun mungkin kecewa, termasuk saya yang tidak bisa perform pada tugas ini.

Tapi ungkapan rekan saya dibawah bisa menjadi renungan...

"Even nine women cannot make a baby in one month! Jadi, ada banyak hal yang masih tetap bergantung pada waktu ..."

Doakan kami agar ke depan dapat bekerja dengan lebih baik.

Terima kasih.

Powered by Community Server (Commercial Edition), by Telligent Systems