Coretan : Crawl & Data Feed pada toko virtual
Bagi yang terbiasa dengan internet, dan ingin membeli kamera maka langkah yang paling gampang adalah membuka website yang memberikan harga barang yang dicari, seperti bhineka dot com, jpckemang dot com, oktagon co iddan lain-lain.
Ke bhineka dot com, cari kategori yang sesuai, cari merk, cari tipe…kemudian ketemu harganya.
Ke jpckemang dot com, cari kategori yang sesuai, cari merk, cari tipe…kemudian ketemu harganya.
Ke oktagon co id, cari kategori yang sesuai, cari merk, cari tipe…ketemu lagi lagi harganya.
Hmm….mana yang lebih murah? mana bonus yang paling ok. Kurang puas dg ketiga ‘toko’ tersebut? Maka dicarilah ‘toko’ lain….petualangan terus dilakukan untuk mendapatkan barang dengan harga sesuai budget (walau biasanya ngga beli juga :p).
Oleh sebab itulah, (sejak lama) dibuat sesuatu dengan nama Comparison Shopping Engine (CSE) yang fungsinya untuk memberikan komparasi harga dari suatu produk dari toko yang bertebaran di dunia virtual. Sebagai contoh http://www.roboshopper.com atau http://www.shopping.com. Sistem ini berfungsi menampilkan barang yang diketikkan sesuai keyword, yaitu data spesifikasi barang, review, harga termurah dan link ke toko yang menjual dengan harga termurah tersebut. Jadi pekerjaan berpetualang seperti yang dilakukan di atas dapat dikurangi.
Hal yang paling penting dari engine ini adalah DATA. Bagaimana data bisa diambil dari toko-toko yang ada seperti bhineka dot com, jpckemang dot com dan lain-lain. Ada dua cara yang populer, yaitu crawl dan data feed.
{Crawl}
Cara sangar ini adalah cara mengambil data dengan berkunjung ke website yang dimiliki oleh toko-toko, analisa halaman-halaman HTML pada website tersebut dan cari informasi serta harga mengenai produk yang ditawarkan.
Dari tampilan ketiga daftar barang pada tiga website toko maka crawler yang dibuat harus pintar untuk mencari informasi tersebut. Yang membuat juga mesti super pintar, jadi cara ini bukan pilihan buat saya :)
{Data Feed}
Untuk menggunakan metode ini sang toko yang ingin disedot datanya harus menyediakan sarana agar data produk yang dimiliki bisa dikonsumsi. Sebagai contoh, pada Walmart bisa dikonsumsi data seperti berikut ini dalam format CVS atau XML.
Bagaimana dengan tempat lain seperti Amazon atau BestBuy? format boleh sama, tapi akan ada perbedaan dari atribut-atribut yang dimiliki oleh data tersebut. Artinya tetap harus dilakukan pengolahan data tersebut sebelum ‘disimpan’ dan digunakan.
{Metode Pilihan}
Dari kedua metode tersebut sepertinya metode Data Feed lebih terbayang untuk diambil sebagai sumber data. Selanjutnya tinggal dicari cara mengolah data mentah ini agar bisa disimpan untuk nantinya digunakan. Bagaimana cara mengolah data mentah ini ?
Dengan menggunakan seluruh kemampuan otak yang ada ini maka cara yang paling simple adalah :
- daftarkan url untuk data feed (hmm….sepertinya akan ada masalah dan kesulitan disini).
- mapping data sumber dengan atribut data yang akan digunakan oleh sistem (terpikir untuk membuat pola mapping menjadi ‘sesuatu’ yang dapat dibaca oleh sistem sehingga akan mempermudah mesin mengambil data secara berkala dan menyimpan ke data pada sistem).
- sinkronisasi data (hmmm….).
Tiduuur.