Hive
Penciptaan mereka , yang disebut Hive , memungkinkan pengembang SQL untuk menulis pernyataan Hive Query Language ( HQL ) yang mirip dengan pernyataan SQL standar; sekarang Anda harus menyadari bahwa HQL terbatas pada perintah ia mengerti , tapi masih cukup berguna . Pernyataan HQL dipecah oleh layanan Hive menjadi pekerjaan MapReduce dan dieksekusi acros cluster Hadoop .
Bagi siapa pun dengan SQL atau latar belakang database relasional , bagian ini akan terlihat sangat akrab bagi Anda . Seperti halnya sistem manajemen database ( DBMS ) , Anda dapat menjalankan query Hive Anda dalam banyak cara . Anda dapat menjalankannya dari command line interface ( dikenal sebagai sarang shell ) , dari Java Database Connectivity ( JDBC ) atau Open Database Connectivity ( ODBC ) aplikasi memanfaatkan driver Hive JDBC / ODBC , atau dari apa yang disebut Client Hive Thrift . The Hive Thrift Client jauh seperti database klien yang akan diinstal pada komputer klien pengguna ( atau dalam tingkat menengah dari arsitektur three-tier ) : berkomunikasi dengan layanan Hive berjalan di server . Anda dapat menggunakan Hive Thrift Client dalam aplikasi yang ditulis dalam C ++ , Java , PHP , Python , atau Ruby ( seperti Anda dapat menggunakan bahasa client - side ini dengan embedded SQL untuk mengakses database seperti DB2 atau Informix ) .
Hive terlihat sangat mirip kode database tradisional dengan akses SQL . Namun, karena Hive didasarkan pada Hadoop MapReduce dan operasi , ada beberapa perbedaan penting . Yang pertama adalah bahwa Hadoop ditujukan untuk scan sekuensial panjang , dan karena Hive didasarkan pada Hadoop , Anda dapat mengharapkan permintaan untuk memiliki latency yang sangat tinggi ( beberapa menit ) . Ini berarti bahwa Hive tidak akan cocok untuk aplikasi yang membutuhkan waktu respon yang sangat cepat , seperti yang Anda harapkan dengan database seperti DB2 . Akhirnya , Hive dibaca berbasis dan karena itu tidak sesuai untuk proses transaksi yang biasanya melibatkan persentase yang tinggi dari operasi menulis .
Hadoop
Apache Hadoop adalah sebuah open-source framework untuk pemrosesan data-sets skala besar dalam clusters hardware komputer yang terjangkau dan mudah diperoleh. Pada umumnya framework Hadoop dikembangkan dalam bahasa Java, dengan beberapa source code dalam bahasa C dan command line utilities ditulis sebagai shell-scripts.
Framework Apache Hadoop tersusun dari 4 modul berikut:
- Hadoop Common – berisi libraries dan utilities yang dibutuhkan oleh modul Hadoop lainnya.
- Hadoop Distributed File System (HDFS) – sebuah distributed file-system.
- Hadoop YARN – sebuah platform resource-management yang bertanggung jawab untuk mengelola resources dalam clusters dan scheduling.
- Hadoop MapReduce – sebuah model programming untuk pengelolaan data skala besar.
Sejarah Hadoop
Hadoop diciptakan oleh Doug Cutting dan Mike Cafarella pada tahun 2005. Cutting, pada saat itu bekerja di perusahaan Yahoo!, Kata “Hadoop” sendiri adalah nama mainan gajah berwarna kuning milik anaknya. Hadoop terinspirasi dari publikasi makalah Google MapReduce dan Google File System (GFS) oleh ilmuwan dari Google, Jeffrey Dean dan Sanjay Ghemawat pada tahun 2004.
Pengguna Hadoop
Perusahaan besar yang menggunakan Hadoop seperti Yahoo! dan Facebook. Pada tahun 2010, Facebook menyatakan bahwa mereka memiliki Cluster Hadoop paling besar di dunia dengan 21 Petabyte. Pada tanggal 13 Juni 2012 mereka memberitahukan bahwa data yang sebelumnya 21 Petabyte telah bertambah menjadi 100 Petabyte. Dan tanggal 8 November 2012 penggunaan data di Facebook naik kira-kira setengah Petabyte per hari.
Windows Azure
Windows Azure adalah sebuah sistem operasi yang berjalan diatas Cloud, didesain untuk menjalankan aplikasi dan computing utility. Windows Azure mempunyi 4 buah fitur penting, yaitu :
- Service Management, Dengan Windows Azure kita diberikan kemudahan untuk mendeploy dan mengatur aplikasi yang kita buat.
- Compute, Dengan dukungan Cloud kita tidak perlu khawatir dengan performansi dari server itu sendiri.
- Storage, Storage space yang sanget besar untuk aplikasi kita, jadi siapapun bisa menggunakannya.
- Developer Experience, developer diberikan kemudahan dalam mendeploy suatu aplikasi, layaknya kita mendeploy sebuah aplikasi dengan visual studio di desktop kita sendiri.
Windows Azure menawarkan banyak sekali kemudahan untuk para developer aplikasi, sama mudahnya dengan mendeploy aplikasi di desktop, namun bedanya kali ini kita mendeploy aplikasi tersebut diatas sistem operasi Cloud, kemudahan yang diberikan :
- Abstrct execution environtment, Sama mudahnya dengan anda memilih aplikasi yang ingin anda jalankan dan klik RUN!, anda tidak perlu tim deployment yang menentukan di server mana akan menjalankan code dari aplikasi tersebut, semuanya berjalan otomatis.
- Shared file system, semua file system yang anda butuhkan sudah tersedia.
- Resource allocation, dengan Windows Azure setiap orang dapat menggunakan environment yang sama dengan yang lainnya.
- Programing environtment, developer merasakan suasana yang sama halnya dengan mendeploy aplikasi di desktop sendiri.
Windows Azure juga menyediakan support untuk computing utility dimana Windows Azure sangat reliable, it’s always up 24/7 operation, jadi anda tidak perlu pusing untuk membeli atau membangun sebuah data center untuk menjalankan aplikasi anda. Dan yang tidak kalah pentingnya Windows Azure ini bersifat simple, kita dapat mengontrol secara remote dan juga sangta mudah untuk di manage.
Supaya tidak salah intepretasi, Windows Azure bukanlah sebuah software yang berjalan diatas server atau desktop anda, tetapi merupakan sebuah sistem operasi yang berjalan diatas banyak server yang saling terhubung satu sama lain (Cloud) dan di host di data center milik Microsoft US.
Dengan Windows Azure kita dapat secara langsung membangun aplikasi web dan langsung dapat diakses, dimana aplikasi yang kita bangun tertampung di microsoft data center. Jadi kita dapat membangun aplikasi di awan secara langsung.
MAHOUT
Mahout
adalah library Machine Learning (ML) –berbasis pemrograman Java– yang teruji kompatibel dengan platform komputasi MapReduce Hadoop untuk pemrosesan analitik prediktif (predictive analytic)
0 comments:
Post a Comment