Apakah Anda berjuang dengan bekerja pada big data (set data yang besar) pada laptop Anda? Saya baru-baru mencoba bekerja pada 10 GB pengenalan bigdata. Tapi, karena kekuatan komputasi terbatas laptop saya, admin tidak bisa melangkah lebih jauh. dan sekarang bertekad untuk memecahkan masalah ini, dan untungnya, dalam beberapa jam, admin berhasil membuat sebuah mesin 24GB pada AWS secara gratis dan mendapat hasil yang lebih baik.
Saya mendapatkannya secara GRATIS karena admin menggunakan versi trial dengan fitur terbatas, hanya untuk melihat seberapa cepat itu bisa bekerja. Saya terkejut, itu super cepat. Saya yakin akan ada banyak lagi seperti saya, yang tidak tahu bagaimana menangani big data pada laptop mereka. Bahkan, sebagian besar dari kita berpikir untuk membeli laptop baru yang kuat ketika menghadapi rintangan ini. Tapi, komputasi pada Platform AWS cukup murah.
Hanya untuk membantu Anda menangani masalah ini, admin akan berbagi langkah demi langkah proses admin digunakan untuk mengatur koneksi 24GB AWS misalnya dengan laptop saya. Untuk menunjukkan cara kerjanya, admin juga menunjukkan beberapa perhitungan pada data yang diatur dalam Python. Untuk pengguna R, semuanya tetap sama kecuali pada baris kode yang admin telah soroti dibawah.
Panduan pemula penggunaan Big Data di Amazon Web Services (AWS)
Catatan : Ini bukan posting promosi. Saya tidak berniat untuk mempublikasikan AWS di masyarakat analytics. Posting ini dimaksudkan untuk orang-orang yang menghadapi kesulitan bekerja pada big daya dan ingin bekerja lebih cepat.
Daftar Isi
1. Apa itu AWS ?
2. Cara mengkonfigurasi AWS ?
3. Membangun project pertama di Instance Amazon Web Service ?
Pembahasan
1. Apa itu AWS ?
Amazon EC2 (Elastic Compute Cloud) menyediakan akses ke sumber daya terukur di cloud computing. Ini memungkinkan organisasi dan individu untuk menjauh dari pengaturan dan memelihara hardware di situs. Anda dapat menggunakannya seperti laptop Anda sendiri dan dapat mengkonfigurasi sesuai keinginan anda, dan dengan harga yang murah dengan pilihan yang bervariasi. Amazon EC2 memungkinkan Anda untuk mengelola keamanan, jaringan dan penyimpanan yang diinginkan.
Mari kita mencoba dan memahami beberapa istilah yang digunakan oleh AWS. Ini akan membuat kita lebih mudah untuk menggunakan interface dan platform AWS.
1.1 Instances dan AMIs
Seperti yang dijelaskan oleh AWS, AMIs (Amazon Machine Image) adalah template yang berisi konfigurasi perangkat lunak (misalnya, sistem operasi, server aplikasi, dan aplikasi). Anda dapat memahaminya sebagai definisi tingkat tinggi sistem Anda. AMIs dapat dipahami sebagai kategori yang berbeda dari sistem.
Misalnya, OS Windows vs OS Linux. Ini definisi tingkat tinggi dan tidak cukup untuk sepenuhnya menentukan hardware. Jadi, kami pergi ke tingkat berikutnya dan menentukan sebuah contoh yang hanya salinan dari AMI tetapi dengan rincian granular ditentukan yang dibutuhkan untuk sebuah sistem, seperti RAM, penyimpanan memori, jumlah core, dll
1.2 Daerah dan Zona Ketersediaan
Pusat data Amazon di beberapa lokasi. Sebuah daerah mengacu pada lokasi geografis terpisah sementara zona ketersediaan adalah lokasi terpencil di suatu daerah. Anda dapat memilih untuk menempatkan sumber daya di beberapa zona ketersediaan. Jika lokasi tertentu dipengaruhi oleh kegagalan, semua lokasi lain masih akan tetap berjalan normal.
Infrastruktur AWS dapat diamati pada peta berikut diberikan oleh AWS :
Beberapa poin yang perlu diperhatikan:
- AWS tidak menyediakan transfer data antar daerah. Jadi bagian yang harus dikelola dengan menggunakan protokol keamanan Anda sendiri melalui internet.
- Bahkan jika kita menempatkan contoh diatas, beberapa zona ketersediaan dan salah satu dari mereka gagal, maka kita bisa menentukan alamat IP terbaik.
- Zona ketersediaan diwakili oleh kode wilayah diikuti dengan identifier surat, misalnya "us-west-1a". Tapi pengenal ini ditetapkan untuk satu account dan tidak dapat dibandingkan seluruh akun.
1.3 Jenis Instance
Jenis menentukan perangkat keras komputer host yang digunakan, misalnya Setiap jenis contoh menawarkan kemampuan komputasi, memori, dan penyimpanan yang berbeda dan dikelompokkan, misalnya berdasarkan kemampuan.
Biasanya, beberapa bagian dari sumber daya komputer host berdedikasi untuk sebuah contoh tetapi dalam kasus sumber daya kurang dimanfaatkan, dapat diberikan kepada kasus lain. Jadi sumber daya bervariasi antara rentang untuk jenis tertentu.
Contoh yang baik contoh generasi sekarang atau contoh generasi sebelumnya. Para pengguna baru harus selalu menggunakan generasi sekarang sebagai contoh generasi sebelumnya adalah untuk mereka yang sudah dioptimalkan dan beralih ke contoh generasi baru memakan waktu.
1.3.1 ECU (EC2 Compute Unit)
Sejak server AWS didasarkan pada berbagai perangkat keras, sangat sulit untuk memberikan perbandingan kinerja secara absolut. Untuk mengatasi tantangan ini, AWS telah diciptakan ECU sebagai patokan hardware. 1 ECU adalah kapasitas CPU setara dengan 1,0-1,2 GHz 2007 Opteron atau 2007 prosesor Xeon. Jadi sekarang kita dapat dengan mudah membandingkan kinerja, dari 10ECU vs 88ECU misalnya.
1.3.2 Contoh Kinerja Burstable
Dalam sebuah contoh, tingkat minimum daya komputasi adalah standar tetapi dapat memiliki dorongan tergantung pada waktu idle dan penggunaan. hal ini memperoleh kredit ketika mereka menganggur dan menggunakannya ketika mereka aktif. Jumlah kredit yang diterima tergantung pada ukuran.
1.3.3 Amazon EBS (Elastic Block Store)
Di AWS, memori yang tersedia dalam dua bentuk. Pertama adalah toko, misalnya yang merupakan penyimpanan sementara dan semua data di dalamnya akan dihapus dan dihentikan. Tapi storage ini bekerja sangat cepat.
Bentuk lain adalah Amazon EBS yang seperti hard-disk eksternal yang melekat pada sistem. Setiap data yang tersedia pada ini tetap ada bahkan ketika misalnya tidak di bawah operasi. Tapi karena ini adalah seperti sebuah perangkat eksternal, kecepatan transfer data akan lambat seperti beberapa perangkat yang menggunakan ruang pada hardware yang sama.
Kecepatan akan ini bervariasi tergantung pada beban. Untuk mengatasi tantangan ini, AWS menawarkan sebuah opsi bernama sebagai EBS Optimized. Hal ini memungkinkan bandwidth dedicated antara AWS server dan perangkat penyimpanan data. Ini mungkin gratis dengan AWS atau dapat dibeli dengan biaya tambahan.
1.3.4 Contoh Dedicated
Ini adalah contoh yang berdedikasi pada tingkat hardware server. Biasanya, server akan digunakan untuk menjalankan beberapa contoh milik berbagai pelanggan. Tetapi jika pelanggan menuntut dedicated server yang hanya akan dijalankan untuk akun tertentu, didedikasikan merupakan pilihan.
Tag : Big Data, Amazon Web Services
2. Cara mengkonfigurasi AWS ?
Mari kita setup dan meluncurkan sebuah contoh menggunakan AWS sebagai pengetahuan yang telah kita peroleh sampai sekarang. Untuk tujuan demo ini, admin akan menggunakan contoh yang tersedia secara gratis sehingga Anda juga dapat mencobanya dengan tanpa biaya yang terlibat.Dalam rangka untuk mendapatkan contoh pertama, Ikuti langkah-langkah berikut ini :
Langkah 1 : Login ke Account AWS Anda
Pertama kita perlu account AWS. AWS menawarkan beberapa contoh gratis yang bisa kita manfaatkan dalam tutorial ini. Setelah masuk ke akun Anda, konsol manajemen Anda akan terlihat seperti ini:
Tag : Panduan pemula Big Data dengan Amazon Web ServicesLangkah 2: Pilih Amazon Machine Image (AMI)
Sekarang kita harus memilih AMI kami. Tombol Launch Instance akan membawa kami ke layar berikut:
Anda dapat melihat berbagai pilihan di sini:
- Quick Start : Ini adalah AWS didefinisikan Amis standar yang dapat kita pilih
- My AMIs : Custom Amis dibuat dalam akun
- AWS MarketPlace : pihak ketiga Amis pra-dikonfigurasi untuk menjalankan beberapa software tertentu
- Community AMIs : Tujuan tertentu yang dibuat oleh pengembang AWS
Perhatikan bahwa halaman ini menunjukkan hanya 4 AMIs tetapi ada banyak lagi yang Anda gulir ke bawah. Anda harus berhati-hati dari "Free Tier Eligible" tag. Hanya AMIs memiliki tag ini akan jatuh di bawah sumber daya gratis yang tersedia di tahun pertama.
Langkah 3 : Pilih Instance Type
Pada langkah ini, kita harus memilih sebuah contoh yang akan didasarkan pada AMI yang dipilih di atas.
Terlihat seperti halaman berikut :
Di sini Anda dapat melihat 2 pilihan :
- All Instance Type : Di sini Anda dapat menyaring dan memilih salah satu jenis instance luas seperti yang dijelaskan di sini .
- Current Generation : Opsi ini dapat dimodifikasi untuk mendapatkan contoh generasi sebelumnya juga
Langkah 4: Konfigurasi Detail Instance
Tampilannya terlihat seperti:
Halaman ini memungkinkan berbagai pengaturan seperti:
- Purchasing option: pilih antara biasa atau tempat Instance
- Tenancy : pilih jika contoh khusus diperlukan
Langkah 5: Tambahkan Storage
Sekarang kita dapat mengkonfigurasi pengaturan memori dari instance. Halaman terlihat seperti:
Seperti yang Anda lihat, secara default memori 8GB yang tersedia. kita dapat menambahkan sampai 30GB dari tujuan umum EBS secara gratis. Jadi admin telah menambahkan memori 16GB lain di sini.
Perhatikan bahwa kita akan melewatkan 2 langkah selanjutnya dalam tutorial dasar ini. Anda dapat meninjau dan mengisi beberapa nilai sebagai per aplikasi Anda.
Tag : Penggunaan Big Data, Amazon Web ServicesLangkah 6: Peluncuran Akhir
Langkah ini menampilkan ringkasan dari pilihan yang dibuat sebelum Anda memulai. Bagi kami, halaman akan terlihat seperti:
Anda dapat memeriksa pilihan dan meluncurkan misalnya. Sementara meluncurkan AWS akan muncul untuk pasangan password. Ini tidak lain hanyalah ukuran keamanan. Alih-alih mengingat password AMI untuk meluncurkan misalnya setiap kali, kita dapat membuat password yang bisa kita download di lokal sebagai file pem. Hal ini dapat digunakan di tempat password. Hal ini dapat dibuat sebagai:
Sekarang instance diluncurkan, itu akan mengarahkan kita ke Dashboard EC2 dimana kita dapat memeriksa instance berjalan. Bagi saya, ini tampak seperti:
Di sini Anda dapat melihat 2 instance tapi yang atas adalah salah satu yang admin buat sekarang. Perhatikan bahwa instance mengambil beberapa waktu untuk dikonfigurasi. Cek Status kolom menunjukkan Memulai.. sebagai komentar sementara instance sedang diluncurkan. Sekarang kita bisa melihat semua lulus pemeriksaan, selanjutnya klik Connect yang akan memungkinkan kita untuk mulai berbicara (maksud admin dalam bahasa kode :p).
Anda akan mendapatkan berikut pop-up :
Hal ini menunjukkan 2 pilihan tersambung ke instance.
Pertama adalah dengan menggunakan SSH Client seperti Putty.
Kedua adalah dengan menggunakan browser langsung. Karena admin memiliki sistem Mac OS X, admin bisa sederhana menggunakan terminal untuk menyambungkan nya menggunakan SSH. Jika Anda menggunakan windows, Anda dapat menginstal Putty atau gunakan opsi pertama.
3. Membuat model pertama di Instance Amazon Web Service ?
Saya akan membawa Anda melalui langkah-langkah saya, yang dapay Anda ikuti untuk terhubung ke instance menggunakan terminal Mac.
1. Pilih folder yang berisi file yang pem-download sebagai direktori saat iniSekarang kita akan masuk ke terminal dari ubuntu. Sebuah snapshot dari terminal admin dengan semua langkah di atas adalah sebagai berikut:
2. Jalankan perintah pada langkah # 3 dari halaman koneksi atas – chmod 400 test-instance.pem
3. Jalankan perintah pada langkah # 4 dari halaman koneksi atas – ssh -i “test-instance.pem” ubuntu@ec2-52-39-116-59.us-west-2.compute.amazonaws.com
Anda dapat melihat bahwa pada akhirnya, kita masuk ke instance AWS dan dapat mengakses terminal. Sekarang kita dapat dengan mudah menjalankan beberapa kode python di dalamnya.
Mari kita mulai dengan masuk ke python menggunakan perintah - python seperti yang ditunjukkan:
Ingat bahwa ini adalah seperti sistem baru sehingga kita harus menginstal semuanya dari awal. Mari kita mulai dengan menginstal pip yang dapat digunakan untuk menginstal paket-paket lain. Hal ini dapat dilakukan dengan menggunakan perintah:
#Install setuptools:Kode-kode ini akan berhasil menginstal pip. Sekarang kita dapat menginstal numpy, scipy dan sklearn menggunakan perintah berikut:
wget https://bootstrap.pypa.io/ez_setup.py -O - | python - --user
sudo python setup.py install
#Install pip:
wget https://pypi.python.org/packages/source/p/pip/pip-1.1.tar.gz#md5=62a9f08dd5dc69d76734568a6c040508
tar -xvf pip*.gz
cd pip*
sudo apt-get install python-pip
pip install numpyPerintah ini akan menginstal perpustakaan masing-masing. Jika Anda mendapatkan masalah izin ditolak, Anda dapat menambahkan sudo (super digunakan do) di depan ini yang seharusnya bisa mengatasi masalah tersebut.
pip install scipy
pip install sklearn
Perhatikan bahwa di sini admin hanya melakukan ini untuk demonstrasi jadi ini bekerja. Tapi dalam prakteknya, Anda mungkin ingin membuat beberapa lingkungan virtual di mana kode Anda pergi sehingga tidak mempengaruhi kode lain.
Mari masuk ke dalam python sekarang dan mengimpor perpustakaan tersebut untuk memastikan bahwa mereka dipasang.
Sekarang mari kita memuat atur dataset dan membuat klasifikasi keputusan di atasnya.
from sklearn.datasets import load_irisSekarang kita bisa membuat pohon keputusan cepat di atasnya dan menganalisis skor validasi silang.
iris = load_iris()
print iris.data[:10,:]
Catatan akhir
Pada artikel ini, kita mulai dengan berkenalan dengan konsep dan terminologi yang diperlukan untuk memahami sistem AWS. Kemudian pindah ke pengaturan instance AWS secara gratis! Perjalanan jelas ditata dengan screenshot dari seluruh proses.Akhirnya, admin menginstal perpustakaan python dasar termasuk numpy dan sklearn dan membuat model pertama admin pada dataset IRIS. Ini adalah pengenalan tingkat yang sangat tinggi untuk AWS tapi admin sudah mencoba untuk tetap fundamental.
Jika Anda mengikuti artikel ini, admin yakin Anda akan mendapatkan nuansa sistem yang akan membantu Anda dalam aplikasi praktis hardcore di masa depan. Apakah Anda suka membaca artikel ini? Apakah Anda akan berbagi pengalaman / saran di bagian komentar di bawah ini. Saya ingin tahu pengalaman Anda bekerja pada AWS.
