Tugas Datawerehouse 3 pert6

Star Schema

Desain Star Schema adalah struktur sederhana yang berhubungan dengan beberapa tabel dan didefinisikan dengan join path. Desain database ini sangat kontras dengan struktur normal untuk database proses transaksi, menyediakan query yang cepat sesuai respon waktu, dan skema sederhana yang dapat dengan mudah dimengerti end user dan analis, waulupun mereka be1um terbiasa dengan struktur database (Poe, 1996, pp120-121). 

 dan berikut adalah star schema yang sudah di normalisasikan

Snowflake

Snowflake schema adalah jenis variasi star schema yang terlihat menyerupai butiran salju. Berisitabel dimensi dan fact tabel. Dimana tabel dimensi tersebut dinormalisasi menjadi sebuah hirarkiyang terorganisasi. Tujuan dari normalisasi tabel dimensi adalah mengurangi redudancy. Tujuannya untuk memelihara kapasitas disk atau memori.

 Didalam data warehouse bisa terdapat star - snowflake schema apabila :

- terdapat root yang unik.

- Setiap reference didalam poin root menuju ke subgraph didalam data warehouse graph.

Tugas Datawarehouse 2

Arsitektur Data Warehouse

Sebuah sistem data warehouse memiliki dua arsitektur utama yaitu data flow architecture dan system architecture . Dataflow architecture adalah tentang bagaimana menyimpan data tersebut diatur dalam sebuah gudang data dan bagaimana data mengalir dari sistem sumber ke pengguna melalui menyimpan data tersebut . System architecture adalah tentang konfigurasi fisik dari server , jaringan, perangkat lunak , penyimpanan , dan klien .

Arsitektur Aliran Data (Data Flow Architecture)

Single DDS (DDS Tunggal)

Pada bagian ini , Anda akan belajar tentang arsitektur aliran data sederhana yang hanya terdiri dari dua data store yaitu stage dan DDS . Dalam arsitektur ini, menyimpan data warehouse inti dalam format dimensional .

Dalam arsitektur DDS tunggal , Anda memiliki menyimpan data satu dimensi . DDS terdiri dari satu atau beberapa dimensi data mart . Sebuah dimensi data mart adalah sekelompok tabel fakta terkait dan tabel dimensi yang sesuai yang berisi pengukuran kegiatan bisnis dan dikategorikan berdasarkan dimensi.

Keuntungan dari arsitektur DDS tunggal yaitu struktur arsitektur yang lebih sederhana dari tiga struktur arsitektur berikutnya . Hal ini dikarenan data daristage dimuat langsung ke penyimpanan data dimensi , tanpa pergi ke setiap jenisstore yang dinormalisasi terlebih dahulu. Kerugian utama adalah bahwa hal itu lebih sulit, dalam arsitektur ini untuk membuat DDS kedua. Sebuah DDS dalam DDS tunggal merupakan store data master yang berisi satu set lengkap data dalam data warehouse.

NDS + DDS

Dalam arsitektur aliran data NDS + DDS, ada tiga penyimpanan data yaitu stage, NDS, dan DDS. Arsitektur ini mirip dengan arsitektur DDS tunggal, tetapi memiliki penyimpanan data yang dinormalisasi di depan DDS. NDS dalam bentuk relasional normal ketiga atau lebih tinggi. Tujuan memiliki NDS ada dua. Pertama, mengintegrasikan data dari beberapa sistem sumber. Kedua, mampu memuat data ke dalam beberapa DDSS. Berbeda dengan arsitektur DDS tunggal, dalam arsitektur NDS + DDS Anda dapat memiliki beberapa DDSS.

ODS + DDS

Arsitektur ini mirip dengan arsitektur NDS + DDS. Seperti NDS, ODS adalah dalam bentuk normal ketiga atau lebih tinggi. Berbeda dengan NDS, ODS hanya berisi versi terbaru dari data master, ia tidak memiliki data master historis. Struktur entitasnya seperti sebuah database OLTP. ODS tidak memiliki kunci pengganti. Kunci pengganti diselenggarakan dalam ETL DDS.ODS mengintegrasikan data dari berbagai sistem sumber. Data dalam ODS dibersihkan dan terintegrasi. Data mengalir ke ODS telah melewati penyaringan DQ.

Tugas paper kebutuhan datawerehouse pada perusahaan CEMERLANG SKIN CARE

Berikut ini adalah link jurnal dari "PERANCANGAN DATA WAREHOUSE PENJUALAN UNTUK MENDUKUNG KEBUTUHAN INFORMASI EKSEKUTIF  CEMERLANG SKIN CARE"

link "paper" : Click Here please

Analisis Kebutuhan Yang Diperlukan Untuk Membangun Data warehouse adalah sebagai berikut :

        Menganalisa Kebutuhan
  Mendefinisikan Kebutuhan Fungsional
Mendefinisikan kebutuhan fungsional ini digunakan untuk membicarakan mengenai fitur dan fungsi dari data warehouse. Dan ini yang kebutuhan fungsional pada cemerlang skin care
• Data warehouse harus mampu melakukan analisa terhadap data obat disetiap cabang
• Data warehouse harus mampu melakukan analisa terhadap data anggota (member VIP dan High service)
• Data warehouse harus mampu melakukan analisa terhadap data penjualan disetiap cabang
• Data warehouse harus mampu melakukan analisa terhadap data pembelian disetiap cabang
• Data warehouse harus mampu melakukan analisa terhadap data stock(ketersediaan) disetiap cabang
Studi Kelayakan
Studi kelayakan digunakan untuk memeriksa data yang masuk, dan untuk memahami data dengan membuat data sebagai pembantu mengambil  resiko utama dan mengverifikasi kepada pemegang perusahaan atau manager yang akan membantu memilih dengan efektif dan efisien tindakan untuk perusahaan "cemerlang skin care"

Kebutuhan non-fungsional pada cemerlang skin care
• Datawerehouse hanya dapat di aksess oleh pimpinan masing-masing cabang
• data yang ada dapat di aksess oleh pemimpin perusahaan dimana saja (hanya pemimpin dr masing-masing cabang)
• spesifikasi minimal dari device para pimpinan untuk mengaksess datawerehouse dari cabangnya maupun dari cabang lain yaitu win xp service pack 3 / win 7 profesional dengan processor min core i3 dan RAM minimal 4gb
spesifikasi perangkat yang dibutuhkan
hardware:
Processor : Intel Corei3 2.4 GHz atau lebih tinggi
Memory : 4 GB RAM atau lebih
Hard Disk : 500 GB atau lebih
Display : VGA 1024x800 atau lebih
 Spesifikasi Perangkat Lunak (Software)
DBMS : SQL Server 2012
apps : VB.net
            program data server

Analisa sistem
sistem applikasi yang digunakan untuk berbentuk desktop yang bebasis visual basic dengan opet=rasi sistem windows dan menggunakan database SQL server 2012.

Perancangan Model Data Dimensional
Model data dimensional untuk system informasi cemerlang skin care dirancang berbentuk schema bintang yang terdiri dari table fakta dan table dimensi
  Table Fakta penjualan
Table ini berisi semua data dan informasi mengenai penjualan yang terdapat di cemerlang skin care. Table ini digunakan untuk menganalisa terapi, barang(obat), pasien, retur, totalpenjualan, total retur apa saja yang tersedia di cemerlang skin care.
  Table Dimensi (Durasi Database)
Table ini adalah hasil dari transformasi dari table fact_penjualan, dim_waktu, dim_barang, dim_terapi, dim_cabang, dim_dokter, dim_pasien.

Pengoperasian Data Warehouse
Didalam proses pengoperasian data warehouse sendiri terdapat proses penting didalamnya yaitu ETL (Extraction, Transformation, Loading). Proses ini dilakukan setelah proses pemuatan data sumber dari database cemerlang skin care.
  Proses Mempopulasikan Table Fakta Penjualan
  Proses Mempopulasikan Table Dimensi (Durasi Database)

Penyampaian Informasi
Dalam perancangan tahap ini applikasi database yang digunakan adalah SQL Server 2012
 Laporan Jumlah terapi
 Laporan Jumlah barang
 Laporan Jumlah pasien
 Laporan Jumlah retur
 Laporan Jumlah total penjualan
 Laporan Jumlah total retur

Data Werehouse

DATA WEREHOUSE

Data Warehouse merupakan  motode dalam perancangan database yang menunjang DSS (Decission Support System) dan EIS (Executive Information System).  Data warehouse adalah database yang berisi data dari beberapa system operasional yang terintegrasi dan terstruktur sehingga dapat digunakan untuk mendukung analisa dan proses pengambilan keputusan dalam bisnis. Data warehouse didesain untuk dapat melakukan query dengan cepat. Informasi diturunkan dari data lain, dilakukan rolling up untuk dijadikan ringkasan, dilakukan operasi drilling down untuk mendapatkan informasi lebih detail, atau melihat pola yang menarik atau melihat trend (kecenderungan).

Metadata dalam Definisi, Fungsi, dan Jenisnya
 Istilah metadata mulai sering muncul dalam literature tentang database management systems (DBMS) pada tahun 1980 an. lstilah tersebut digunakan untuk menggambarkan informasi yang diperlukan untuk mencatat karakteristik informasi yang terdapat pada pangkalan data. Banyak sumber yang mengartikan istilah metadata. Metadata dapat diartikan sumber, menunjukan lokasi dokumen, serta memberikan ringkasan yang diperlukan untuk memanfaat-kannya. Secara umum ada 3 bagian yang digunakan untuk membuat metadata sebagai sebuah paket informasi, dan penyandian (encoding) pembuatan deskripsi paket informasi, dan penyediaan akses terhadap deskripsi tersebut. Dalam makalah ini diuraikan mengenai konsep data dalam kaitannya dengan perpustakaan. Uraian meliputi definisi metadata; fungsi metadata; standar penyandian (encoding), cantuman bibliografis. surogat, metadata; penciptaan isi cantuman surogat; ancangan terhadap format metadata; serta metadata dan standar metadata.
  Pengertian yang lainnya menyebutkan metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll. Untuk jenis data gambar (image), metadata mengandung informasi mengenai siapa pemotretnya, kapan pemotretannya, dan setting kamera pada saat dilakukan pemotretan. Satu lagi untuk jenis data berupa kumpulan file, metadatanya adalah nama-nama file, tipe file, dan nama pengelola (administrator) dari file-file tersebut.

Fungsi Metadata :
Metadata memberikan fungsi yang sama seperti katalog yaitu:
         membuat sumberdaya bisa ditemukan dengan menggunakan kriteria yang relevan;
         mengidentifikasi sumberdaya
         mengelompokkan sumberdaya yang serupa
         membedakan sumberdaya yang tak miliki kesamaan
         memberikan informasi lokasi

Jenis Metadata :
            Terdapat tiga jenis utama metadata ;
1.Metadata deskriptif menggambarkan suatu sumberdaya dalam maksud seperti penemuan dan identifikasi. Dia bisa meliputi elemen semisal judul, abstrak, pengarang, dan kata kunci.
2.Metadata struktural menunjukkan bagaimana kumpulan obyek disusun secara bersama-sama menjadi satu, semisal bagaimana halaman-halaman ditata untuk membentuk suatu bab.
3.Metadata administratif menyediakan informasi untuk membantu mengelola sumberdaya, semisal terkait kapan dan bagaimana suatu informasi diciptakan, tipe dokumen dan informasi teknis lainnya, serta siapa yang bisa mengaksesnya.

Data Mart
   Data Mart adalah  bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasional pada suatu persahaan. Data mart sering digunakan untuk memberikan informasi kepada segmen fungsional organisasi.
Karakteristik Data Mart
Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.

Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami.

Keutungan dan Kelemahan Data Mart :
 Keuntungan Data Mart, sebagai berikut:
Akses mudah ke data yang sering digunakan
Penciptaan pandang kolektif untuk sekelompok pengguna
Peningkatan respon-time dari pengguna akhir
Fleksibel dan mudah cara pembuatan
Lebih hemat biaya daripada Data warehouse
Definisi pengguna lebih jelas dari sebuah gudang data.
Kelemahan Data Mart, sebagai berikut :

Tidak bisa sepenuhnya menilai kinerja LAN berbasis sistem manajemen database sementara port dari satu lingkungan yang lain.

Dapat mendukung kelompok-kelompok pengguna kecil atau sederhana sumber data, yang tidak ideal untuk aplikasi perangkat lunak didistribusikan dan pengembangan skala besar Perusahaan-lebar sistem manajemen database

DATA WAREHOUSE

— DATA MINING

Data Mining adalah kegiatan untuk menemukan informasi atau pengetahuan yang berguna secara otomatis dari data yang jumlahnya besar.

—Data Mining merupakan salah satu proses dari keseluruhan proses yang ada pada Knowledge Discovery in Databases (KDD). 

KDD

—Knowledge Discovery in Databases (KDD) merupakan sekumpulan proses untuk menemukan pengetahuan yang bermanfaat dari data.

—Kumpulan proses dalam KDD meliputi : pembersihan data (data cleaning), integrasi data (data integration), pemilihan data (data selection), transformasi data (data transformation), penambangan data (data mining), evaluasi pola (pattern evaluation), dan presentasi pengetahuan (knowledge presentation).

—Berdasarkan definisi ini terlihat bahwa data mining hanya merupakan salah satu proses dari keseluruhan proses yang ada pada KDD, tetapi merupakan proses yang sangat penting dalam menemukan pola-pola yang berguna dari sejumlah data yang besar (data tersebut bisa disimpan dalam basisdata, Data Warehouse, atau media penyimpanan informasi lainnya).

KDD dan DM

—Menurut Cabena, Data Mining = Knowledge Discovery in Database (KDD).

—Menurut Jiawei Han, Data Mining merupakan Subset atau salah satu tahap dari KDD saja. Sehingga, batasan ini yang selanjutkan digunakan.

—Data Mining bertujuan mengekplorasi basis data untuk menemukan pola-pola pengetahuan yang tersembunyi di dalam data tersebut.

TAHAPAN KNOWLEDGE DISCOVERY IN DATABASE

Menurut Peter Cabena,  Tahapan – tahapan dalam KDD adalah sebagai berikut :

—Penentuan Sasaran Bisnis (Business Objective Determination)

—Persiapan Data (Preparation Data)

—Data Selection

—Data Preprocessing

—Data Transformation

—Data Mining

—Anaysis of Result

—Assimilation of Knowledge

BUSINESS OBJECTIVE DETERMINATION 1 dan 2

—Merupakan sebuah tahapan yang mendefinisikan permasalahan atau tantangan bisnis dengan jelas. Hal ini merupakan aspek yang sangat esensial dalam setiap proyek data mining.

—Contoh Sasaran Bisnis :

  Mengembangkan suatu strategi marketing untuk mempertahankan loyalitas customer di Jawa Tengah dan Jawa Timur untuk produk soft drink dengan brand dan ukuran tertentu (200ml dalam kotak alumunium) selama bulan April, Mei , Juni yang akan datang. Perusahaan akan menggunakan kombinasi dari berbagai strategi marketing (mixed marketing), yang salah satunya adalah direct mail campaign kepada customer yang tampaknya "mudah rusak" loyalitasnya.

—Sehingga dampak keseluruhan KDD adalah :

—– Data Selection: dipilih customers yang membeli produk soft drink 200 ml dalam kotak alumunium di Jawa Tengah dan Jawa Timur.

—– Data Transformation: customers yang membeli produk soft drink 200 ml dalam kotak alumunium disorting dalam 10 kategori, yang masing-masing membedakan tingkat loyalitasnya: membeli produk tersebut 0-10%, 11-20%, ..... , 81-90%, 91-100% sepanjang waktu pembeliannya. Selanjutnya data inilah yang akan dibawa ke tahap data mining.

PERSIAPAN DATA

—Merupakan tahapan untuk mempersiapkan data yang diperlukan untuk proses data mining. Tujuannya adalah agar data yang digunakan benar-benar sesuai dengan permasalahan yang akan dipecahkan, dapat dijamin kebenarannya, dan dalam format yang sesuai/tepat.

—Tahap yang paling banyak mengkonsumsi resources (manusia, biaya, waktu) yang tersedia. Biasanya mencapai 60% keseluruhan proyek KDD.

——Data Selection

—Mengidentifikasi semua sumber informasi internal dan eksternal dan memilih sebagian saja dari data yang diperlukan untuk aplikasi data mining.

—Data Preprocessing

—Meyakinkan kualitas data yang telah dipilih pada tahapan sebelumnya. 2 issue yang sering dihadapkan pada tahapan ini adalah Noisy Data dan Missing Value.

—Data Transformation

—Mengubah data ke dalam model analitis serta memodelkan data agar sesuai dengan analisa yang diharapkan dan format data yang diperlukan oleh algoritma data mining.

—DATA MINING

—Melakukan proses pencarian pengetahuan terhadap data yang ditransformasikan pada tahap sebelumnya.

—Contoh Pengetahuan berbentuk Association Rule untuk kasus "Soft Drink“:

— IF soft drink sejenis dengan ukuran yang lebih besar (bukan botol kecil) dibeli  lebih dari 58% dalam sejarah pembelian soft drink seorang consumer

 —THEN consumer tersebut diprediksi Loyal.

  —Pemilihan tugas data mining : pemilihan goal dari proses KDD misalnya klasifikasi, regresi, clustering, dll.

—Proses Data mining yaitu proses mencari pola atau informasi menarik dalam data terpilih dengan menggunakan teknik atau metode tertentu. Teknik, metode, atau algoritma dalam data mining sangat bervariasi. Pemilihan metode atau algoritma yang tepat sangat bergantung pada tujuan dan proses KDD secara keseluruhan.

—ANALYSIS OF RESULT

—Menginterpretasikan dan mengevaluasi output dari tahap mining: patterns.

—Pendekatan analisa yang digunakan akan bervariasi menurut operasi data mining yang digunakan, tetapi biasanya akan melibatkan teknik visualisasi.

       ASSIMILATION OF KNOWLEDGE

—Menggunakan hasil mining yang telah dievaluasi ke dalam perilaku organisasi dan sistem informasi perusahaan.

DATA MINING DAN PROSES KDD

—Pembersihan data (Data Cleaning)

—Digunakan untuk membuang data yang tidak konsisten dan noise.

—Intergrasi Data (Data Integration)

—Data yang diperlukan untuk data mining tidak hanya berasal dari satu database tetapi juga berasal dari beberapa database atau file teks. Hasil integrasi data sering diwujudkan dalam sebuah data warehouse karena dengan data warehouse, data dikonsolidasikan dengan struktur khusus yang efisien. Selain itu data warehouse juga memungkinkan tipe analisa seperti OLAP.

—Transformasi data

—Transformasi dan pemilihan data ini untuk menentukan kualitas dari hasil data mining, sehingga data diubah menjadi bentuk sesuai untuk di-Mining.

—Aplikasi Teknik Data Mining

—Aplikasi teknik data mining sendiri hanya merupakan salah satu bagian dari proses data mining. Ada beberapa teknik data mining yang sudah umum dipakai.

—Evaluasi pola yang ditemukan

—Dalam tahap ini hasil dari teknik data mining berupa pola-pola yang khas maupun model prediksi dievaluasi untuk menilai apakah hipotesa yang ada memang tercapai.

—Presentasi Pengetahuan

—Presentasi pola yang ditemukan untuk menghasilkan aksi tahap terakhir dari proses data mining adalah bagaimana memformulasikan keputusan atau aksi dari hasil analisa yang didapat.

INPUT DAN OUTPUT DATA MINING