Curs de pregatire Big Data Business Intelligence pentru agenții guvernamentale

Fiecare sesiune durează 2 ore

Ziua 1: Sesiunea 1: Prezentare generală a business-ului – De ce Big Data Business Intelligence în guvern

• Studii de caz de la NIH, DoE
• Rata de adoptare a Big Data în agențiile guvernamentale și modul în care își aliniază operațiunile viitoare în jurul analizei predictive Big Data
• Arii de aplicare la scară largă în DoD, NSA, IRS, USDA etc.
• Interfațarea Big Data cu datele moștenite (legacy)
• Înțelegerea de bază a tehnologiilor de facilitare în analiza predictivă
• Integrarea datelor și vizualizarea în dashboard
• Gestionarea fraudelor
• Reguli de business / Generarea detectării fraudelor
• Detectarea amenințărilor și profiling
• Analiza cost-beneficiu pentru implementarea Big Data

Ziua 1: Sesiunea 2: Introducere în Big Data-1

• Caracteristicile principale ale Big Data – volum, varietate, viteză și veridicitate. Arhitectura MPP pentru volum.
• Data Warehouse-uri – schemă statică, set de date cu evoluție lentă
• Baze de date MPP precum Greenplum, Exadata, Teradata, Netezza, Vertica etc.
• Soluții bazate pe Hadoop – fără condiții privind structura setului de date.
• Model tipic: HDFS, MapReduce (crunch), extragerea din HDFS
• Batch – potrivit pentru analitic/non-interactiv
• Volum: date de streaming CEP
• Opțiuni tipice – produse CEP (de ex. Infostreams, Apama, MarkLogic etc.)
• Mai puțin pregătite pentru producție – Storm/S4
• Baze de date NoSQL – (columnare și cheie-valoare): cel mai potrivite ca supliment analitic la data warehouse/baza de date

Ziua 1: Sesiunea 3: Introducere în Big Data-2

Soluții NoSQL

• Magazin KV – Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• Magazin KV – Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• Magazin KV (ierarhic) – GT.m, Cache
• Magazin KV (ordonat) – TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• Cache KV – Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Magazin Tuple – Gigaspaces, Coord, Apache River
• Bază de date obiect – ZopeDB, DB40, Shoal
• Magazin de documente – CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, baze de date XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Magazin columnar extins – BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Varietăți de date: Introducere în problematica curățării datelor în Big Data

• RDBMS – structură/schemă statică, nu favorizează un mediu agil, exploratoriu.
• NoSQL – semi-structurat, suficientă structură pentru a stoca date fără o schemă exactă înainte de stocare
• Probleme de curățare a datelor

Ziua 1: Sesiunea 4: Introducere în Big Data-3: Hadoop

• Când să alegem Hadoop?
• STRUCTURAT – Data warehouse-urile/bazele de date enterprise pot stoca date masive (la un cost), dar impun structură (nu sunt bune pentru explorare activă)
• Date SEMI-STRUCTURATE – dificil de rezolvat cu soluții tradiționale (DW/BD)
• Depozitarea datelor = efort URIAȘ și static chiar și după implementare
• Pentru varietate și volum de date, procesate pe hardware commodity – HADOOP
• Hardware commodity necesar pentru a crea un cluster Hadoop

Introducere în Map Reduce / HDFS

• MapReduce – calcul distribuit pe mai multe servere
• HDFS – face datele disponibile local pentru procesul de calcul (cu redundanță)
• Datele – pot fi nestructurate/fără schemă (spre deosebire de RDBMS)
• Responsabilitatea dezvoltatorului de a da sens datelor
• Programarea MapReduce = lucrul cu Java (pro/contra), încărcarea manuală a datelor în HDFS

Ziua 2: Sesiunea 1: Ecosistemul Big Data – Construirea ETL Big Data: universul instrumentelor Big Data – pe care să îl folosim și când?

• Hadoop vs. alte soluții NoSQL
• Pentru acces interactiv, aleatoriu la date
• Hbase (bază de date orientată pe coloane) peste Hadoop
• Acces aleatoriu la date, dar cu restricții impuse (max 1 PB)
• Nu este potrivit pentru analize ad-hoc, bun pentru logging, numărare, serii temporale
• Sqoop – Import din baze de date în Hive sau HDFS (acces JDBC/ODBC)
• Flume – Streaming de date (de ex. date de log) în HDFS

Ziua 2: Sesiunea 2: Sistemul de management Big Data

• Piese în mișcare, nodurile de calcul pornesc/se defectează: ZooKeeper – Pentru servicii de configurare/coordonare/denumire
• Pipeline/workflow complex: Oozie – gestionează workflow-ul, dependențele, lanțul în cascadă
• Implementare, configurare, gestionarea clusterului, upgrade etc. (administrare sistem): Ambari
• În cloud: Whirr

Ziua 2: Sesiunea 3: Analiza predictivă în Business Intelligence -1: Tehnici fundamentale și BI bazat pe Machine Learning:

• Introducere în Machine Learning
• Tehnici de clasificare a învățării
• Predicție bayesiană – pregătirea fișierului de training
• Support Vector Machine
• KNN p-Tree Algebra și minerit vertical
• Rețele neuronale
• Problema variabilelor mari în Big Data – Random Forest (RF)
• Problema automatizării Big Data – RF multi-model ensemble
• Automatizare prin Soft10-M
• Instrument de analiză text – Treeminer
• Învățare agilă
• Învățare bazată pe agenți
• Învățare distribuită
• Introducere în instrumente open source pentru analiza predictivă: R, Rapidminer, Mahut

Ziua 2: Sesiunea 4: Ecosistemul analizei predictive-2: Probleme comune de analiză predictivă în guvern

• Analiză de insight
• Analiză de vizualizare
• Analiză predictivă structurată
• Analiză predictivă nestructurată
• Profilarea amenințărilor/fraudstar/furnizorilor
• Motor de recomandare
• Detectarea tiparelor
• Descoperirea regulilor/scenariilor – eșec, fraudă, optimizare
• Descoperirea cauzelor principale
• Analiza sentimentelor
• Analiză CRM
• Analiză de rețea
• Analiză de text
• Revizuire asistată de tehnologie
• Analiza fraudelor
• Analiză în timp real

Ziua 3: Sesiunea 1: Analiză scalabilă și în timp real peste Hadoop

• De ce eșuează algoritmii analitici comuni în Hadoop/HDFS
• Apache Hama – pentru calcul distribuit sincron de tip Bulk
• Apache SPARK – pentru calcul de cluster pentru analiză în timp real
• CMU Graphics Lab2 – abordare asincronă bazată pe grafuri pentru calcul distribuit
• Abordare bazată pe KNN p-Algebra de la Treeminer pentru costuri hardware reduse de operare

Ziua 3: Sesiunea 2: Instrumente pentru eDiscovery și Forensics

• eDiscovery în Big Data vs. date moștenite (legacy) – o comparație a costurilor și performanței
• Codare predictivă și revizuire asistată de tehnologie (TAR)
• Demo live al unui produs TAR (vMiner) pentru a înțelege cum funcționează TAR pentru o descoperire mai rapidă
• Indexare mai rapidă prin HDFS – viteza datelor
• NLP sau procesarea limbajului natural – diverse tehnici și produse open source
• eDiscovery în limbi străine – tehnologie pentru procesarea limbilor străine

Ziua 3: Sesiunea 3: Big Data BI pentru securitate cibernetică – Înțelegerea vederii complete la 360 de grade de la colectarea rapidă a datelor la identificarea amenințărilor

• Înțelegerea elementelor de bază ale analizei de securitate – suprafața de atac, configurarea greșită a securității, apărările gazdei
• Infrastructura de rețea / Conductă mare de date / ETL de răspuns pentru analiză în timp real
• Prescriptiv vs predictiv – Bazat pe reguli fixe vs auto-descoperirea regulilor de amenințare din metadate

Ziua 3: Sesiunea 4: Big Data în USDA: Aplicații în agricultură

• Introducere în IoT (Internet of Things) pentru agricultură – Big Data bazată pe senzori și control
• Introducere în imagistica satelitară și aplicațiile sale în agricultură
• Integrarea datelor de la senzori și a imaginilor pentru fertilitatea solului, recomandări de cultivare și prognoză
• Asigurările agricole și Big Data
• Prognoza pierderilor de culturi

Ziua 4: Sesiunea 1: BI de prevenire a fraudelor din Big Data în guvern – Analiza fraudelor:

• Clasificarea de bază a analizei fraudelor – bazată pe reguli vs analiză predictivă
• Machine Learning supervizat vs nesupervizat pentru detectarea tiparelor de fraudă
• Frauda furnizorilor / suprataxarea proiectelor
• Frauda Medicare și Medicaid – tehnici de detectare a fraudelor pentru procesarea cererilor de despăgubire
• Fraudele de rambursare a cheltuielilor de călătorie
• Fraudele de rambursare IRS
• Studii de caz și demo live vor fi oferite ori de câte ori datele sunt disponibile.

Ziua 4: Sesiunea 2: Analiza Social Media – Colectarea și analiza informațiilor

• API ETL Big Data pentru extragerea datelor din social media
• Text, imagine, metadate și video
• Analiza sentimentelor din fluxul de social media
• Filtrarea contextuală și non-contextuală a fluxului de social media
• Dashboard de social media pentru integrarea diverselor platforme de social media
• Profilarea automată a profilurilor de social media
• Demo live al fiecărei analize va fi oferit prin instrumentul Treeminer.

Ziua 4: Sesiunea 3: Analiza Big Data în procesarea imaginilor și fluxurilor video

• Tehnici de stocare a imaginilor în Big Data – soluție de stocare pentru date care depășesc petabyte
• LTFS și LTO
• GPFS-LTFS (soluție de stocare stratificată pentru date mari de imagine)
• Fundamentele analizei imaginilor
• Recunoașterea obiectelor
• Segmentarea imaginilor
• Urmărirea mișcării
• Reconstrucția imaginilor 3-D

Ziua 4: Sesiunea 4: Aplicații Big Data în NIH:

• Domenii emergente ale bioinformaticii
• Meta-genomica și problemele de minerit Big Data
• Analiza predictivă Big Data pentru farmacogenomică, metabolomică și proteomică
• Big Data în procesul genomic din aval
• Aplicarea analizei predictive Big Data în sănătatea publică

Dashboard Big Data pentru accesibilitatea rapidă a datelor diverse și afișare:

• Integrarea platformei de aplicații existente cu Dashboard-ul Big Data
• Managementul Big Data
• Studiu de caz al Dashboard-ului Big Data: Tableau și Pentaho
• Utilizarea aplicațiilor Big Data pentru a oferi servicii bazate pe locație în guvern
• Sistem de urmărire și management

Ziua 5: Sesiunea 1: Cum să justificăm implementarea Big Data BI într-o organizație:

• Definirea ROI pentru implementarea Big Data
• Studii de caz pentru economisirea timpului analiștilor pentru colectarea și pregătirea datelor – creșterea productivității
• Studii de caz privind câștigurile din economisirea costurilor bazelor de date licențiate
• Câștiguri din serviciile bazate pe locație
• Economii din prevenirea fraudelor
• O abordare integrată de foaie de calcul pentru a calcula cheltuielile aproximative vs. câștigurile/economiile din implementarea Big Data.

Ziua 5: Sesiunea 2: Procedura pas cu pas pentru înlocuirea sistemului de date moștenit (legacy) cu un sistem Big Data:

• Înțelegerea foii de parcurs practice pentru migrarea Big Data
• Care sunt informațiile importante necesare înainte de a arhitectura o implementare Big Data
• Care sunt diferitele modalități de calculare a volumului, vitezei, varietății și veridicității datelor
• Cum să estimăm creșterea datelor
• Studii de caz

Ziua 5: Sesiunea 4: Revizuirea furnizorilor Big Data și a produselor lor. Sesiune de Q&A:

• Accenture
• APTEAN (fostul CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (fostul 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (parte a EMC)