Obsah kurzu
Modul 1: Možnosti výpočtu a úložiště pro pracovní zátěže datového inženýrstvíTento modul poskytuje přehled možností technologie Azure compute and storage, které jsou k dispozici datovým inženýrům vytvářejícím analytické úlohy. Tento modul ukazuje způsoby, jak strukturovat datové jezero a optimalizovat soubory pro průzkum, streamování a dávkové úlohy. Student se naučí, jak uspořádat datové jezero do úrovní upřesnění dat, jak transformují soubory pomocí dávkového a streamového zpracování. Naučí se, jak vytvořit indexy v jejich datových sadách, jako jsou soubory CSV, JSON a Parquet, a použít je pro potenciální zrychlení dotazů a úloh.
Lekce
- Úvod do Azure Synapse Analytics
- Azure Databricks
- Úvod do úložiště Azure Data Lake
- Architektura Delta Lake
- Práce s datovými proudy pomocí Azure Stream Analytics
Modul 2: Návrh a implementace obslužné vrstvyTento modul ukazuje, jak navrhovat a implementovat datová úložiště v moderním datovém skladu za účelem optimalizace analytických úloh. Student se naučí, jak navrhnout vícerozměrné schéma pro ukládání údajů o faktech a dimenzích. Jak naplnit pomalu se měnící dimenze prostřednictvím přírůstkového načítání dat z Azure Data Factory.
Lekce
- Návrh vícerozměrných schémat pro optimalizaci analytických úloh
- Transformace bez kódu ve velkém rozsahu s Azure Data Factory
- Naplňění pomalu se měnící dimenze v kanálech Azure Synapse Analytics
Modul 3: Úvahy o datovém inženýrství pro zdrojové souboryTento modul zkoumá aspekty datového inženýrství, které jsou běžné při načítání dat do moderního datového skladu analyticky ze souborů uložených v Azure Data Lake, a porozumění bezpečnostní úvaze spojené s ukládáním souborů uložených v datovém jezeře.
Lekce
- Návrh moderního datového skladu pomocí Azure Synapse Analytics
- Zabezpečení datového skladu v Azure Synapse Analytics
Modul 4: Spouštění interaktivních dotazů pomocí fondů SQL bez serveru Azure Synapse AnalyticsV tomto modulu se studenti naučí, jak pracovat se soubory uloženými v datovém jezeře a externích zdrojích souborů, a to prostřednictvím příkazů T-SQL prováděných fondem SQL bez serveru v Azure Synapse Analytics. Studenti se budou dotazovat na soubory parket uložené v datovém jezeře a soubory CSV uložené v externím úložišti dat. Dále vytvoří skupiny zabezpečení Azure Active Directory a vynutí přístup k souborům v datovém jezeře prostřednictvím RBAC (Role-Based Access Control) a seznamů řízení přístupu (ACL).
Lekce
- Možnosti fondů SQL bez serveru Azure Synapse
- Dotazování na data v jezeře pomocí Azure Synapse SQL serverů bez serveru
- Tvorba objektů metadat ve fondech SQL bez serveru Azure Synapse
- Zabezpečení dat a správa uživatele ve fondech SQL bez serveru Azure Synapse
Modul 5: Průzkum, transformace a načítání dat do Data Warehouse pomocí Apache SparkTento modul učí, jak prozkoumat data uložená v datovém jezeře, transformovat data a načíst je do úložiště relačních dat. Student prozkoumá soubory Parquet a JSON a použije techniky k dotazování a transformaci souborů JSON s hierarchickými strukturami. Potom pomocí Apache Spark načte data do datového skladu a spojí Parquet data v datovém jezeře s daty ve vyhrazeném fondu SQL.
Lekce
- Inženýrství velkých dat s Apache Spark ve službě Azure Synapse Analytics
- Příjem dat pomocí poznámkových bloků Apache Spark v Azure Synapse Analytics
- Transformace dat pomocí DataFrames v Apache Spark Pools v Azure Synapse Analytics
- Integrace fondů SQL a Apache Spark ve službě Azure Synapse Analytics
Modul 6: Průzkum a transformace dat v Azure DatabricksJak používat různé metody Apache Spark DataFrame k prozkoumání a transformaci dat v Azure Databricks. Student se naučí provádět standardní metody DataFrame k prozkoumání a transformaci dat. Naučí se také, jak provádět pokročilejší úkoly, jako je odstraňování duplicitních dat, manipulace s hodnotami data a času, přejmenování sloupců a agregace dat.
Lekce
- Azure Databricks
- Čtení a zápis dat v Azure Databricks
- Práce s DataFrames v Azure Databricks
- Práce s pokročilými metodami DataFrames v Azure Databricks
Modul 7: Přijímání a načítání dat do datového skladuTento modul učí studenty, jak přijímat data do datového skladu pomocí skriptů T-SQL a integračních kanálů Synapse Analytics. Jak načíst data do vyhrazených fondů SQL Synapse s PolyBase a COPY pomocí T-SQL. Jak používat správu úlohy spolu s aktivitou kopírování v kanálu Azure Synapse pro příjem dat v měřítku petabyte.
Lekce
- Osvědčené postupy načítání dat ve službě Azure Synapse Analytics
- Přijímání v měřítku petabajtů s Azure Data Factory
Modul 8: Transformace dat pomocí Azure Data Factory nebo Azure Synapse PipelinesJak vytvářet kanály pro integraci dat pro příjem z více zdrojů dat, transformovat data pomocí toků mapování dat a provádět pohyb dat do jednoho nebo více záchytů dat.
Lekce
- Integrace dat s Azure Data Factory nebo Azure Synapse Pipelines
- Transformace bez kódu v měřítku s Azure Data Factory nebo Azure Synapse Pipelines
Modul 9: Orchestrace pohybu a transformace dat v Azure Synapse PipelinesV tomto modulu se naučíte, jak vytvořit propojené služby a orchestrovat pohyb a transformaci dat pomocí poznámkových bloků v Azure Synapse Pipelines.
Lekce
- Organizace pohybu a transformace dat v Azure Data Factory
Modul 10: Optimalizace výkonu dotazů pomocí vyhrazených fondů SQL v Azure SynapseV tomto modulu se studenti naučí strategie optimalizace ukládání a zpracování dat při použití vyhrazených fondů SQL v Azure Synapse Analytics. Jak používat funkce pro vývojáře, jako jsou okna a funkce HyperLogLog, používat osvědčené postupy načítání dat a optimalizovat a zlepšovat výkon dotazů.
Lekce
- Optimalizace výkonu dotazů v datovém skladu ve službě Azure Synapse Analytics
- Pochopení funkce vývojáře datového skladu Azure Synapse Analytics
Modul 11: Analýza a optimalizace úložiště datových skladůV tomto modulu se studenti naučí, jak analyzovat a poté optimalizovat úložiště dat vyhrazených fondů SQL Azure Synapse. Naučí se techniky k pochopení využití tabulkového prostoru a podrobností úložiště sloupců. Jak porovnat požadavky na úložiště mezi stejnými tabulkami, které používají různé datové typy. Dopad zhmotněných pohledů při provádění namísto složitých dotazů a jak se vyhnout rozsáhlému protokolování optimalizací operací mazání.
Lekce
- Analýza a optimalizace úložiště datového skladu ve službě Azure Synapse Analytics
Modul 12: Podpora hybridního transakčního analytického zpracování (HTAP) pomocí Azure Synapse LinkV tomto modulu se studenti naučí, jak Azure Synapse Link umožňuje bezproblémové připojení účtu Azure Cosmos DB k pracovnímu prostoru Synapse. Jak povolit a nakonfigurovat odkaz Synapse a poté, jak dotazovat analytické úložiště Azure Cosmos DB pomocí Apache Spark a SQL bez serveru.
Lekce
- Návrh hybridního transakčního a analytického zpracování pomocí Azure Synapse Analytics
- Konfigurace propojení Azure Synapse s Azure Cosmos DB
- Dotaz na Azure Cosmos DB s fondy Apache Spark
- Dotaz na Azure Cosmos DB s fondy SQL bez serveru
Modul 13: Zabezpečení typu end-to-end s Azure Synapse AnalyticsV tomto modulu se studenti naučí, jak zabezpečit pracovní prostor Synapse Analytics a jeho podpůrnou infrastrukturu. Student bude sledovat administrátora služby SQL Active Directory, spravovat pravidla brány firewall IP, spravovat tajné klíče pomocí Azure Key Vault a přistupovat k těmto tajným klíčům prostřednictvím služby spojené s Key Vault a aktivit kanálu. Jak při použití vyhrazených fondů SQL implementovat zabezpečení na úrovni sloupců, zabezpečení na úrovni řádků a dynamické maskování dat.
Lekce
- Zabezpečení datového skladu v Azure Synapse Analytics
- Konfigurace a správa zabezpečení v Azure Key Vault
- Implementace kontroly souladu s citlivými údaji
Modul 14: Zpracování streamů v reálném čase pomocí Stream AnalyticsV tomto modulu se studenti naučí, jak zpracovávat streamovaná data pomocí Azure Stream Analytics. Student přijme telemetrická data vozidla do Event Hubs, poté tato data zpracuje v reálném čase pomocí různých funkcí ve službě Azure Stream Analytics. Výstup dat do Azure Synapse Analytics. Jak škálovat úlohu Stream Analytics pro zvýšení propustnosti.
Lekce
- Povolení zasílání zpráv pro aplikace Big Data pomocí Azure Event Hubs
- Práce s datovými proudy pomocí Azure Stream Analytics
- Přijímání datových toků pomocí Azure Stream Analytics
Modul 15: Vytvoření řešení zpracování proudu pomocí Event Hubs a Azure DatabricksV tomto modulu se studenti naučí, jak přijímat a zpracovávat streamovaná data v měřítku pomocí Event Hubs a Spark Structured Streaming v Azure Databricks. Naučí se klíčové funkce a použití strukturovaného streamování. Student implementuje posuvná okna pro agregaci přes velké množství dat a použije vodoznak k odstranění zastaralých dat. Nakonec se připojí k Event Hubs, aby mohl číst a zapisovat streamy.
Lekce
- Zpracování streamovaných dat pomocí strukturovaného streamování Azure Databricks
Modul 16: Vytváření sestav pomocí integrace Power BI s Azure Synpase AnalyticsV tomto modulu se student naučí, jak integrovat Power BI s jejich pracovním prostorem Synapse k vytváření sestav v Power BI. Student vytvoří nový zdroj dat a sestavu Power BI v Synapse Studio. Poté se student naučí, jak zlepšit výkon dotazu pomocí zhmotněných pohledů a mezipaměti sady výsledků. Nakonec prozkoumá datové jezero s fondy SQL bez serveru a vytvoří vizualizace proti těmto datům v Power BI.
Lekce
- Tvorba sestavy pomocí Power BI pomocí jeho integrace s Azure Synapse Analytics
Modul 17: Integrované procesy strojového učení ve službě Azure Synapse AnalyticsTento modul zkoumá integrované komplexní prostředí Azure Machine Learning a Azure Cognitive Services v Azure Synapse Analytics. Student se naučí, jak připojit pracovní prostor Azure Synapse Analytics k pracovnímu prostoru Azure Machine Learning pomocí propojené služby a poté aktivovat automatizovaný experiment ML, který používá data z tabulky Spark. Jak používat trénované modely z Azure Machine Learning nebo Azure Cognitive Services k obohacení dat v tabulce fondů SQL a následnému poskytování výsledků předpovědí pomocí Power BI.
Lekce
- Integrovaný proces strojového učení ve službě Azure Synapse Analytics
