To wersja testowa nowego serwisu infoShare Academy — wyświetlane treści i oferta nie są wiążące ani kompletne
Data

Apache Spark

Szkolenie Apache Spark to intensywny, dwudniowy kurs, skoncentrowany na praktycznym zastosowaniu tego popularnego frameworka do przetwarzania dużych zbiorów danych.

Czas trwania
16h · 2 dni
Zapytaj o program → Zobacz wszystkie
Dla kogo

Idealny dla zespołów, które…

1 Programistów i inżynierów danych, którzy chcą poszerzyć swoje umiejętności o Apache Spark
2 Data scientistów i analityków danych, pragnących przetwarzać duże zbiory danych w efektywny sposób
3 Specjalistów IT i big data, którzy chcą wykorzystać Apache Spark w swoich projektach
Efekty po programie

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

✓

Znajomość podstaw programowania w Pythonie lub Scali

✓

Podstawowa wiedza z zakresu przetwarzania danych

✓

Umiejętność pracy w środowisku Unix/Linux

Program · 8 modułów

Co konkretnie robimy

M01
Wprowadzenie do Apache Spark
  • · Historia i rozwój Apache Spark
  • · Architektura i główne komponenty (RDD, DataFrame, Spark SQL)
M02
Instalacja i konfiguracja środowiska
  • · Instalacja Apache Spark i zależności
  • · Konfiguracja środowiska pracy (Standalone, Hadoop, AWS)
M03
Podstawy przetwarzania danych w Apache Spark
  • · Praca z plikami: JSON, CSV, XML, TXT, Parquet, AVRO
  • · Omówienie czym jest Transformacja, a Akcja (Lazy evaulation)
M04
Zaawansowane przetwarzanie danych z użyciem DataFrame i Spark SQL
  • · Tworzenie i zarządzanie DataFrame
  • · Użycie Spark SQL do zapytań na dużych zbiorach danych
M05
Transformacja danych
  • · Sposoby sortowania, grupowania i filtrowania danych
  • · Wykonywanie transformacji danych poprzez funkcje map, flatMap, UDF
  • · Funkcje okna/analityczne
M06
Warsztat: Przetwarzanie i analiza danych z użyciem DataFrame
  • · Implementacja operacji na DataFrame i zapytań SQL
  • · Analiza dużych zbiorów danych z użyciem Spark SQL
M07
Optymalizacja i tunning wydajności
  • · Techniki optymalizacji zapytań i działania Spark
  • · Zarządzanie pamięcią i rozdzielanie zasobów
  • · Partycjonowanie i zapis danych
M08
Deployowanie aplikacji Apache Spark
  • · Przygotowanie i eksportowanie aplikacji Spark
  • · Wdrożenie aplikacji w środowisku produkcyjnym
Każdy moduł modyfikujemy pod Twój stack i kontekst. Powyższe to punkt wyjścia — nie sztywna agenda.
Jak pracujemy

Od briefu do retro w 30 dniach.

01

Brief i diagnoza

Rozmowa z liderem zespołu + krótka ankieta dla uczestników. Określamy cele, gap, kontekst.

02

Modyfikacja programu

Dostosowujemy moduły, case studies i przykłady kodu pod Twój stack. Akceptacja w 5 dni.

03

Warsztat

Sesje z trenerem, hands-on, code review. Mentor dostępny też pomiędzy sesjami.

04

Retro + raport

Raport z efektami dla zespołu i lidera. 30 dni konsultacji w cenie.

Zapytanie

Wyślij brief. Odezwiemy się w 1 dzień.

Po krótkim briefie przygotujemy program i wycenę. Bez zobowiązań — to tylko punkt wyjścia do rozmowy.

✓Wycena w 48h od briefu
✓Pierwsza sesja w 30 dni
✓Pilotaż przed pełną decyzją
✓Faktura VAT, możliwość płatności w transzach

Inne programy dla zespołów

Zobacz wszystkie →
Data

Active Directory

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

16h · 2 dni →
Data

Administracja bazami danych MySQL

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

24h · 3 dni →
Data

Administracja usługami Power BI

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

24h · 3 dni →