To wersja testowa nowego serwisu infoShare Academy — wyświetlane treści i oferta nie są wiążące ani kompletne

Data

Apache Spark

Szkolenie Apache Spark to intensywny, dwudniowy kurs, skoncentrowany na praktycznym zastosowaniu tego popularnego frameworka do przetwarzania dużych zbiorów danych.

Czas trwania
16h · 2 dni
Zapytaj o program → Zobacz wszystkie
Dla kogo

Idealny dla zespołów, które…

1 Programistów i inżynierów danych, którzy chcą poszerzyć swoje umiejętności o Apache Spark
2 Data scientistów i analityków danych, pragnących przetwarzać duże zbiory danych w efektywny sposób
3 Specjalistów IT i big data, którzy chcą wykorzystać Apache Spark w swoich projektach
Efekty po programie

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

✓

Jak zainstalować i skonfigurować Apache Spark w różnych środowiskach

✓

Jak przetwarzać i analizować dane z użyciem RDD, DataFrame i Spark SQL

✓

Jak optymalizować zapytania i zarządzać zasobami w Apache Spark

✓

Jak wdrożyć aplikacje Apache Spark w środowisku produkcyjnym

Wymagania

Co warto wiedzieć przed startem

  • Znajomość podstaw programowania w Pythonie lub Scali
  • Podstawowa wiedza z zakresu przetwarzania danych
  • Umiejętność pracy w środowisku Unix/Linux
Program · 8 modułów

Co konkretnie robimy

Dzień 1: Wprowadzenie do Apache Spark i podstawy przetwarzania danych

M01
Wprowadzenie do Apache Spark
  • · Historia i rozwój Apache Spark
  • · Architektura i główne komponenty (RDD, DataFrame, Spark SQL)
M02
Instalacja i konfiguracja środowiska
  • · Instalacja Apache Spark i zależności
  • · Konfiguracja środowiska pracy (Standalone, Hadoop, AWS)
M03
Podstawy przetwarzania danych w Apache Spark
  • · Praca z plikami: JSON, CSV, XML, TXT, Parquet, AVRO
  • · Omówienie czym jest Transformacja, a Akcja (Lazy evaulation)

Dzień 2: Zaawansowane techniki i praktyczne zastosowania

M04
Zaawansowane przetwarzanie danych z użyciem DataFrame i Spark SQL
  • · Tworzenie i zarządzanie DataFrame
  • · Użycie Spark SQL do zapytań na dużych zbiorach danych
M05
Transformacja danych
  • · Sposoby sortowania, grupowania i filtrowania danych
  • · Wykonywanie transformacji danych poprzez funkcje map, flatMap, UDF
  • · Funkcje okna/analityczne
M06
Warsztat: Przetwarzanie i analiza danych z użyciem DataFrame
  • · Implementacja operacji na DataFrame i zapytań SQL
  • · Analiza dużych zbiorów danych z użyciem Spark SQL
M07
Optymalizacja i tunning wydajności
  • · Techniki optymalizacji zapytań i działania Spark
  • · Zarządzanie pamięcią i rozdzielanie zasobów
  • · Partycjonowanie i zapis danych
M08
Deployowanie aplikacji Apache Spark
  • · Przygotowanie i eksportowanie aplikacji Spark
  • · Wdrożenie aplikacji w środowisku produkcyjnym
Każdy moduł modyfikujemy pod Twój stack i kontekst. Powyższe to punkt wyjścia — nie sztywna agenda.
Jak pracujemy

Od briefu do retro w 30 dniach.

01

Brief i diagnoza

Rozmowa z liderem zespołu + krótka ankieta dla uczestników. Określamy cele, gap, kontekst.

02

Modyfikacja programu

Dostosowujemy moduły, case studies i przykłady kodu pod Twój stack. Akceptacja w 5 dni.

03

Warsztat

Sesje z trenerem, hands-on, code review. Mentor dostępny też pomiędzy sesjami.

04

Retro + raport

Raport z efektami dla zespołu i lidera. 30 dni konsultacji w cenie.

Zapytanie

Wyślij brief. Odezwiemy się w 1 dzień.

Po krótkim briefie przygotujemy program i wycenę. Bez zobowiązań — to tylko punkt wyjścia do rozmowy.

✓Wycena w 48h od briefu
✓Pierwsza sesja w 30 dni
✓Pilotaż przed pełną decyzją
✓Faktura VAT, możliwość płatności w transzach

Co robimy z Twoimi danymi

Dane służbowe (imię, e-mail firmowy, telefon, firma, stanowisko) przetwarzamy w celu obsługi zapytania o szkolenie dla firmy i przygotowania oferty. Administratorem danych jest infoShare Academy Sp. z o.o., Al. Grunwaldzka 472B, 80-309 Gdańsk. Podanie danych jest dobrowolne, ale niezbędne do udzielenia odpowiedzi. Masz prawo dostępu do danych, ich sprostowania, usunięcia, ograniczenia przetwarzania i wniesienia sprzeciwu. Pełną informację znajdziesz w Klauzuli informacyjnej.

Zgody marketingowe (dobrowolne)

Administratorem danych osobowych jest infoShare Academy sp. z o.o. Zasady przetwarzania danych osobowych znajdują się w dokumentach Polityka Prywatności oraz Klauzula Informacyjna.

Inne programy dla zespołów

Zobacz wszystkie →
Data

Active Directory

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

16h · 2 dni →
Data

Administracja bazami danych MySQL

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

24h · 3 dni →
Data

Administracja usługami Power BI

Praktyczne warsztaty z AI i analityki danych — na realnych przypadkach Twojego zespołu.

24h · 3 dni →