ПиСпарк. Видеокурс. Обработка и анализ

PySpark. Kurs video. Przetwarzanie i analiza

Tytuł oryginału: PySpark. Kurs video. Przetwarzanie i analiza

Autor: Piotr Chudzik

Wydawca: Videopoint

Rok wydania: 2023

ISBN: 9788328904019

Format: Nieustalono

Czas trwania: 03:50:54

Cena okładkowa kursu video: 149.00 zł > cenę promocyjną znajdziesz na naszej aukcji!

WERSJA CYFROWA: VIDEO

Format: Online (Streaming)

Obierz kurs na... pracę z dużymi zbiorami danych

Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić - na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifornijskim, dziś zarządzana przez Apache Software Foundation, świetnie nadaje się do analizy dużych zbiorów danych. Jej interfejs API, znany jako PySpark, skutecznie ułatwia integrację Sparka ze specjalistycznymi narzędziami PyData.

W ostatnich latach PySpark stał się najpopularniejszym narzędziem służącym przetwarzaniu danych; może swobodnie zastąpić w tym zakresie SQL czy biblioteki pandas/numpy. Ze Sparka korzystają między innymi Databricks, DeepNote czy JupyterLab. Szczególną cechą i zaletą tego rozwiązania jest to, że umożliwia ono przetwarzanie danych w sposób rozproszony. Nasz kurs pozwala zdobyć bazową wiedzę z zakresu pracy z danymi za pomocą Apache Spark (PySpark). W jego trakcie będziemy przygotowywać dane, selekcjonować je, sortować, agregować, łączyć i grupować, a także stworzymy własne funkcje do mapowania ich i nauczymy się zapisywać je do pliku.

Co Cię czeka podczas naszego profesjonalnego szkolenia

W ramach nauki z proponowanym przez nas kursem między innymi:

• Skonfigurujesz środowisko pracy
• Dowiesz się, czym jest SparkSession i jak ją uruchomić
• Stworzysz podstawową DataFrame
• Dokonasz selekcję danych i je posortujesz
• Zbudujesz schemat dla danych
• Poznasz podstawowe operacje związane z agregacją danych i łączeniem zbiorów w jeden
• Przetransformujesz dane za pomocą takich metod jak konkatenacja, rzutowanie czy explode
• Wykreujesz własne funkcje dla PySpark
• Wykonasz mapowanie
• Zapiszesz dane i odczytasz je z pliku - także w formacie parquet

PySpark. Kurs video. Przetwarzanie i analiza danych w procesach ETL kończy się na poziomie podstawowym. Otrzymana wiedza pozwoli Ci na samodzielne tworzenie pierwszych procesów związanych z transformacją i przetwarzaniem danych. Ułatwi Ci również ich mapowanie i zmianę typów danych. Po ukończeniu szkolenia bez problemu przygotujesz zadania z zakresu ETL.

Apache Spark

Apache Spark jest silnikiem zbudowanym specjalnie w celu przetwarzania danych. Został wyposażony w całą masę służących do tego bibliotek. Co ważne, dane w Sparku można przetwarzać równolegle, co stało się jednym z powodów, dla których technologia ta zdominowała świat big data. Apache Spark obsługuje wiele języków programowania, takich jak SQL, Scala, Python czy R, i pozwala rozwiązywać problemy na różne sposoby z zastosowaniem SQL, transmisji danych i uczenia maszynowego. Przydaje się wszędzie tam, gdzie ilość danych, które wymagają przetworzenia, przekracza możliwości tradycyjnych narzędzi.

Co to jest kurs video?

Kursy video to najłatwiejszy, najszybszy, a przy tym bardzo efektywny sposób nauki. Online można nauczyć się niemal wszystkiego, od podstaw programowania, przez obróbkę zdjęć i filmów, po... jogę. Szkolenia dostępne na Videopoint składają się z kilkuminutowych lekcji przygotowanych przez ekspertów z różnych branż. Dzięki połączeniu obrazu oraz komentarza autora, który objaśnia czynności wykonywane na ekranie, nawet bardzo skomplikowane zagadnienia okazują sie proste i zrozumiałe.

Jak odtworzyć kursy?

Jeśli chcesz oglądać kursy na komputerze, wystarczy, że będziesz posiadał najnowszą wersję Twojej przeglądarki internetowej. Kursy są strumieniowane (odtwarzane online) w technologii HTML5. Video możesz również odtworzyć w wygodnej i darmowej aplikacji mobilnej Videopoint. Aplikację pobierzesz na urządzenia z systemami Android, iOS, HarmonyOS.

Jak otrzymam kurs?

• Na swoją skrzynkę mailową otrzymasz wiadomość, w której znajdziesz specjalny kod. Mail zostanie wysłany do Ciebie maksymalnie do godziny od momentu zatwierdzenia płatności.
• Jeśli posiadasz już swój kod, wystarczy, że wejdziesz na Videopoint i będziesz postępował zgodnie z instrukcją. Po kliknieciu "Zatwierdź" kurs będzie dostępny w Twojej bibliotece Videopoint.
• Kurs możesz odtworzyć online (streaming) na stronie lub w aplikacji mobilnej Videopoint.
• Twój kod jest ważny rok czasu od dnia zakupu.