Ako rozl├║sknu┼ą sk├║┼íku Hadoop?

Big Data dnes existuj├║ v┼íade. S obrovsk├Żm n├írastom po─Źtu ─żud├ş tr├íviacich ─Źas a maxim├ílnym po─Źtom aktiv├şt vykon├ívan├Żch cez internet je generovanie obrovsk├ęho mno┼żstva ├║dajov zrejm├ę.

Je zrejm├ę, ┼że Big Data Analytics pou┼ż├şvaj├║ spolo─Źnosti na celom svete na u─żah─Źenie svojho rastu a rozvoja. Faktory, ktor├ę poh├í┼łaj├║ rast trhu s ├║dajmi Big Data Analytics, s├║ rast├║ca mobiln├í d├ítov├í prev├ídzka, n├ív┼ítevnos┼ą z cloudov├Żch po─Ź├şta─Źov a zav├ídzanie techn├şk, ak├Żmi s├║ AI a IoT.

V spr├íve sa uv├ídza, ┼że v roku 2018 bol glob├ílny trh Big Data Analytics ocenen├Ż na 37,34 miliardy USD a o─Źak├íva sa, ┼że do roku 2027 dosiahne 105,08 miliardy USD; to je CAGR z 12.3% z progn├│zovan├ęho obdobia 2019-2027.

Do roku 2020 90% podnikov├Żch analytikov a profesion├ílov z oblasti obchodu tvrd├ş, ┼że k─ż├║─Źom k iniciat├şvam digit├ílnej transform├ície v ich organiz├ícii s├║ ├║daje a analytika.

Tieto obrovsk├ę ─Ź├şsla ve─żmi jasne ukazuj├║, ako trh s Big Data Analytics rastie.

Jeden z n├ístrojov Big Data Analytics, Hadoop, je pova┼żovan├Ż za matku v┼íetk├Żch techn├şk ve─żk├Żch d├ít a v├Żvoj├ír Hadoop je dnes najvyh─żad├ívanej┼íou pr├ícou na trhu ve─żk├Żch d├ít. Preto m├┤┼że by┼ą pre v├ís prospe┼ín├ę absolvova┼ą certifika─Źn├ę ┼íkolenie Hadoop, aby ste mohli za─Źa┼ą svetl├║ kari├ęru vo svete ve─żk├Żch d├ít, ktor├Ż dnes poh├í┼ła svet IT.

Teraz si pre─Ź├ştajme o v├Żkonnom n├ístroji Big Data Analytics, tj. Hadoop.

─îo je Hadoop?

Apache Hadoop je softv├ęrov├Ż r├ímec s otvoren├Żm zdrojov├Żm k├│dom, ktor├Ż v├ím umo┼ż┼łuje uklada┼ą ve─żk├ę ├║daje v distribuovanom v├Żpo─Źtovom prostred├ş na paraleln├ę spracovanie ├║dajov.

Aplik├ície, ktor├ę s├║ vyvinut├ę pomocou programu Hadoop, sa vykon├ívaj├║ prostredn├şctvom ve─żk├Żch mno┼ż├şn ├║dajov distribuovan├Żch do klastrov komoditn├Żch po─Ź├şta─Źov. Komoditn├ę po─Ź├şta─Źe s├║ vo v┼íeobecnosti rozumn├ę udr┼żiava┼ą a s├║ ┼íiroko dostupn├ę. Pou┼ż├şvan├şm t├Żchto po─Ź├şta─Źov je dosiahnut├Ż vy┼í┼í├ş v├Żpo─Źtov├Ż v├Żkon, a to tie┼ż za ve─żmi n├şzke n├íklady.

Podobne v syst├ęme osobn├Żch po─Ź├şta─Źov, kde s├║ ├║daje ulo┼żen├ę v lok├ílnom syst├ęme s├║borov, v syst├ęme Hadoop s├║ ├║daje ulo┼żen├ę v distribuovanom syst├ęme s├║borov, ktor├Ż sa ozna─Źuje ako HDFS alebo distribuovan├Ż s├║borov├Ż syst├ęm Hadoop.

S n├írastom po─Źtu spolo─Źnost├ş, ktor├ę prij├şmaj├║ technol├│gie ve─żk├Żch d├ít, ako s├║ Hadoop, Spark, Kafka a ─Ćal┼íie, sa zvy┼íuj├║ aj pracovn├ę pr├şle┼żitosti pre odborn├şkov v tejto oblasti.

Pod─ża Indeed.com je priemern├Ż ro─Źn├Ż plat v├Żvoj├íra Hadoop v Indii INR 6, 00 000 a v USA to je 135 000 dol├írov. Tento obrovsk├Ż plat je d├┤vodom, pre─Źo by ste mohli chcie┼ą ├şs┼ą na certifik├íciu v├Żvoj├íra Hadoop.

Ke─Ć prem├Ż┼í─żate o certifik├ícii pre v├Żvoj├írov Hadoop, prv├í vec, ktor├í pr├şde do diskusie, je certifik├ícia CCA-175 Spark od Cloudera a Hadoop pre v├Żvoj├írov. T├íto certifik├ícia sl├║┼żi ako znak odbornosti, presnosti a dokonalosti pri v├Żvoji Apache Hadoop.

Pre─Ź├ştajte si podrobne o tejto certifik├ícii.

Čo je certifikácia Cloudera CCA-175 Hadoop a Spark Developer?

CCA-175 je predov┼íetk├Żm ┼íkoliaci a certifika─Źn├Ż program Apache Hadoop, Apache Spark a Scala. Tento program umo┼ż┼łuje v├Żvoj├írom Hadoop vybudova┼ą zastra┼íuj├║ci pr├şkaz nad prebiehaj├║cimi tradi─Źn├Żmi protokolmi v├Żvoja Hadoop s pokro─Źil├Żmi a najnov┼í├şmi n├ístrojmi a postupmi.

O tom, ─Źo je Hadoop, ste u┼ż ─Ź├ştali. Definujme Apache Spark a Scala.

Apache Spark, ako ho definuje Apache, je n├ístroj na r├Żchle spracovanie ├║dajov, ktor├Ż sa pou┼ż├şva v hornej ─Źasti distribuovan├ęho syst├ęmu s├║borov Apache Hadoop alebo HDFS. Ako definuje samotn├Ż n├ízov, je vyvinut├Ż Nad├íciou Apache a je n├ístrojom na spracovanie ├║dajov s otvoren├Żm zdrojov├Żm k├│dom.

Scala je pokro─Źil├Ż programovac├ş jazyk, ktor├Ż je vyvinut├Ż pomocou jazyka Java. Tento jazyk sa pou┼ż├şva na vykon├ívanie pr├şkazov na spracovanie ├║dajov v programe Spark na vrchu Hadoop.

CCA znamen├í Cloudera Certified Associate. Jednou z troch certifik├íci├ş, ktor├ę pon├║ka CCA, je CCA Hadoop a Spark Developer, k├│d je CCA175. T├íto certifik├ícia demon┼ítruje va┼íe z├íkladn├ę schopnosti prij├şma┼ą alebo vklada┼ą, transformova┼ą a sprac├║va┼ą ├║daje pomocou podnikov├Żch n├ístrojov Apache Spark a Core Cloudera.

CCA175 Form├ít certifika─Źnej sk├║┼íky v├Żvoj├íra Hadoop a Spark

Po─Źet ot├ízok v tomto teste sa m├┤┼że l├ş┼íi┼ą od 8 a┼ż 12, ─Źo s├║ ├║plne ├║lohy zalo┼żen├ę na v├Żkone alebo praktick├ę ├║lohy, ktor├ę s├║ pr├ştomn├ę v klastri Cloudera Enterprise.

Ako popisuje spolo─Źnos┼ą Cloudera, CCA175 je praktick├í praktick├í sk├║┼íka vyu┼ż├şvaj├║ca technol├│gie Cloudera a ka┼żd├ęmu pou┼ż├şvate─żovi je poskytnut├Ż vlastn├Ż klaster s predin┼ítalovan├Żm softv├ęrom Spark. 2.4

Na zodpovedanie ot├ízok z├şskate 120 min├║t a na ├║spe┼ín├ę absolvovanie sk├║┼íky a z├şskanie certifik├ítu mus├şte z├şska┼ą minim├ílne 70%. Za sk├║┼íku mus├şte zaplati┼ą 295 USD (21 000 INR). Ka┼żd├í ot├ízka CCA je zalo┼żen├í na scen├íri a s ka┼żdou ot├ízkou mus├şte vyrie┼íi┼ą konkr├ętny scen├ír. Sk├║┼íka je zalo┼żen├í na technik├ích ve─żk├Żch d├ít, ako s├║ Hive, HDFS, Impala, Spark a ─Ćal┼íie.

Hne─Ć ako odo┼ílete svoju sk├║┼íku, bude klasifikovan├í a v ten ist├Ż de┼ł sk├║┼íky dostanete e -mail so spr├ívou o sk├│re. Pri ka┼żdej ot├ízke, ktor├║ sa pok├║site, z├şskate podrobn├ę sk├│re. Po absolvovan├ş sk├║┼íky dostanete do nieko─żk├Żch dn├ş od sk├║┼íky druh├Ż e -mail, ktor├Ż obsahuje PDF v├í┼í digit├ílny certifik├ít a licen─Źn├ę ─Ź├şslo.

Vy┼żadovan├ę schopnosti

Na zvl├ídnutie tejto sk├║┼íky s├║ potrebn├ę tieto schopnosti:

  • Pr├şjem ├║dajov: To zah┼Ľ┼ła schopnosti pren├í┼ía┼ą ├║daje medzi extern├Żm syst├ęmom a va┼íim klastrom. To m├┤┼że zah┼Ľ┼ła┼ą pou┼żitie Sqoop na import ├║dajov z datab├ízy MySQL do HDFS a export ├║dajov v opa─Źnom porad├ş. Na─Ź├ştanie ├║dajov do a von z HDFS pomocou pr├şkazov syst├ęmu s├║borov Hadoop a ─Ćal┼í├şch.
  • Transform├ícia, f├íza a ukladanie: Jedn├í sa o konverziu s├║boru d├ítov├Żch hodn├┤t v danom form├íte, ktor├Ż je ulo┼żen├Ż v HDFS, na nov├ę ├║dajov├ę hodnoty alebo nov├Ż d├ítov├Ż form├ít a z├ípis do HDFS.
    • Na─Ź├ştajte ├║daje z HDFS, aby ich bolo mo┼żn├ę pou┼żi┼ą v aplik├íci├ích Spark.
    • Pomocou programu Spark zap├ş┼íte v├Żsledky sp├Ą┼ą do syst├ęmu HDFS.
    • ─î├ştajte a zapisujte s├║bory pomocou r├┤znych form├ítov.
    • Vykon├ívanie ┼ítandardn├ęho ETL alebo extrahovanie, transform├ícia, na─Ź├ştanie procesov z ├║dajov pomocou rozhrania Spark API.
  • Anal├Żza d├ít: Na programov├║ interakciu s metastorom vo va┼íich aplik├íci├ích mus├şte pou┼żi┼ą Spark SQL. Zostavy sa generuj├║ pomocou dopytov proti na─Ź├ştan├Żm ├║dajom. To m├┤┼że zah┼Ľ┼ła┼ą:
    • Pou┼żitie tabuliek metastore ako ├║lo┼żiska vstupov a v├Żstupov pre aplik├ície Spark.
    • Pochopenie z├íkladov dotazovania na mno┼żiny ├║dajov v programe Spark.
    • Filtrujte ├║daje pomocou programu Spark.
    • P├şsanie dotazov, ktor├ę sa pou┼ż├şvaj├║ na v├Żpo─Źet agregovanej ┼ítatistiky.
    • Pripojenie na rozdiel od mno┼ż├şn ├║dajov pomocou Sparku.
    • Vytv├íranie hodnoten├Żch alebo trieden├Żch ├║dajov.
  • Konfigur├ícia: Preto┼że sa jedn├í o praktick├║ sk├║┼íku, pri ktorej sa mus├şte ovl├ída┼ą, mus├şte sa zozn├ími┼ą so v┼íetk├Żmi aspektmi p├şsania tak├ęho k├│du, ktor├Ż generuje v├Żsledky.
    • Poskytovanie mo┼żnost├ş pr├şkazov├ęho riadka na zmenu konfigur├ície, ─Źo m├┤┼że zah┼Ľ┼ła┼ą zv├Ż┼íenie dostupnej pam├Ąte.
  • Predpoklady pre CCA175: Neexistuj├║ ┼żiadne predpoklady na absolvovanie ┼żiadnych certifika─Źn├Żch sk├║┼íok Cloudera.

Spodn├í ─Źiara

S tak vynikaj├║cimi platov├Żmi a pracovn├Żmi vyhliadkami v├Żvoj├íra Hadoop by ste chceli urobi┼ą kari├ęrny postup a absolvova┼ą certifika─Źn├║ sk├║┼íku CCA175 Hadoop and Spark Developer.

Ak si prajete absolvova┼ą t├║to sk├║┼íku na prv├Ż pokus, je najlep┼íie absolvova┼ą ┼íkolenie bez zdr┼żania. S tr├ęningov├Żm kurzom sa stane u─Źenie jednoduch├Żm, preto┼że sa u─Ź├şte svojim vlastn├Żm tempom a sp├┤sob u─Źenia je tie┼ż va┼íou vo─żbou.

Do toho! Urobte krok!

Krátka adresa URL: https://ssf.co/3eoOx7L