Akkumuleerders is veranderlikes wat slegs deur 'n assosiatiewe bewerking "bygevoeg" word en kan dus doeltreffend in parallel ondersteun word. Hulle kan gebruik word om tellers (soos in MapReduce) of somme te implementeer. Spark ondersteun inheems akkumuleerders van numeriese tipes, en programmeerders kan ondersteuning vir nuwe tipes byvoeg.
Waarom gebruik ons akkumulator?
Hidrouliese akkumulators word in 'n wye verskeidenheid van industrieë gebruik om energie te stoor; behou druk; demp vibrasies, pulsasies en skokke; en baie meer. Energieberging – Akkumulators kan energie in die vorm van vloeistof onder druk aanvaar, berg en vrystel om jou hidrouliese stelseldoeltreffendheid te verbeter.
Wat is die verskil tussen uitsaai en akkumulator in Spark?
Die sleutelverskil tussen 'n uitsaaiveranderlike en 'n akkumulator is dat terwyl die uitsaaiveranderlike leesalleen is, die akkumulator bygevoeg kan word. … Elke werkernodus kan slegs toegang tot sy eie plaaslike akkumulatorwaarde verkry en byvoeg, en slegs die drywerprogram kan toegang tot die globale waarde kry.
Hoe werk Spark-akkumulator?
Akkumuleerders is veranderlikes wat gebruik word vir die samevoeging van inligting oor die eksekuteurs. Hierdie inligting kan byvoorbeeld betrekking hê op data of API-diagnose, soos hoeveel rekords beskadig is of hoeveel keer 'n spesifieke biblioteek-API genoem is.
Waarom moet akkumulatorveranderlike in Spark nie deur werker vir transformasie-bewerkings gebruik word nie?
Akkumulator sal verkeerde uitset gee. As 'n taak stadig loop, kan Spark 'n spekulatiewe kopie van daardie taak op 'n ander nodus begin. Uitspraak: Nie hanteer nie. Akkumulator sal verkeerde uitset gee.
