Die afvoer van 'n Mapper- of kaartwerk (sleutel-waarde-pare) is insette na die Reducer Die verkleiner ontvang die sleutel-waarde-paar van veelvuldige kaarttake. Dan aggregreer die verkleiner daardie intermediêre data-tupels (intermediêre sleutel-waarde-paar) in 'n kleiner stel tupels of sleutel-waarde-pare wat die finale uitset is.
Wat doen karteerders en verkleiners?
Hadoop Mapper is 'n funksie of taak wat gebruik word om alle invoerrekords vanaf 'n lêer te verwerk en die uitvoer te genereer wat as invoer vir Reducer werk Dit produseer die afvoer deur nuwe terugstuur sleutel-waarde pare. … Die karteerder genereer ook 'n paar klein blokkies data terwyl die invoerrekords as 'n sleutel-waarde-paar verwerk word.
Wat is die verskil tussen karteerder en verkleiner?
Wat is die belangrikste verskil tussen Mapper en Reducer? Mapper-taak is die eerste fase van verwerking wat elke invoerrekord (vanaf RecordReader) verwerk en 'n intermediêre sleutel-waarde-paar genereer. Verminder-metode word afsonderlik vir elke sleutel/waarde-lyspaar genoem.
Hoe bereken jy die aantal karteerders en verkleiners?
Dit hang af van hoeveel kerns en hoeveel geheue jy op elke slaaf het. Oor die algemeen behoort een karteerder 1 tot 1.5 kerne van verwerkers te kry So as jy 15 cores het, kan mens 10 Mappers per Node laat loop. So as jy 100 data nodusse in Hadoop Cluster het, kan 'n mens 1000 Mappers in 'n Cluster laat loop.
Hoe werk Mapper-funksie?
Mapper is 'n funksie wat verwerk die invoerdata Die karteerder verwerk die data en skep verskeie klein stukke data. Die invoer na die karteerderfunksie is in die vorm van (sleutel, waarde) pare, selfs al is die invoer na 'n MapReduce-program 'n lêer of gids (wat in die HDFS gestoor word).
