Parquet-lêer is 'n hdfs-lêer wat die metadata vir die lêer moet insluit. Dit laat toe om kolomme in veelvuldige lêers te verdeel, sowel as om 'n enkele metadatalêer te hê wat na verskeie parketlêers verwys. Die metadata bevat die skema vir die data wat in die lêer gestoor is.
Hoe skep ek 'n skema vir 'n parketlêer?
Om die skema van die parketmonsterdata te genereer, doen die volgende:
- Teken aan by die Haddop/Hive-boks.
- Dit genereer die skema in die standaard soos volg: -------------- [~] parket-gereedskap skema abc.parquet. boodskap korf_skema { …
- Kopieer hierdie skema na 'n lêer met. parket/. par uitbreiding.
Steun parket skema-evolusie?
Skema-samesmelting
Soos Protocol Buffer, Avro, and Thrift, Parquet ondersteun ook skema-evolusie Gebruikers kan met 'n eenvoudige skema begin en geleidelik meer kolomme byvoeg die skema soos benodig. Op hierdie manier kan gebruikers met veelvuldige Parket-lêers eindig met verskillende maar onderling versoenbare skemas.
Het parketlêers datatipes?
Parquet-lêerdatatipes kaart na transformasiedatatipes wat die Data-integrasiediens gebruik om data oor platforms te skuif. Die Parket-skema wat jy spesifiseer om 'n Parket-lêer te lees of te skryf, moet in kleiner letters wees.
Wat is die struktuur van parketlêer?
Parquet-lêers is saamgestel uit rygroepe, kop- en voetskrif Elke rygroep bevat data uit dieselfde kolomme. Dieselfde kolomme word saam in elke rygroep gestoor: Hierdie struktuur is goed geoptimaliseer vir beide vinnige navraagprestasie, sowel as lae I/O (wat die hoeveelheid geskandeerde data tot die minimum beperk).
