Jupa mä chikat datos almacén ukat chikat datos quta ukat taqi kunatakix objeto almacenamiento uka apnaqi. Mä almacén de datos lurañatakix yänak imañ apnaqañax Formatos de Tabla Abierta (OTFs) ukanakampiw lurasi, Apache Iceberg, Apache Hudi, ukat Delta Lake, ukax especificaciones ukanakawa, mä kuti phuqhachatäxi ukhax jan kuna ch’axwañampiw objeto imañax apnaqañapatakix ukhama mä almacén de datos ukatakix solución de almacenamiento subyacente ukax utjiwa. Aka especificaciones ukax lurawinakampiw uñacht’ayaraki, ukax inas jan utjkchiti mä convencional Almacén de Datos ukan - sañäni, instantáneas (tiempo viaje ukham uñt’atarakiwa), esquema evolución, particiones, evolución de partición ukat cero-copia ramificación.

Kunjamakitix organizaciones ukanakax Modern Datalakes ukar lurapxi, akax mä qawqha jach’a amtanakaw amuyt’apxañapa sasaw amuyapxtanxa:

1. Desagregación de computación ukatxa almacenamiento ukanaka
2. Marcos monolíticos ukanakat marcos de mejor de raza ukar sarxataña
3. Datos centros consolidación - soluciones departamentales ukaxa mä sapa solución corporativa ukampiwa turkañapa
4. Jisk’a ukat jach’a archivonaka/objetos ukanakan jan ch’axwañamp luraña
5. Software ukan uñt’ayata, cloud-native ukax soluciones ukanakaw escala horizontal ukar uñt’ayasi

Aka qillqatax Hadoop HDFS ukan sartawipat ukhamarak aynacht’awipatw arsu ukatx kunats jach’a lurawinak imañ yänakax mä natural sucesor ukhamawa jach’a yatiyawinak uraqpachanxa.

Hadoop ukan apsutapa

Internet ukan aplicacionanakan jilxattatapampixa, nayrïr jach’a jan walt’awinakax datos almacenamiento ukat agregación ukanakax empresas avanzadas tecnológicas ukanakatakix 15 maraw qalltawayi. RDBMS tradicional (Sistema de Gestión de Bases de Datos Relacionales) ukax janiw jach’a yatiyawinak jak’achasiñatakix escalañjamäkänti. Ukatx Hadoop, mä modelo wali escalable ukaw jutäna. Modelo Hadoop ukanx mä jach’a yatiyawix walja jan jila qullqin maquinanakaruw jaljasi mä clúster ukanx ukatx paralelo ukanw lurasi. Aka maquinas jan ukaxa nodos ukanakana jakhthapitapaxa empresa ukana mayitaparjamaxa jilxatayatarakispawa jan ukaxa jisk’achatarakispawa.

Hadoop ukax código abierto ukhamarak hardware de mercancías costo-efectivo ukampiw apnaqatayna, ukax mä modelo costo-eficiente ukaw utjäna, janiw nayra bases de datos relacionales ukar uñtaskiti, ukax hardware jila chanini ukat procesores de gama de gama ukanakaw jach’a datos ukanakamp apasiñatakix munasispa. Kunatix modelo RDBMS ukan escalañax wali jila qullqinïnwa, empresanakax crudo datos ukanak apsuñ qalltapxäna. Ukax mä qawqha vectores ukanx subóptimos resultados ukar puriyatayna.

Uka tuqitxa, Hadoop ukax mä jach’a ventaja uñacht’ayi RDBMS ukan uñakipawipatxa. Ukax mä perspectiva de costo ukanx juk’amp escalable ukhamänwa, jan rendimiento ukar sacrificasa.

Hadoop ukax tukuyatawa

Machaq tecnologías ukanakan uñstatapax cambio de datos captura (CDC) ukat streaming data, nayraqatax empresas de medios sociales ukanakat Twitter ukat Facebook ukanakat luratawa, ukax kunjams datos ukanakax manq’antasi ukat imatäski ukx mayjt’ayawayiwa. Ukax uka juk’amp jach’a volúmenes de datos ukanakan lurañan ukhamarak manq’añan jan walt’awinak utjayawayi.

Mä jach’a jan walt’awix lote proceso ukampiw utjäna. Procesos de lote ukax qhipäxan apnaqatawa ukatx janiw apnaqirimp chikt’atäkiti. Hadoop ukax lote proceso ukampix wali askiwa kunawsatix wali jach’a archivonakax purinkäna ukampis jisk’a archivonakampi t’aqhisiwayiwa —mä perspectiva de eficiencia ukhamarak mä perspectiva de latencia— askiw ukax jan apnaqañjamawa kunatix empresanakax marcos de procesamiento ukat consumo ukanakar thaqhapxäna ukax kunayman conjuntos de datos jach’a ukat... jisk’a lote, CDC, ukat chiqpach pachan.

Computación ukat almacenamiento ukanak jaljañax jichhürunakanx wali askiwa. Almacenamiento ukax computación ukarux tunka mayaruw jilxattañapa. Akax Hadoop uraqpachanx wali jan ch’amaniwa, kawkhantix sapa nodo de almacenamiento ukatakix mä nodo de computación ukax wakisi. Jupanakar jaljañax sapa mayniw sintonizatäspa sañ muni. Nodos de computación ukax estado ukanipxi ukatx juk’amp CPU núcleos ukat memoria ukanakamp optimizadas ukhamawa. Nodos de almacenamiento ukaxa estado ukaniwa ukatxa E/S optimizado ukhamawa juk’ampi denso unidades ukampi ukhamaraki juk’ampi banda ancho ukampi.

Desaggregación ukampixa, empresanakaxa economía superior, juk’ampi suma apnaqawi, escalabilidad juk’ampi suma, ukhamaraki taqpacha costo de propiedad ukanaka jach’anchayaña.

HDFS ukax janiw aka mayjt’äw lurañjamäkiti. Kunawsatix localidad de datos ukar mistktan ukhax Hadoop HDFS ukan ch’amapax jan ch’amanïñapatakiw tuku. Hadoop ukax MapReduce computing ukatakiw lurasiwayi, kawkhantix datos ukat computación ukax mayacht’asis uñt’ayasiñapänwa. Ukhamatwa, Hadoop ukax irnaqäw wakicht’ir, recursos apnaqiri, imañ ukat computación ukanak munaraki. Ukax fundamentalmente arquitecturas basadas en contenedores ukanakamp jan walt’ayatawa, kawkhantix taqi kunas elástico, k’achachata, ukat walja arrendatarios ukanakampi.

Ukampirus, MinIO ukax cloud nativo ukan yuritayna ukatx contenedores ukat orquestación ukanak Kubernetes tuqiw lurasiwayi, ukax tecnología ideal ukhamawa, kunapachatix instancias HDFS herencias ukanakar jubilasktan ukhax transición ukaruw puri.

Ukax Modern Datalake ukar uñstayawayiwa. Ukax Hadoop ukan herenciat katuqat hardware de mercancías ukan uñakipañ apnaqañ askinak apsu ukampis imañ ukat jakhüwinak desaggrega — ukhamat kunjams datos ukanakax lurasi, uñakipata ukat manq’atäki uk mayjt’ayañataki.

Mä Modern Data Lake ukax MinIO ukampiw lurasi

MinIO ukax mä sistema de almacenamiento de objetos de alto rendimiento ukawa, ukax zero ukhat luratawa, escalable ukhamarak cloud-native ukhamañapataki. MinIO lurapkän uka equipo ukax mä sistema de ficheros ukan mä suma apnaqañ sistema GlusterFS ukan lurarakïna, janïr imañ tuqit amuyunakapar mayjt’ayañkama. Jupanakan sistemas de ficheros ukat kawkir lurawinakas jila chanini jan ukax jan askinjam uñjatapax MiniIO ukan arquitectura ukar yatiyatayna, ukax lurawimp ukhamarak jan ch’amäñapatakiw lurawinx puriyatayna.

Minio ukaxa codificación de borrado uka apnaqi ukatxa mä suma conjunto de algoritmos ukanaka churaraki, ukhamata apnaqañataki almacenamiento eficiencia ukatxa resiliencia ukanaka churañataki. Jilapachax 1,5 kutiw copia, janiw 3 kuti Hadoop clústeres ukanx ukhamäkiti. Aka sapakix nayratpachx imañ askinak churaraki ukatx Hadoop ukar uñtasitx qullqinak jisk’acharaki.

Qalltatpachax MinIO ukax modelo de operación cloud ukatakiw lurasiwayi. Ukatwa sapa qinayax tʼijtʼi, mä arunxa: público, privado, on-prem, metal desnudo ukat borde. Ukax walja cloud ukat híbrido-cloud ukanakan uñstayañatakix wali askiwa. Mä configuración híbrida ukampixa, MinIO ukaxa yanapt’iwa migración de análisis de datos ukatxa ciencia de datos ukatxa cargas de trabajos de trabajos ukaru uñtasita uñakipañataki kunjamatixa Martin Fowler jupan wali uñt’atawa.

Aka amparamp qillqt’at uñacht’awinakax yaqha walja razonanakawa kunatix MinIO ukax bloque básico de construcción ukawa mä Modern Datalake ukatakix capaz ukax infraestructura de datos IA ukaruw yanapt’aspa ukhamarak yaqha cargas de trabajo analíticas ukanakar yanapt’añataki ukhamarak inteligencia empresarial, análisis de datos ukat ciencia de datos ukanak yanapt’añataki.

Jichha pacha Datos Wakichata

Hadoop ukax mä amtampiw lurasiwayi datos ukataki kawkhantix “datos no estructurados” ukax jach’a (GiB ukat TiB-tama) registro archivonaka sañ muni. Kunawsatix mä plataforma de almacenamiento de propósito general ukham apnaqatäki kawkhantix chiqpach jan estructurado datos ukanakax anatañanx utjki ukhax jisk’a yänakan prevalencia (KB ukat MB) ukax Hadoop HDFS ukarux walpun jan walt’ayi, kunatix nodos de nombres ukax janipuniw ukham escalar uñstayañatak luratäkänti. MiniIO ukax kunayman archivo/objeto tama (8KiB ukat 5TiB) ukanx wali askiwa.

Jisk’a jamuqanaka

Hadoop ukar apnaqir empresanakax tecnologías de código abierto ukar munañatw ukham lurapxi. Uñakipt’añ yatiña, jan llawintasiña, ukat tunka waranqa apnaqirinakat jutir chuymacht’awi, chiqpach valoraniwa. MinIO ukax 100% abierto código ukhamarakiwa, ukax organizaciones ukanakax amtanakaparjam chiqapar uñjapxañapatakiw uñji, ukampirus experienciap jach’anchayañataki.

Jasa

Jan chʼamäki ukanak lurañajj chʼamawa. Ukatakejj trabajiña, cheqañchaña ukat taqe kunat sipansa, compromiso lurañaw wakisi. MinIO ukax jan ch’amäki ukax legendario ukhamawa ukatx mä compromiso filosófico ukan luratawa, jiwasan software ukax jasakiw uñstayañataki, apnaqañataki, machaqar tukuyañataki, ukat jach’aptayañataki. Hadoop ukan munasirinakapax complejo ukhamaw sasaw sapxätam. Jisk’a yänakampi juk’amp lurañatakixa, MinIO ukar jaqukipañaw wakisi.

Uñacht’ayaña

Hadoop ukax wali uñt’ataw jilxattawayi kunatix jach’a yatiyawinak lurañ yati. Jupanakax tunka marat juk’amp sumaw análisis de grado empresarial ukatakix mä chimpunakäpxäna. Janiwa juk’ampi. MinIO ukax walja uñacht’ayatawa ukax materialmente Hadoop ukar sipanx juk’amp jayaruw puri. Ukax Modern Datalake ukatakix juk’amp suma lurañ sañ muni.

K’achachata

MinIO ukax servidor binario ukax taqpach <100MB ukhamawa. Jach’akïkchisa, centro de datos ukar apnaqañatakix wali ch’amaniwa, ukampirus wali jisk’akiwa, ukhamat bordado ukan suma jakañataki. Hadoop ukanx janiw ukham alternativax utjkiti. Kuntix empresanakatakix sañ munki ukax S3 ukan aplicacionanakapax kawkhantix, kuna pachas, ukat pachpa API ukampiw datos ukar mantapxaspa. MinIO ukar mä chiqar uñt’ayasa, borde ukan yatiyawinakap katjaña ukat filtraña ukat MinIO ukan replicación ukan ch’amanchawip apnaqañax Modern Datalake ukar apañataki agregación ukat juk’amp análisis ukanakataki.

Risilinti

MinIO ukax datos ukarux sapa objeto, codificación de borrado inline ukampiw jark’aqasi, ukax juk’amp askiwa HDFS alternativas ukanakat sipanx ukax replicación ukjatx juti ukatx janipuniw adoptación ukax jikxataskiti. Ukhamarus, MinIO ukan bitrot uñt’ayawipax janipuniw jan walt’ayat yatiyawinak uñakipañapatak uñji — jan walt’ayat yänak ch’uspa pachan katjaña ukat qullaña. MinIO ukax región cruzada, activa-activa replicación ukaruw yanapt’araki. Tukuyañatakix MinIO ukax mä phuqhat marco de bloqueo de objetos ukaruw yanapt’i, ukax Legal Hold ukat Retención ukanak uñacht’ayi (Gobernación ukat Cumplimiento uka modalidad ukanakampi).

Software Uñt’ayata

Hadoop HDFS ukax mä hardware ukan apnaqatawa; ukax software ukawa, ukax hardware de mercancías ukan apnaqatawa. Ukax MinIO ukax — software ukawa. Kunjamakitix Hadoop HDFS, MinIO ukax luratawa, servidores de mercancías ukanakat taqpach askinak apsuñataki. NVMe unidades ukat 100 GbE red ukar aprovechañ yatiñampixa, MinIO ukax centro de datos ukarux jisk’achaspawa — operativo eficiencia ukat gestión ukar askinchañataki.

Chiqsapuni

MinIO ukax walja, sofisticados esquemas de encriptación de lado servidor ukar yanapt’i, datos ukar jark’aqañataki — kawkhantix utjki — jaltxañan jan ukax samarañan. MinIO ukan amtapax imantat, chiqapar uñjañ, ukat chiqapar uñjañ jan yäqañjam lurawinak jach’anchayi. Servidor ukat cliente uksan encriptación ukax AES-256-GCM, ChaCha20-Poly1305, ukat AES-CBC ukanakamp yanapt’atawa, ukax aplicación ukan chikancht’asiñapatakiw yanapt’i. Ukhamarus, MinIO ukax industria ukan nayrïr sistemas de gestión clave (KMS) ukanakaruw yanapt’i.

Hadoop ukan MinIO ukar migraña

MinIO equipo ukax HDFS ukan MinIO ukar sarxañ yatiñaniwa. Empresan licenciap alasirinakax ingenieronakasat yanapt’a katuqapxaspaw. MinIO apnaqaña HDFS ukar lantintañatak juk’amp yatxatañatakix uñakipt’añäni .

Tukuyawi

Sapa empresax mä empresa de datos ukawa aka pachanxa. Uka yatiyawinak imañasa ukat qhipa uñakipañax jan ch’am tukus, escalable, seguridad ukat rendimiento ukanak lurañaw wakisi. Herramientas analíticas ukanakax ecosistema Hadoop ukan uñstayatawa, Spark ukar uñtasita, ukax juk’amp askiwa ukat juk’amp askiwa kunawsatix objetos almacenamiento ukarjam datos qutanakamp chikt’ata ukhaxa. Flink ukham tecnologías ukanakax taqpach lurawinak juk’amp askinchapxi kunatix mä sapa ejecución tiempo ukaw streaming ukataki ukhamarak batch processing ukax janiw sum irnaqkänti modelo HDFS ukanxa. Apache Arrow ukham marcos ukanakax kunjams datos ukanakax imatäski ukat lurasi ukx wasitat uñt’ayasipki, ukatx Iceberg ukat Hudi ukanakax kunjams formatos de tablas ukanakax datos ukar sum jiskt’añax wakisi uk wasitat uñt’ayasipki.

Aka tecnologías ukanakax taqpachaw mä moderno, objeto almacenamiento-based data quta munapxi kawkhantix computación ukat almacenamiento ukax desaggregado ukhamarak carga de trabajo-optimizada. Jumatix kuna jiskt’awinakas utjchi ukhax arquitectura ukax pachpa moderno datos qutaruw puri, jank’akiw aka tuqir jawst’añama jan ukax jiwasan canal.