Homogeneous and heterogeneous architecture for distributed processing of unstructured data with framework hadoop

• Huancahuire Bravo, Claudio Isaias ; Bravo Mendoza , Guido ; Rozas Huacho, Javier Arturo ^[1]
  1. [1] Departamento Académico de Ingeniería Informática de la UNSAAC
• Localización: Revista de Investigación en Ciencia y Tecnología: C&T Riqchary, ISSN-e 2810-8124, Vol. 3, Nº. 1, 2021 (Ejemplar dedicado a: Vol. 3 Núm. 1 (2021)), págs. 17-20
• Idioma: inglés
• Enlaces
  • Texto completo
• Resumen

  • Se requiere nueva tecnología de almacenamiento, para el contexto de sensores, Web 2.0-YouTube, internet de las cosas, redes sociales (facebook, twitter, whatsApp), conllevando exponencialmente a grandes volúmenes de datos, al tratamiento de velocidades extramadanente rápidas y son datos de formatos que no tienen estructura. En compendio se genera un desafío en una dicción titulada “Big Data”, que el SQL no satisface. La propuesta es diseñar e implementar un servidor de mejor prestación para “Big Data”, logrando así dos clústeres de arquitectura de 10 PC homogéneas y 10 PC heterogéneas basados en el framework Hadoop bajo el modelo cliente/servidor en base a Hardware Commodity, HDFS que almacena de manera distribuidad y YARN que procesa en paralelo con el modelo de programación MapReduce. para ello se descargo el código binario de Hadoop 2.9.2, se instalo en sistema operativo RedHat-CentOS7, se compiló el JDK, logrando configurar Java, continuamos con la seguridad SSH-RSA, creando así un servidor de mejores prestaciones para “Big Data”. Las pruebas de rendimiento se realizaron en nuestro servidor localhost, con una población de 6.4 GB y 12.8 GB. Estimando integrar un servidor con PC de escritorio convencionales, como máximo 4000 nodos y no solo con las mismas características de PC.