Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica (2024)
- Authors:
- Autor USP: SILVA, ÉRICO CORREIA DA - EP
- Unidade: EP
- Sigla do Departamento: PCS
- Subjects: BIG DATA; CLUSTERS
- Language: Português
- Abstract: O Big Data tem revolucionado a exploração de dados em larga escala. Ao mesmo tempo, clusters HPC são usados em simulações científicas com resoluções cada vez mais altas, utilizando um volume de dados que vem crescendo de forma acentuada. Embora façam uso de sistemas de arquivo distribuídos mais robustos, clusters HPC movimentam o dado pela rede durante o processamento, enquanto frameworks de Big Data exploram a localidade dos dados para processá-los sem movimentação pela rede, utilizando hardware de baixo custo. Para promover o uso simultâneo de um mesmo cluster por aplicações científicas e processamento de Big Data, este trabalho propõe um novo sistema de arquivos distribuído, o AwareFS. Baseado no padrão POSIX, o AwareFS possui uma arquitetura escalável e resiliente, usando um protocolo de escrita local para explorar a localidade dos dados mesmo durante atualizações. Essa nova tecnologia de armazenamento permite reescrita e acesso randômico, utilizando um sistema distribuído de controle de locks para garantir consistência e flexibilidade no acesso concorrente de múltiplos clientes, tanto na leitura quanto na escrita. Resultados obtidos com benchmarks de mercado comprovaram a eficiência do AwareFS em diferentes perfis de leitura e escrita, sequencial e randômica, demonstrando o benefício do protocolo de escrita local e a escalabilidade acrescentando servidores. O AwareFS contribui para a convergência de tecnologias, possibilitando o uso de um mesmo cluster, mesmo de baixo custo, em cargas de trabalho de Big Data, computação científica e aplicações tradicionais.
- Imprenta:
- Data da defesa: 07.02.2024
-
ABNT
SILVA, Érico Correia da. Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica. 2024. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2024. Disponível em: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-11042024-081949/pt-br.php. Acesso em: 02 maio 2024. -
APA
Silva, É. C. da. (2024). Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/3/3141/tde-11042024-081949/pt-br.php -
NLM
Silva ÉC da. Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica [Internet]. 2024 ;[citado 2024 maio 02 ] Available from: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-11042024-081949/pt-br.php -
Vancouver
Silva ÉC da. Exploração da localidade dos dados e locks distribuídos para leitura e escrita em um sistema de arquivos para Big Data ou computação científica [Internet]. 2024 ;[citado 2024 maio 02 ] Available from: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-11042024-081949/pt-br.php
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
