[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"doc-detail-119030-en":3,"doc-seo-119030-105":30,"detail-sidebar-cat-0-en-105":91},{"code":4,"msg":5,"data":6},0,"success",{"doc_id":7,"user_id":8,"nickname":9,"user_avatar":10,"doc_module":4,"category_id":11,"category_name":12,"doc_title":13,"doc_description":14,"doc_content":15,"file_id":16,"file_url":17,"file_type":18,"file_size":19,"view_count":4,"is_deleted":4,"is_public":20,"is_downloadable":20,"audit_status":20,"page_count":21,"language":22,"language_code":23,"site_id":24,"html_lang":23,"table_of_contents":25,"faqs":26,"seo_title":27,"seo_description":14,"update_tm":28,"read_time":29},119030,137441390410,"Hazel","https://ap-avatar.wpscdn.com/avatar/2000252f4ab5702993?_k=1776741390130283984",8,"Research & Report","Dynamic Management of Distributed Machine Learning Problems","Distributed machine learning addresses the need to manage rapidly growing, complex datasets by enabling models to be trained and updated across clusters. The work introduces a distributed machine learning system running on a Hadoop cluster, leveraging replication, load balancing, and block-based distribution, while applying the principle of data locality to train models in a coordinated manner. A dedicated optimization module allows parts of the model to be altered as new data arrives, supporting continuous evolution over time. The goal is to improve scalability and reduce computational resource consumption while enabling more efficient analysis for real-world decision making.","ESCOLA SUPERIOR  \nDE TECNOLOGIAE GESTÃO POLITÉCNICO  \nDO PORTO  \nM MESTRADO  \nENGENHARIA INFORMÁTICA  \nDynamic Management of Distributed Machine Learning Problems  \nFilipe Vamonde Oliveira  \n11/2023  \nESCOLA SUPERIOR  \nDE TECNOLOGIAE GESTÃO POLITÉCNICO DO PORTO  \nM   \nMESTRADO  \nENGENHARIA INFORMÁTICA  \nDynamic Management of Distributed Machine  \nLearning Problems  \nFilipe Vamonde Oliveira  \n8170164  \nOrientador  \nPhD Davide Rua Carneiro  \nDissertação apresentada para cumprimento dos requisitos necessários à obtenção do grau de Mestreem Engenharia Informática pela Escola Superior de Tecnologia e Gestão do Instituto Politécnico do Porto.  \nDeclaração de Integridade  \nEu, Filipe Vamonde Oliveira, estudante nº 8170164, do Mestrado de Engenharia Informática da Escola Superior de Tecnologia e Gestão do Instituto Politécnico do Porto, declaro que não fiz plágio nem autoplágio, pelo que o trabalho intitulado “Dynamic Management of Distributed Machine Learning Problems” é original e da minha autoria, não tendo sido usado previamente para qualquer outro fim. Mais declaro que todas as fontes usadas estão citadas, no texto e na bibliografia final, segundo as regras de referenciação adotadas na instituição.  \nAgradecimentos  \nEm qualquer projeto existe um conjunto de pessoas que o tornam possível, e sem elas, este projeto nãoestaria concluído.  \nAgradeço em primeiro lugar ao meu orientador, professor Dr. Davide Carneiro, pela maneira como me acolheu como seu discípulo. Agradeço pela confiança depositada, pelas reuniões que se disponibilizou, correções e sugestões, assim como pela revisão e orientação do projeto.  \nAgradeço por tudo o que aprendi. E principalmente, por tudo que tive oportunidade de fazer.  \nAos meus colegas, pelo suporte, motivação e companhia.  \nObrigado à Escola Superior de Tecnologia e Gestão por me ter acolhido no meu percurso profissional, a todo o corpo docente, e pela disponibilidade destes.  \nUm agradecimento especial também para quem não contribuiu de forma direta para o sucesso deste projeto, mas ainda assim, sem eles também não seria possível, incluindo a família.  \n”Distributed machine learning allows us to break down large, complex problems into smaller, more manageable parts, enabling us to tackle them with greater efficiency and accuracy.”  \nFEI-FEI LI  \nRESUMO  \nMachine Learning (ML) e Inteligência Artificial (IA) são dois termos intimamente relacionados. AInteligência Artificial é uma disciplina que busca criar máquinas que tenham a capacidade de imitar ashabilidades cognitivas humanas, como aprendizagem, raciocínio, perceção, e tomada de decisão. Machine Learning é uma das técnicas de IA que permite às máquinas aprenderem a partir de dados sem serem explicitamente programadas.  \nO crescimento exponencial dos dados nas últimas décadas tem sido um dos principais fatores impulsionadores do avanço da Inteligência Artificial e de Machine Learning. As empresas e organizações recolhem dados em volumes cada vez maiores, incluindo informações de transações financeiras, registosmédicos, dados de sensores IoT e muito mais. Esses dados são cruciais para impulsionar a inovação e oprogresso, mas podem ser muito complexos e difíceis de serem analisados manualmente.  \nÉ aqui que entra o Machine Learning, que permite que as máquinas aprendam e automatizem a análise de grandes conjuntos de dados. Essa abordagem reduz o tempo e o esforço necessários para realizaranálises complexas, além de fornecer insights valiosos que podem ser usados para melhorar as operações de negócios, aumentar a eficiência e tomar decisões mais informadas.  \nÀ medida que os dados continuam a crescer em tamanho e complexidade, é necessário adotar novasabordagens e sistemas para lidar com eles de forma eficiente. Uma das maneiras pelas quais isso está a serfeito é através do desenvolvimento de técnicas Machine Learning mais avançadas, como redes neuronais profundas e algoritmos de aprendizagem por reforço (Reinforcement Learning) (RL), que podem lidar","cbCaipfqlCnhaqyB","https://ap.wps.com/l/cbCaipfqlCnhaqyB","pdf",4934372,1,70,"English","en",105,"# Resumo e Abstract\n## Contexto: Machine Learning, Inteligência Artificial e crescimento de dados\n## Proposta: sistema distribuído em cluster Hadoop\n## Princípios e mecanismos: replicação, balanceamento e data locality\n## Evolução do modelo com otimização e novos dados","[{\"question\":\"为什么需要分布式机器学习？\",\"answer\":\"随着数据规模和复杂度持续增长，手工分析变得耗时且难以扩展。分布式机器学习通过将大问题拆分并实现自动化分析来提高效率与准确性。\"},{\"question\":\"文中提出的系统如何利用 Hadoop？\",\"answer\":\"系统在 Hadoop 集群上运行，利用复制、负载均衡以及基于块的分布机制来进行分布式训练。\"},{\"question\":\"模型如何在新数据到来时持续演进？\",\"answer\":\"通过包含优化模块的机制，能够对模型的部分内容进行调整。这样模型可依据新数据的到来不断更新与演进。\"}]","Dynamic Management of Distributed Machine Learning Problems | PDF",1785722007,176,{"code":4,"msg":31,"data":32},"ok",{"site_id":24,"language":23,"slug":33,"title":13,"keywords":34,"description":14,"schema_data":35,"social_meta":86,"head_meta":88,"extra_data":90,"updated_unix":28},"dynamic-management-of-distributed-machine-learning-problems","",{"@graph":36,"@context":85},[37,54,68],{"@type":38,"itemListElement":39},"BreadcrumbList",[40,44,48,51],{"item":41,"name":42,"@type":43,"position":20},"https://docshare.wps.com","Home","ListItem",{"item":45,"name":46,"@type":43,"position":47},"https://docshare.wps.com/document/","Document",2,{"item":49,"name":12,"@type":43,"position":50},"https://docshare.wps.com/document/research-report/",3,{"item":52,"name":13,"@type":43,"position":53},"https://docshare.wps.com/document/dynamic-management-of-distributed-machine-learning-problems/119030/",4,{"url":52,"name":13,"@type":55,"author":56,"headline":13,"publisher":58,"fileFormat":61,"inLanguage":23,"description":14,"dateModified":62,"datePublished":62,"encodingFormat":61,"isAccessibleForFree":63,"interactionStatistic":64},"DigitalDocument",{"name":9,"@type":57},"Person",{"url":41,"name":59,"@type":60},"DocShare","Organization","application/pdf","2026-08-03",true,{"@type":65,"interactionType":66,"userInteractionCount":4},"InteractionCounter",{"@type":67},"ViewAction",{"@type":69,"mainEntity":70},"FAQPage",[71,77,81],{"name":72,"@type":73,"acceptedAnswer":74},"为什么需要分布式机器学习？","Question",{"text":75,"@type":76},"随着数据规模和复杂度持续增长，手工分析变得耗时且难以扩展。分布式机器学习通过将大问题拆分并实现自动化分析来提高效率与准确性。","Answer",{"name":78,"@type":73,"acceptedAnswer":79},"文中提出的系统如何利用 Hadoop？",{"text":80,"@type":76},"系统在 Hadoop 集群上运行，利用复制、负载均衡以及基于块的分布机制来进行分布式训练。",{"name":82,"@type":73,"acceptedAnswer":83},"模型如何在新数据到来时持续演进？",{"text":84,"@type":76},"通过包含优化模块的机制，能够对模型的部分内容进行调整。这样模型可依据新数据的到来不断更新与演进。","https://schema.org",{"og:url":52,"og:type":87,"og:title":13,"og:site_name":59,"og:description":14},"article",{"robots":89,"canonical":52},"index,follow",{"doc_id":7,"site_id":24},{"code":4,"msg":5,"data":92},[93,97,101,104,109,114,119,122,127,130,134],{"id":20,"doc_module":4,"doc_module_name":46,"category_name":94,"show_sort_weight":95,"slug":96},"Story & Novel",90,"story-novel",{"id":47,"doc_module":4,"doc_module_name":46,"category_name":98,"show_sort_weight":99,"slug":100},"Literature",80,"literature",{"id":53,"doc_module":4,"doc_module_name":46,"category_name":102,"show_sort_weight":21,"slug":103},"Exam","exam",{"id":105,"doc_module":4,"doc_module_name":46,"category_name":106,"show_sort_weight":107,"slug":108},5,"Comic",60,"comic",{"id":110,"doc_module":4,"doc_module_name":46,"category_name":111,"show_sort_weight":112,"slug":113},6,"Technology",50,"technology",{"id":115,"doc_module":4,"doc_module_name":46,"category_name":116,"show_sort_weight":117,"slug":118},7,"Healthcare",40,"healthcare",{"id":11,"doc_module":4,"doc_module_name":46,"category_name":12,"show_sort_weight":120,"slug":121},30,"research-report",{"id":123,"doc_module":4,"doc_module_name":46,"category_name":124,"show_sort_weight":125,"slug":126},9,"Religion & Spirituality",20,"religion-spirituality",{"id":125,"doc_module":4,"doc_module_name":46,"category_name":128,"show_sort_weight":125,"slug":129},"World Cup","world-cup",{"id":131,"doc_module":4,"doc_module_name":46,"category_name":132,"show_sort_weight":131,"slug":133},10,"Lifestyle","lifestyle",{"id":135,"doc_module":4,"doc_module_name":46,"category_name":136,"show_sort_weight":105,"slug":137},19,"General","general"]