/minip.jpg

技术博客分享

参数服务器分布式机器学习的新杀器

/weixin_miniapp.png

参数服务器——分布式机器学习的新杀器

转自:

在大规模数据上跑机器学习任务是过去十多年内系统架构师面临的主要挑战之一,许多模型和抽象先后用于这一任务。从早期的MPI,到后来的Hadoop,乃至于目前使用较多的Spark,都曾被广泛应用于大规模机器学习处理任务。John Langford曾经在他的博客(机器学习领域最好的博客之一)上总结和对比了主流的分布式机器学习框架的抽象[1]: