ju111.net--你身边的xp、win7、win8系统下载站

网站地图win7激活工具 如何安装系统加入收藏

当前位置:ju111.net >   IT资讯 >   微软资讯 >  微软开源用于Spark的深度学习库MMLSpark

微软开源用于Spark的深度学习库MMLSpark

时间:2017-10-26 来源:互联网 浏览量:203

微软开源用于Spark的深度学习库MMLSpark(1)

微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。

微软发现,虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

以UCI的成人收入普查数据集举例,使用其他项目预测收入:

微软开源用于Spark的深度学习库MMLSpark(2)

如果直接使用SparkML,每一列都需要单独处理,整理为正确的数据类型;在MMLSpark中只需要两行代码:

model = mmlspark.TrainClassifier(model=LogisticRegression, labelCol=” income”).fit(trainData)

predictions = model.transform(testData)

深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是DNN模型的训练需要专业人员方可进行,与SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。

以下3行代码可以从微软认知工具集中初始化一个DNN模型,从图像中抽取特征:

cntkModel = CNTKModel.setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)

featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])

model = TrainClassifier(model=LogisticRegression,labelCol=”labels”).fit(featurizedImages)

MMLSpark已经发布到Docker Hub上,使用下面的命令即可在单机部署:

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

MMLSpark使用MIT协议授权。

End.

我要分享:

最新热门游戏

本站发布的ghost系统与电脑软件仅为个人学习测试使用,请在下载后24小时内删除,不得用于任何商业用途,否则后果自负,请支持购买微软正版软件!

如侵犯到您的权益,请及时通知我们,我们会及时处理。

九州天下娱乐官网_九州娱乐ju111net Copyright @ 2011 ju111.net 版权声明 最新发布内容 网站导航 网站地图 RSS订阅