www.rsnq.net > python的机器学习可以放到spArk上面跑吗

python的机器学习可以放到spArk上面跑吗

可以的。python编写好的算法,或者扩展库的,比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的,大部分算法都有。

Apache Spark是一个分布式计算框架,旨在简化运行于计算机集群上的并行程序的编写。 该框架对资源调度,任务的提交、执行和跟踪,节点间的通信以及数据并行处理的内在底层操作都进行了抽象。它提供了一个更高级别的API用于处理分布式数据。

当然可以。。设置spark为local就可以了

不一定啊,spark只是大数据下的一种分析工具而已 一般可以单机运行matlab或者r,检验模型是否正确 最关键的还是要数学基础好:概率论(高级点的是泛函),线数,高数,都不能少 再强调一遍,spark只是工具而已,机器学习不一定非他不可

可以去大讲台看看,站内有大数据Hadoop教程、Spark教程视频等等,希望可以帮助到你

中国出现了一个学术思想空前繁荣的局面在秦统一中国和建立中央集权的封建专制帝国前的战国时. -----------------------------------------------------------------------------------—————————————————————————————————————————————— 路是走出...

spark mllib提供了一些机器学习算法的分布式实现; scikit-learn是python中的机器学习开源库,通过它可以轻松调用机器学习算法完成实际任务; keras是深度学习框架(比较高层); 那么可以看到,这三个东西各有侧重,没有哪一个可以代表未来主流...

大我国的认知神经科学研究有两大特点和优势:多学科的联合研究和多层面的研究手段。由于认知神经科学是多学科的综合体,虽然国外的研究者个人水平相对较高,但学者之间的合作非常少。国内所推行的“大科学”概念,倾向于结合各个学科解决问题,有...

scikit_learn就当普通的python包用就可以了,和spark不冲突

没有用过scikit这个包,不过很同意你所说的sparkapi限制多这个结论。很多我们习惯使用的参数或者用法在spark里都不好使了。但是我对于sparkmllib的理解是他的算法是basic的,但是其中的散列化和网络吞吐量的考虑是亮点,很棒的亮点

网站地图

All rights reserved Powered by www.rsnq.net

copyright ©right 2010-2021。
www.rsnq.net内容来自网络,如有侵犯请联系客服。zhit325@qq.com