联通大数据实操:CDH部署多版本Python环境及搭建

SEO优化 g 浏览

小编:由于其易用性好,以及现在机器学习和人工智能的崛起,Python成为当前非常火热的一门语言。承载多租户的大数据平台往往对于Python版本和第三方库有很多个性化的需求, 联通大数据

由于其易用性好,以及现在机器学习和人工智能的崛起,Python成为当前非常火热的一门语言。承载多租户的大数据平台往往对于Python版本和第三方库有很多个性化的需求,联通大数据平台承载了百度、阿里、腾讯、苏宁、京东等上百个租户,在租户部署模型时就会要求集群计算节点拥有不同类别的Python科学计算包。下文将主要讲述如何在CDH集群基于二次打包的Anaconda安装包部署Python多版本运行环境,并搭建本地Python第三方库。

基于Anaconda部署Python3

一般生产环境默认python版本为2.7,为了提供多版本python开发环境。需要先下载anaconda的parcel安装包并解压到本地,安装python3虚拟环境,然后安装集群计算节点所需要的常用python第三方包,如TensorFlow等科学计算包。

需准备:

  • 电脑准备300G或以上的存储空间;

  • wget:下载某个源的所有package到本地;

  • Nginx:发布本地PyPI。

首先我们先进行Anaconda.Parcel的解压和Python3环境的创建:

第一步:下载Anaconda的Parcel包。

第二步:解压Anaconda的Parcel包,安装Python3私有环境。

安装好后显示环境如下:

安装私有的Python第三方本地库,Python第三方库分为pip和Conda库两种安装方式(最后我们选择Conda,比pip功能更强大,完善包及虚拟环境管理工具):

Conda私有库安装方式:

首先通过外网下载所有第三方包,第三方包在清华镜像站,虽然有部分包不是最新版本,但下载速度快。

由于公司主机不能连接外网。这里就省事地通过Windows安装wget全量捞取页面所需包

当前网址:http://www.seo880.com/SEOyouhua/1053.html

 
你可能喜欢的: