首页 > 技术周边大全 > Pycon 2015上海参会笔记

Pycon 2015上海参会笔记

2015年9月26日

Pycon 2015上海参会笔记

https://blog.bestyiwan.com/pycon-2015-shanghai/

2015上海归来,只有短短的8个小时,收获满满,会上干货很多,部分分享做了简短的笔记。没做笔记的好几个分享其实内容都还不错,由于ppt看不清楚,也没太听明白演讲者的重点,比较遗憾。

1.阿里ace:

直接运行python的django,web.py,flask应用;
技术上使用lxc+docker管理容器;
devpy构建pypi mirror;
包管理用 pip install -u requirements.txt
nginx+uWSGI with unix socket

2.daocloud:

gunicorn做python服务,服务可以自动重启;

微服务:快速迭代,独立扩展,团队解耦,安全; 微服务的工具链:

flask,request处理微服务;
监控:sentry
服务器:gunicorn
分发:docker

3.股票

flashhq.py

华泰,共3家提供flash行情

开源工具:tushare, 基于datayes的工作开发的股票分析工具

kivy:app开发,buildozer打包工具

android r24.3.4,rename to sdk-21

4.钢铁交易中心

工具链:

nginx,gunicorn,django
oracle,es,redis
splunk,node.js,celery

大规模的python集群,处理交易中心的所有交易;

rest api,方法即url,

django toolbar是嵌入在template中的,sql,函数的profiling,

如何profile所有django应用的api性能:实现decorator,动态生成url pattern。

参考 :

孔令开的restapi

分享的slides

5.jieba分词,es

6.python进行大数据分析处理与可视化:

数据领域,60%在用R,40%在用python。

工具链:

pandas:数据收集,分析/清洗,内存处理,千万级以内的数据。
matploylib,seaborn:用作可视化分析;
bokeh:地图,热力图,处理大数据量;

pandas

pandas把数据抽象为dataframe,可以理解成有行和列的数据集,可以从csv,url,数据库直接生成dataframe。

通过dataframe的抽象,pandas可以很方便地进行数据的过滤,噪音,冗余数据处理,数据关联分析等等常用操作一行代码处理,也可用把这些操作连在一起,作链式处理,一行代码做完数据清洗,处理和分析;(旁注:linux里面我们用awk很方便地按列处理数据,而用pandas,我们可以很方便地对整个数据集进行处理,对集合的列或行的数据进行处理。)

遇到大数据,用pandas可按chunk处理。

也可用blaze,spark处理。blaze支持用pandas;

blaze比较慢,成熟,稳定性不足,

spark作数据的初步处理,简单分析,取出数据后用pandas来分析。

ipython notebook补一下:

python里面教学用的超级工具,可用在web页面写代码,执行代码,代码和结果保存为ipython notebook,可用在演讲时replay。bokeh可以在notebook中使用。

\$ipython notebook 启动浏览器,

自动访问ipython notebook的web页面: http://localhost:8888/

7.rir

远程执行代码,不留痕迹。

远程服务的import上挂钩子,import可以从本地找library。

pexpect可以用本地的console作为远程的stdout/stdin。

[slides] (http://github.com/shell909090/slides)

run_it_remote脚步

ttyrec,ttyplay:tty终端的录制与replay。

ipython notebook可以!开头执行命令。

8.python的数据工具箱 肖凯

作者的图书《数据科学中的R语言》。

1).问题,数据,方法,工具,问题比后面的任何一项更加重要;
2).工种类别:数据分析师,模型分析师,数据开发。通常三种工种用sas,matlab,c/java不同工具。如果都用python,能填补不同语言,人员之间的鸿沟。
3).常用的工具,除 pandas, matplotlib, numpy, bokeh之外:
    statsmodel:统计模型
    nltk:自然语言处理
    networkx: 复杂网络处理
    theano:深度学习,可以自动求导。上层的框架:keras。。。

分析流程用到的工具(按顺序):

python -> pandas -> matplotlib -> scipy/numpy -> bokeh

9.基于状态的数据中心自动化管理

consortium工具

传统机房,跟各种不同的backend进行处理和自动化。

10.luiti数据仓库

dag visualizer

luiti

比较完整的 py + gi 说明

luigi

文章出自:Euler’s note http://www.yiwusuozhi.com/ 版权所有。本站文章除注明出处外,皆为作者原创文章,可自由引用,但请注明来源。

分类: 技术周边大全 标签:
本文的评论功能被关闭了.