PIL MemoryError with uWSGI
星期四, 十一月 3rd, 2011
用PIL库处理图片，作缩略图的时候需要先裁减为正方形，再比例缩小，当裁减时不定报错。
img = img.transform((r,r), Image.EXTENT, area)
#ERROR
File "/usr/local/lib/python2.7/dist-packages/PIL/ImageFile.py", line 231, in load_prepare
self.im = Image.core.new(self.mode, self.size)
MemoryError
google PIL+MemoryError，主要提到2个可能错误。一个是PIL库本身ctype代码问题，一个是传递裁减范围为负值导致内存问题。仔细检查了一下，都没有异常。后来考虑到上面的代码为创建新图像时内存错误，直接调整了uwsgi参数。
-M -p 2 --no-orphans --logdate --chmod-socket=666 --uid admin --gid admin --limit-as 384 --harakiri 60 --max-requests 2000
[--limit-as]参数从256调整到384，系统恢复正常。
反思查找原因，发现图片文件虽然不大仅3M+，但是该图片像素巨大为4096*5210，将该图片转换为BMP，有60M+。估计库在处理图片裁减时会将jpg文件重新读取为完整位图，再考虑到操作位图消耗和程序本身需要的内存空间，原设定256M限制肯定不足了，需要设定更大。
目前程序运行在一个虚拟机上，内存2G……看来需要尽快切换主机了……
Flask下的session认证和cache header设置
星期六, 九月 17th, 2011
Flask是个非常优秀的python microframework，基于Werkzeug、Jinja 2，使用非常方便，性能也非常不错，最近公司创业新项目一直在用。
这里和大家分享2个简单的decorator，分别用于session认证和响应头cache设置
# -*- coding: utf-8 -*-
"""
lib/decorator.py
~~~~~~~~~~~~~~
some decorator defined
:author: linnchord@gmail.com
:date:2011-8-4
"""
from functools import wraps
from flask import session, redirect, url_for, flash, request, make_response
from models.user import User
from util import helper
def login_required(f):
@wraps(f)
def do(*args, **kwargs):
if 'userId' not in session:
#cookie自动登录机制
token=request.cookies.get('auto_login')
if token:
userId, token = token.split('_')
user = User.get_user_by_id(userId)
from matrix import app
if user and helper.md5(str(user.id) + user.password + app.config['SECURIY_KEY'])==token:
session['userId']=user.id
session['phone']=user.phone
session['nickName']=user.nickName
else:
return redirect('/logout')
else:
return redirect('/')
return f(*args, **kwargs)
return do
def no_cache_header(f):
@wraps(f)
def do(*args, **kwargs):
response = make_response(f(*args, **kwargs))
response.headers['pragma'] = 'no-cache'
response.headers['Cache-Control'] = 'no-cache, must-revalidate'
return response
return do
使用很简单方便
@app.route('/user/follow/', methods=['GET'])
@login_required
@no_cache_header
def follow_user(userId,appId):
pass
需要注意的是@no_cache_header修饰应该放在最后，否则逻辑无法正确完成。这个修饰经常用于ajax响应，因为……坑爹的IE总是要缓存第一次请求结果。
这个session auto login机制有个问题，他的auto login cookie始终是不变的，长期使用会有一定安全隐患。更安全的方法是用户每次登录生成一个security key来进行hash，不过这样对于经常换浏览器甚至操作系统的人会造成一定障碍。例如我……经常使用chrome/firefox/ie，还在mac/win下切来切去，某个小说网站每次切了就得重新登录，让我很蛋疼……
PIL 1.1.7 install on ubuntu
星期一, 八月 29th, 2011
PIL虽然可以通过pip安装，但是不好用，各种调用需要的依赖都没有，需要手动安装。
过程如下
#清除系统上现有库 python版本自行替换 sudo rm -rf /usr/lib/python2.7/site-packages/PIL sudo rm /usr/lib/python2.7/site-packages/PIL.pth #安装依赖包 sudo apt-get install libjpeg8 libjpeg8-dev libfreetype6 libfreetype6-dev liblcms1-dev #下载 wget http://effbot.org/downloads/Imaging-1.1.7.tar.gz tar -zxvf Imaging-1.1.7.tar.gz cd Imaging-1.1.7/ python setup.py build_ext -i sudo python setup.py install #安装后如果发现安装的包没有正确支持可进行如下操作 sudo ln -s /usr/lib/x86_64-linux-gnu/libfreetype.so /usr/lib/ sudo ln -s /usr/lib/x86_64-linux-gnu/libz.so /usr/lib/ sudo ln -s /usr/lib/x86_64-linux-gnu/libjpeg.so /usr/lib/
Flask SessionStore by redis with msgpack serialized
星期五, 八月 19th, 2011
参考老外代码写了个用于Flask框架的基于redis的session实现，采用msgpack进行序列化。
# -*- coding:utf-8 -*-
"""
lib/RedisSessionStore.py
~~~~~~~~~~~~~~
Flask, session store in redis
ref by https://gist.github.com/994937
:author: linnchord@gmail.com
:date:2011-08-04
"""
import redis
from flask import Flask, request, session, json
from werkzeug.contrib.sessions import Session, SessionStore
import msgpack
class RedisSessionStore(SessionStore):
def __init__(self, key_prefix=None, host='127.0.0.1', port=6379, dbindex=1, expire=1800):
SessionStore.__init__(self)
self.redis = redis.Redis(host,port,dbindex)
self.key_prefix = key_prefix
self.expire = expire
def save(self,session):
key = self._get_session_key(session.sid)
data = msgpack.Packer().pack(dict(session))
#print "set session {0}:{1}".format(key, data)
self.redis.setex(key, data, self.expire)
def delete(self, session):
key = self._get_session_key(session.sid)
self.redis.delete(key)
def get(self, sid):
key = self._get_session_key(sid)
data = self.redis.get(key)
if data is not None:
self.redis.setex(key, data, self.expire)
un = msgpack.Unpacker()
un.feed(data)
data = un.unpack()
else:
data = {}
return self.session_class(data, sid, False)
def _get_session_key(self,sid):
key = self.key_prefix + sid
if isinstance(key, unicode):
key = key.encode('utf-8')
return key
@staticmethod
def init_app(app):
app.session_store = RedisSessionStore(
app.config['SESSION_KEY_PREFIX'],
app.config['SESSION_REDIS_HOST'],
app.config['SESSION_REDIS_PORT'],
app.config['SESSION_REDIS_DB'],
app.config['SESSION_LIFETIME']
)
app.session_key = app.config['SESSION_KEY']
class SessionMixin(object):
__slots__ = ('session_key', 'session_store')
def open_session(self, request):
sid = request.cookies.get(self.session_key, None)
if sid is None:
return self.session_store.new()
else:
return self.session_store.get(sid)
def save_session(self, session, response):
if session.should_save:
self.session_store.save(session)
response.set_cookie(self.session_key, session.sid)
return response
class MyFlask(SessionMixin, Flask): pass
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
HOW TO USE
app = MyFlask(__name__)
RedisSessionStore.init_app(app)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
APP CONFIG:
SESSION_REDIS_HOST = '127.0.0.1'
SESSION_REDIS_PORT = 6379
SESSION_REDIS_DB = 1
SESSION_KEY = '_myapp_sid'
SESSION_KEY_PREFIX = 'session_myapp_'
SESSION_LIFETIME = 900
ubuntu下安装最新nginx+uWSGI
星期二, 八月 9th, 2011
先通过apt-get remove删除系统下原有nginx，再添加源安装
sudo apt-get install python-software-properties sudo add-apt-repository ppa:nginx/stable sudo add-apt-repository ppa:uwsgi/release sudo apt-get update sudo apt-get install uwsgi nginx
过程中遇到问题，最后install无法完成，报错
dpkg: warning: files list file for package `nginx-common' missing, assuming package has no files currently installed. dpkg: warning: files list file for package `nginx-full' missing, assuming package has no files currently installed.
在网上查了很久，没有完全的解决方案，最后通过如下方式解决
sudo find / | grep nginx
查找系统所有的nginx残留文件并手动删除，然后运行
sudo apt-get clean sudo apt-get update sudo apt-get upgrade sudo apt-get install nginx --reinstall
ok，nginx成功更新。
更新：2011-09-17
没两天，uwsgi的默认安装部署发生了变化，改了个名字，需要如下安装
sudo apt-get install uwsgi-python
安装后各路径
sudo /etc/init.d/uwsgi-python restart /var/log/uwsgi-python/uwsgi.log /etc/uwsgi-python/apps-available/uwsgi.xml #默认配置文件 /etc/default/uwsgi-python #默认命令行启动参数设置
我的参数配置如下
/etc/default/uwsgi-python
DAEMON_OPTS=" \ --master \ --no-orphans \ --processes 2 \ --logdate \ --chmod-socket=666 \ --uid www-data \ --gid www-data \ --limit-as 256 \ --harakiri 60 \ --max-requests 1000 \ "
具体参数含义可参考 http://projects.unbit.it/uwsgi/wiki/Doc
Dive Into Python
星期四, 五月 18th, 2006
Dive Into Python 是为有经验的程序员编写的一本 Python 书。