李新阳 | lxy » programing

Twitter Boostrap2.0发布

李新阳 — Thu, 02 Feb 2012 05:51:23 +0000

作为一个程序员，一直为写出来的页面能用但丑陋而烦恼，直到发现了Twitter开源的Bootstrap。Bootstrap是一组css和js，让你可以做出来比较美观的导航、表单、按钮等，非常适合用来做后台和原型。

Bootstrap官网：http://twitter.github.com/bootstrap/
2.0升级细节：http://twitter.github.com/bootstrap/upgrading.html

可是我第一个用bootstrap写的后台还没有上线，它就做了一次主版本升级，这更新速度也太给力了。

Bootsrap2.0相比于1.4变化很大，并不兼容，css/js的格式都有不少变化，很汗。但粗略看起来2.0似乎更加的规范和丰富。功能更全，样式也更美观，有空的时候升级到2.0吧，在发布前。

在SAE运行CodeIgniter

李新阳 — Thu, 19 May 2011 01:32:56 +0000

昨天试用了phpfog，今天想起来SAE是一个国内的选择哦，就试用了一下。把CodeIgniter放到SAE下运行的过程记录一下。总的来讲：原始版CodeIgniter在SAE运行需要被阉割。但可以到网上找正式的SAE移植版，会work的更好（感谢@文峰186 提醒）。在普通服务器运行的程序很难直接在SAE运行，反之亦然。准备使用SAE的要想好这一点！

样例见：http://weixiao.sinaapp.com/ci/

CodeIgniter 版本为2.0.2。写的是只有一个controller、一个view、不使用DB的最简单的app，在做了如下“裁剪”后就可以在新浪的SAE环境下运行了。

– function set_magic_quotes_runtime() is forbidden for SAE security @ line 67, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/core/CodeIgniter.php 注释掉，反正SAE就是php5.3 — function flock() is forbidden for SAE security @ line 425, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/core/Output.php 注释掉，不就是cache嘛，而且不上锁也不会死人吧？ — function flock() is forbidden for SAE security @ line 58, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/helpers/file_helper.php 注释掉，不上锁不会死人 — function mysql_pconnect() is forbidden for SAE security @ line 88, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/database/drivers/mysql/mysql_driver.php 删除文件。。。不用它的数据库连接 — function mail() is forbidden for SAE security @ line 56, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/helpers/email_helper.php 删除文件。。。不发邮件 — function apc_delete() is forbidden for SAE security @ line 72, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Cache/drivers/Cache_apc.php 删除文件。。。不用apc cache。。。 — function mail() is forbidden for SAE security @ line 1526, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Email.php 删除文件。。。不发邮件 — function exec() is forbidden for SAE security @ line 603, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Image_lib.php 删除文件。。。不处理图片 — function flock() is forbidden for SAE security @ line 101, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Log.php 注释掉。。。不上锁死不了人 — function fsockopen() is forbidden for SAE security @ line 236, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Trackback.php 删除文件。。。不用这个lib — function fsockopen() is forbidden for SAE security @ line 386, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Xmlrpc.php 删除文件。。。不用xmlrpc — function flock() is forbidden for SAE security @ line 365, E:\SDKs\SAE_SDK\apps\/weixiao/1/code/ci/system/libraries/Zip.php 注释掉。。。不锁文件死不了人

—-

2011/5/20 update：加入@文峰186 的提醒

CodeIgniter, CakePHP and phpfog

李新阳 — Wed, 18 May 2011 05:31:19 +0000

CodeIgniter、CakePHP都是使用非常广泛的PHP Web框架。都非常优秀，相信任何一个框架都是能满足需求。只是某个应用场景下哪个框架更好，哪个框架更适合的问题。

CakePHP文档很好，但CodeIgniter文档更好。
CodeIgniter更简单、核心框架更小。这是双刃剑，好处是运行性能更高、更灵活，坏处是不像CakePHP那么多现成的东西可以拆箱即用。
由于上面两点，CodeIgniter上手更容易，如果你熟悉php、对MVC有了解，那我打赌你可以在两个小时内上手。CakePHP则不行，需要理解的东西比较多。

对于我来讲，php初级水平、主要为兴趣而学习、无特定目的，CodeIgniter更合适。

phpFog是HeroKu模式在php下的克隆，使用非常顺手，10分钟之内就搭起来一个测试站点，域名也配置好了。http://phpfog.lixy.us/，而且访问速度还挺快的，http访问、git访问都不错。再次表达对美国IT环境的羡慕。

Eclipse下设置github开发环境

李新阳 — Tue, 17 May 2011 05:16:07 +0000

在Windows下的Eclipse里使用github配置过程记录如下。

第一，按照github上的指南配置（http://help.github.com/win-set-up-git/）基础的git环境。（留意ssh的pub key等保存到哪里了）

第二，在github上创建一个Repository。

第三，在Eclipse的help菜单里找“Eclipse Marketplaces”，在Market Places里面找egit，安装。

第四，（特别重要）把第一步生成的.ssh目录copy到用户目录下并重命名为ssh，例如我的copy后的目录是C:\user\lxy\ssh\

第五，Eclipse里File菜单，Import，即可从git导入刚添加到git的项目了。

第六，修改，并提交。在项目上点右键–>team–>commit。commit是commit到本机的git库，而push才是同步到github。

Android学习笔记2：获取手机系统信息

李新阳 — Sun, 08 May 2011 00:59:49 +0000

Android程序中如果需要获得手机网络信息、系统软件版本、sim卡信息、手机串号等系统信息，可以沿下面路径寻找：（假定在Activity内调用）

(TelephonyManager)this.getSystemService(Context.TELEPHONY_SERVICE);

(WifiManager)this.getSystemService(Context.WIFI_SERVICE)

即，查看Context里面都定义了哪些系统SERVICE，然后用getSystemService()将他们获取到，进而获取相关信息。上面两个分别是获得手机网络、wifi网络的Manager。

Android学习笔记1：如何将第三方jar文件打入apk文件？

李新阳 — Sun, 08 May 2011 00:48:04 +0000

如果Android程序中使用了非系统提供的lib，那么就需要将对应的第三方Jar文件打包入apk包里，否则程序运行出错。

在Eclipse打包第三方jar入apk包的方法是，以下面方式引用jar文件：

Properties -> Java Build Path -> Libraries -> Add External JARs

Redis Presharding

李新阳 — Sun, 27 Feb 2011 10:08:09 +0000

Redis Presharding这篇文章让我倍感新奇。
不在于redis的集群解决方案，因为用redis的人很少，需要redis集群的人更少。

让我感兴趣的是下面两点：

1、作者结合实际情况（每个redis instance只要不到1M的内存），给出了超出常规的解决方案（不是随着规模逐渐增加redis instance，然后解决sharding/resharding的问题。而是从一开始就搞128个instance，服务器硬件增加后迁移instance）。
– 这样的独立思考和创见是最值得崇拜的，不要墨守成规。大胆假设，小心求证嘛。

2、攻克核心之后，你依然会有很多事情要做。
上面的presharding方案足够简单了。但作者在文章后半段依然指出并探讨了“两个key分在两个instance时查询难以处理”、“容错”等问题。

不同语言程序员的工作心情

李新阳 — Mon, 06 Dec 2010 07:36:48 +0000

在cnbeta上看到一个有趣的统计：不同语言的源程序中出现fuck的比例

在Google Code上，针对每个程序语言都搜索了一下“fxxk”一词的出现文件的个数X，以及没有出现fuck一词的文件的个数Y，然後放在Excel里求了一下百分比（X/(X+Y) * 100%），做了一个图。结果，JavaScript语言中出现的次数高达0.56%，名列全部语言之首

对於Javascript程序员的这种行为可以理解，因为IE，因为浏览器嘛，我就不多说了

转载：Foursquare 长达 11 小时的宕机

李新阳 — Fri, 08 Oct 2010 11:36:08 +0000

转自DBA Notes：Foursquare 长达 11 小时的宕机

“在容量的临界点增加新系统资源，必然导致更多的停机时间” — 不要对系统冗余太乐观。

“类似 MongoDB 这样的新事物。。。仅仅能够使用是不够的，系统没出问题一切都好，一旦出了异常。。。” — 我倒不那么保守，因为不会有“一起都准备好”的时候出现。所以只要想清楚了最坏的情况是什么，做好了预案就上吧！

前几天 Foursquare 经历了长达 11 个小时的宕机，没错，11 个小时。网站官方的解释是 Shard 负载不均匀造成后续的连锁反应。很多人都知道 Foursquare 在线的 DB 是 MongoDB，今天又看到 10gen (MongoDB的开发与支持团队)的 Eliot Horowitz 在得到 Foursquare 许可后，通过邮件组详细介绍了宕机的过程：Foursquare outage post mortem，不用说，也有为 MongoDB 辟谣的意味在里面。

读罢 10gen 团队的介绍（或者说解释）之后，发现这是一个很好的研究样本。值得分享。

为了提高响应速度，Foursquare 使用 MongoDB 存储 Check-in 的数据已经有一段时间了。这部分数据的数据库起初跑在一个 66GB 内存的 Amazon EC2 单实例上（全部在内存里），两个月前，出于对容量增长的考虑，迁移到两台 Shard 集群上。每个 Shard 机器都是 66GB 内存，为了冗余，每个 Shard 都有复制到 Slave 实例。迁移的目标是所有的 Check-in 数据都保存在内存中。数据根据 ID 分成 200 个 Shard 分片，两台机器各占一般，也就说联机数据在每台机器上各使用 33GB 的内存。两个月相安无事。

问题来了，因为 Shard 算法导致的数据分散不均衡，其中一台(Shard0)数据增长到 67GB(另外一台 50GB)，超过了 66GB 的限制，读写部分分散到磁盘上，性能急剧下降。从而，网站宕机。

首先尝试增加第三台 Shard 机器，上线后开始迁移，读取从三台进行，Shard0 的数据迁移到 5% 的时候，但是写操作还是让 Shard0 宕机了。这个时候发现Shard0 存在数据碎片(data fragmentation)，即使数据迁移走，还是会占用原来的内存。每个Check-in 文档大约占用 300 字节，而 MongoDB 是 4KB 的页(Page)，也就说十几个文档会填满一个页，而迁移 5% 反而造成了页更加稀疏，并不是将页全部删除。

这个时候已经到了第二天，随着网站全面宕机，技术团队开始用 MongoDB 的 repairDatabase() 功能来对数据库进行压缩，因为数据库太大和 EBS 慢，也因为 repairDatabase() 不能充分利用多核CPU 的能力，这个过程耗费了 4 个小时。之后这 5% 的内存空间终于释放出来，系统重新上线。

随着 Shard0 修复，第三台成功上线，进而添加了更多的 Shard 服务器，现在数据已经更加的均衡，通过在Slave上运行 repairDatabase()，然后将其切换到 Master ，每台 Shard 内存占用缩减到 20GB左右。整个故障时间已经延续了 11 小时之多。

产生问题的主要原因就是系统过载，前面介绍每台 Shard 承载原来 50% 的压力，到了问题发生的时候，单台 Shard 的负载已经超过 Shard 之前的系统负载，这时候已经积重难返了，在容量的临界点增加新系统资源，必然导致更多的停机时间。暴露了 Foursquare 团队在容量规划方面的不足之处，或许也因为业务增长太快了吧。另外，内存碎片化的问题在没有宕机之前，技术团队应该没考虑过这个问题，如果文档的大小超过 4K，碎片化问题就不严重了，这是特定应用场景造成的特定问题。10Gen 现在已经着手研究如何进在线压缩(online compaction)。再次，Shard 键值的顺序和插入顺序是不同的，这造成了迁移数据的时候 Chunk 的迁移不是连续的。

这个过程给我们的启示是：最近 NoSQL 已经成为一个热词，类似 MongoDB 这样的新事物当然值得尝试，但是不能冒进，因为驾驭起来并非易事。仅仅能够使用是不够的，系统没出问题一切都好，一旦出了异常，有足够的技术力量(设想一下 Foursquare 得不到 10gen 团队的支持会如何?) 支持么？在极端情况下如何控制？ 如果回答不了这个问题，那么还应该暂缓。最好的办法就是…”等待”。

给我的另一个感慨是 Amazon 在云计算领域已经真的成为一个赢家，而且越来越得到 Web 2.0 Startup的信赖。前面说的 66GB 内存，应该指的是EC2 的 “High-Memory Double Extra Large Instance”，可提供的最大内存是 68.4 GB 。CPU 和内存能力都是可以接受的，存储方面的性能似乎还有点不足，也就是其中的 EBS ，指的是 Amazon Elastic Block storage。

–EOF–

App Inventor试用

李新阳 — Tue, 28 Sep 2010 01:27:44 +0000

Google App Inventor是Google提供给的一套Android开发环境，两大特点：

基于网页（Java的）
可视化编程

我申请了一个帐号，前些日子获批了，利用中秋时间体验了一下。可视化编程，非常简单！不需要任何编程基础，不需要写代码，只要按照教程做就能做出简单的Android程序了。我已经完成一个，并在手机里跑了起来，实现发短信查话费功能。

希望能有更强大的Android IDE出现，这样我这个不会写界面的程序员也能做做客户端开发了。

腾讯社区开放平台

李新阳 — Fri, 17 Sep 2010 02:52:06 +0000

最近腾讯一做什么大家就骂，我认为这很不公平。人家花了那么多钱，那么多人，做出来不错的产品，有什么不对呢？

今天看到腾讯社区开放平台上线，特地试玩儿一下。目前开放了三个主要功能：

“分享”
“喜欢”
应用接入

后两个都需要审查、审批，我已经申请了“喜欢组件”，等待中。“分享”的效果是这样的：

对应的html代码是：

BTW：“腾讯社区开放平台”这个名字也太拗口了些

OpenID的替代者

李新阳 — Tue, 14 Sep 2010 14:36:06 +0000

前一段写了几篇关于OpenID的调研，结论是OpenID works，但是OpenID用户体验不好。那么有没有用户体验上可以接受的替代者呢？

我看下面这些私有的connect们就挺合适的：

http://www.google.com/friendconnect
facebook connect
人人connect

下图是京东商城的登录页面截屏，挺好的，我尝试了QQ过程很顺畅嘛。（京东是通过QQ返利接入QQ号的）

京东商城登陆页

Sikuli介绍

李新阳 — Thu, 26 Aug 2010 12:44:46 +0000

Sikuli(在墨西哥维乔印第安人的语言里是”上帝之眼”的意思)是由美国麻省理工学院开发的一种最新编程技术,使得编程人员可以使用截图替代代码,从而简化代码的编写流程。从它研究方向上看,是一种编程技术,但是该技术还可以用于进行大规模的程序测试,脚本程序编写使用的是python语言。

上面是对Sikuli一种比较官方的介绍，上周末我下载下来玩儿了一下，直接上图应该可以说明Sikuli有什么功能。（图中是我写的一个Sikuli程序，可以在我的网站里找到搜索框，输入Sikuli，然后点击搜索按钮）

Python VS Ruby

李新阳 — Mon, 23 Aug 2010 05:19:04 +0000

中午和三火兄饭后百步走的时候聊到Python和Ruby，发现Python的作者是荷兰的，Ruby的作者是日本的。联想起前些日子南非世界杯上日本和荷兰比赛时候的段子：

一个嫖娼业最发达的国家战胜了一个AV业最发达的国家，这个故事告诉我们，实践是检验真理的唯一标准。

支持OpenID的网站

李新阳 — Sat, 03 Jul 2010 17:14:54 +0000

之所以整理这个表格，是因为各家号称支持OpenID的站点常有这样那样的问题，不是一句两句的事情。这不是一个完整表格，只是我感兴趣的和调研了的的一些。可以看到国内对OpenID支持的很不怎么样，如果QQ开发QQ号作为OpenID就好了。

体验了这些站点后一个基本结论是：It works! 但用户体验真是sucks! 无法投入商业使用。但OpenID的一些竞争者可以商业使用。（这个话题找机会详细开一篇文章说。坑填上了，见：OpenID的用户体验）

站点名称	服务	OpenID URL	问题和备注
LiveJournal	RP/OP	http://username.livejournal.com	发起建立OpenID的人。未测试
Google	OP	http://www.google.com/profiles/lixinyang https://www.google.com/accounts/o8/id	只允许Google帐号登录别人，不允许别人帐号登录Google
Facebook	RP	NA	只允许别人帐号登录Facebook，不允许Facebook帐号登录别人
Yahoo	RP/OP	https://me.yahoo.com/lixinyang78	用户在登录过程中收到了Yahoo明确的警告
WordPress	OP	http://lixinyang.wordpress.com	登录过程慢,不知道是不是RP
AOL	OP	http://openid.aol.com/lixinyang	不知道是不是RP
myspace	OP	www.myspace.com/username	未测试
人人网	类OP		不是标准的，应该是私有协议，需要继续调研
支付宝	类OP		不是标准的，应该是私有协议，需要继续调研
京东	类RP		它就是一个使用者，别人提供什么协议它就用什么协议接入

OpenID原理和登录过程

李新阳 — Sat, 03 Jul 2010 16:28:08 +0000

听闻OpenID好久了，但一直没具体看过它的原理，最近在准备一个互联网产品，周末想起来好好看看OpenID是否可以用。现将学习所得记录一下。

OpenID体系中的参与者和角色，OpenID登录过程中有三种角色：

User：网站访问者操作的浏览器
RP：Relying Party，用户要登录的网站
OP：OpenID Provider，提供OpenID帐号的网站，验证用户名密码的一方。
举例：苍井空使用自己的Google帐号登录lixinyang.com。User是苍井空，RP是lixinyang.com，OP是Google.com

OpenID的登录过程，我不细讲了，下面三个图都是来说明的，直接上图。需要说明的是这个登录过程导致的几个问题：

User/RP/OP三者间网络两两都需要联通，所以它们一定要在“墙”的同侧。中国特色的问题，谁让别人用的是internet，我们用的是chinternet。
用户登录过程中会看到OP的页面，总的来讲这导致用户很不习惯。也有些许好处 — 通过傍一个NB的大款来增加自己的可信性。（用户在登录lixinyang.com的过程中看到了Google登陆页）
一个登陆过程中User/RP/OP之间有七八次交互，而且经常横跨大洲，所以过程经常很慢。
User似乎一定要是浏览器，而不能是自有客户端。（这条需要进一步调研）

Tomcat7.0新特性

李新阳 — Thu, 01 Jul 2010 14:59:25 +0000

今天看到Apache发布了Tomcat 7.0，心中竟有一丝唏嘘 — 原来赖以谋生、每日厮混的Tomcat现在自己竟然如此不在意了，beta都发布了才想着去看它的新特性。摘录几个Tomcat 7.0的新特性吧：

Servlet 3.0：有不少新的有趣的东西，比如我比较感兴趣的：异步处理、Servlet可动态部署、内建文件上传支持。还有我不太感兴趣的：注释替代配置、插件体系。详见这里。
JSP 2.2、EL 2.2
增加了web application内存泄露的检测和防护。

详见：tomcat 7.0 change log

Thrift演示代码-Cache服务器

李新阳 — Sun, 20 Jun 2010 09:00:40 +0000

利用这个周末终于写了个thrift的demo代码：Cache服务器。下面是三部分代码：

thrift文件，Java服务器端和客户端代码，Python客户端代码

比较简单，就不逐行讲解了。但是这个代码想要跑起来显然也不是很容易的，因为需要配置thrift运行时，没有动手操作过的同学一定会遇到问题。下面是thrif idl文件，为了演示所以接口定义的有些重复：

struct CacheEntry{
1: i32 key
2: string value
}

service CacheService {
string get(1: i32 key),
void put(1: i32 key, 2: string value),
CacheEntry getEntry(1: i32 key),
void putEntry(1: CacheEntry entry)
}

BTW：写这个demo的过程中深切感到脚本语言写代码的快速，即使我没看过几眼python，但python demo依然比java写的快。java编译什么的太麻烦。

各语言的Thrift Runtime

李新阳 — Sun, 20 Jun 2010 08:15:48 +0000

Thrift安装挺麻烦的，但Runtime很容易，防止大家的畏难情绪特别说明一下。

Thrift Java Rumtime: libthrift.jar，slf4j-api-1.6.0.jar，就这么两个jar包。

Thrift Python Runtime，就是/usr/lib/python2.5/site-packages/thrift/目录下一些python lib

这些运行时其实是不需要安装thrift，而只要在THRIFT_DIR/lib/java，THRIFT_DIR/lib/py目录里就可以直接安装相应语言的运行时。

在Redhat上安装Thrift

李新阳 — Sun, 20 Jun 2010 05:52:46 +0000

本来在自己VPS的Ubuntu上安装好了Thrift，但发现那个VPS内存限制太严，用起来不爽，所以还是在公司服务器上安装Thrift吧。公司的机器都是Redhat，所以边装边记录一下安装过程。安装过程参考文档：

Thrift依赖的软件：http://wiki.apache.org/thrift/ThriftRequirements
官方安装指南：http://wiki.apache.org/thrift/ThriftInstallation

Step1：安装依赖

autoconf版本低需要升级。./configue –prefix /usr, make, make install经典三步搞定
libtool版本低需要升级。./configue –prefix /usr, make, make install经典三步搞定
zlib版本低需要升级。./configue, make, make install经典三步搞定
安装boost。./bootstrap.sh, ./bjam, ./bjam install
安装ant。
安装SLFJ，把它的jar包放在类路径下就好了。thrift java api运行的时候需要。

Step2：下载和编译Thrift

下载：wget http://apache.etoak.com/incubator/thrift/0.2.0-incubating/thrift-0.2.0-incubating.tar.gz
tar -zxvf thrift-0.2.0-incubating.tar.gz
cd thrift-0.2.0
./bootstrap.sh
./configure, make, make install

Step3：生成运行时（Runtime）

cd ./lib/java
ant 生成libthrift.jar（thrift的java运行时）
cd ../python
python setup.py install（生成python运行时）
cd ../php
php的运行时我没有生成，因为它没有提供自动脚本，而需要手动操作。

Hadoop笔记

李新阳 — Sat, 19 Jun 2010 03:57:36 +0000

今天ibm developworks的有篇介绍Hadoop的入门文章一时感兴趣就读了起来，延后做了一些延展阅读。读着读着一个上午过去鸟，原本想做的写一个Thrift demo也没做。随便记两笔学习笔记吧。

Hadoop集群配置貌似很简单
没有几台机器的话，架设Hadoop就是瞎扯，只能作为练手，而不能用来生产
如果自己的业务和遇到的问题不涉及海量的数据处理也没必要使用Hadoop，不要为了技术而技术。
MapReduce的指南在这里。
MapReduce的API在这里。

Thrift是什么

李新阳 — Fri, 11 Jun 2010 13:46:59 +0000

Thrift是什么？我的解释是：替代常见的XML-RPC的方案。而且包含了RPC客户端和服务器端的代码生成，使得Service的开发更快捷。是基于Service的多语言混合编程的首选方案。

官方定义：“Thrift is a software framework for scalable cross-language services development. It combines a software stack with a code generation engine to build services that work efficiently and seamlessly between C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, and OCaml.”

我认为它适合用在软件系统内部Services的开发。开放给企业外部的Service接口一般不适合用Thrift，同样系统内部用的Service也不应该用XML-RPC。

Thrift由Facebook开发，而后捐给了apache。Thrift经常和Google的Protocol Buffers比较，这是一篇非常好的二者对比。

下图比较好的说明了Thrift在整个系统中应该处在什么位置：

如何安装Thrift

李新阳 — Fri, 11 Jun 2010 11:03:09 +0000

总的来讲，在Ubuntu上安装Thrift非常顺利。下面是最有用的一个在线文档：http://wiki.apache.org/thrift/GettingUbuntuPackages

下面是我的安装过程，依次是：安装python头文件、安装thrift依赖包、下载thrift包、解包、编译。（Some other packages depend on what languages you want Thrift to support. For ruby, install ruby-dev.）

sudo apt-get install python-dev
sudo apt-get install libboost-dev automake libtool flex bison pkg-config g++
wget http://apache.freelamp.com/incubator/thrift/0.2.0-incubating/thrift-0.2.0-incubating.tar.gz
tar -zxvf thrift-0.2.0-incubating.tar.gz
cd thrift-0.2.0
./bootstrap.sh
./configure
sudo make
sudo make install

我在安装过程中遇到的其他问题：

机器没装make，汗。sudo apt-get install make
burstnet比公司内自建的vps快多了，burstnet上make了三遍公司里的还没make完

debian, php: command not found

李新阳 — Thu, 20 May 2010 11:02:06 +0000

先说结果：apt-get install php5-cli，搞定“php: command not found”

再说过程：在debian上安装php：apt-get install php5，之后运行php命令依然带到这个错误“php: command not found”。

原来apt-get install php5并不安装命令行程序。用下面命令可以看到php的命令行是在php5-cli这个package下的。

zerg1:~# apt-cache search php5|grep command
php5-cli – command-line interpreter for the php5 scripting language

很久不写程序、装系统了，这两天在公司的虚机上弄一个debian玩玩儿。Debian比redhat果然管理方便很多了，二者的区别就像王征今天讲的cakePHP和spring MVC的区别，都能用但工作效率差不少。

打算一段时间内所有程序都尽量用php写，以便尽快熟悉这个语言。

转载：消除小型 Web 站点单点故障(Single Point of Failure)

李新阳 — Fri, 27 Nov 2009 01:35:53 +0000

转自：http://www.dbanotes.net/web/web_single_point_of_failure.html

我还没有仔细看完，没时间了，所以转过来，留以后查看。

针对小型站点的技术普及信息，中大型网站的牛人不用看，耽误您的时间我负不起这责任。
用 Windows 做网站的也别看了，不适合。

说起单点故障(Single Point of Failure，SPOF)，倒是可以想起电影《2012》中，一把焊枪把齿轮卡住，从而导致整个舱门无法关闭，进而整个引擎无法发动。这是个有点生动的例子–如此庞大的一个系统，居然因为一把小小的焊枪而险些毁于一旦。投入巨大人力物力生产的救命方舟居然做不到高可用(High availability)，这是致命的事情。

大脑对与人来说，就是一个单点，大脑损坏，人也完蛋；手是不是单点? 一只没了，另一只还能日常生活，从这个角度来说，不是单点。消除单点的最常见的做法：增加冗余。比如，人有两只手。其次，层次化。当然，分层的目的是便于隔离问题。电影《2012》中的这个问题，不知道谁是总架构师，看起来，隔离做得不太够

一般来说，只要系统能够比较清楚的分出层次来，要消除单点故障还是有章可循的事情。比如，一个网站，从基础的硬件层，到操作系统层，到数据库层，到应用程序层，再到网络层，都有可能产生单点故障。如果要有效的消除单点故障，最重要的一点是设计的时候要尽量避免引入单点，而随着架构的变化，定期审查系统潜在单点也是有必要的。

有人或许会问，假设一个起步中的站点，只有一台服务器，什么东西都在一个盒子里，到底要怎么做呢? 这里的建议是先抛开主板、CPU 、内存这些，首先必须考虑硬盘(存储层)的问题，如果机器只有一块硬盘，即使你备份计划再完善(不要说你的备份也是备份在这块硬盘上的)，还是建议你起码再弄一块。做镜像，让出错的概率降低，这是划算的投入，当然消除单点，成本几乎不可避免的要增加。如果硬盘多，或者有其他备份机制，可选的方法就更多，别刻舟求剑。

第二个要考虑网卡与网线的单点问题。先说网线，如果要问一个系统里面最容易物理损坏的是哪个组件，答案恐怕非网线莫属，对于网线这样多数时候因为距离需要定制的东西，总是购买成品还是有成本的，从我观察到的情况来看，各个 IDC 的网线使用手工制作的比例不小，这个质量几乎很难控制，一根线，两个水晶头，哪一个出问题都不能正常传输。怎么办? 想办法提升网线整体质量还是弄两根网线放在那里? 解决办法早都有了，网卡绑定 (NIC bonding)一个很简单很通用的办法(refer)，但是问题是并非很多人在用。多数 PC 服务器应该都是配置了多块网卡，如果是自己攒服务器，记得网卡多一块成本没多大，但是用处会有很多。如果耐着性子看到这里，先别急着去 Google，还有问题呢，两根网线如何接到上行交换机，什么样的交换机支持绑定，如何确定绑定是真正生效的? 答案是，尝试一下。

然后是什么? 是跑多个数据库，还是跑两个 Web 服务器，一个不行用另一个顶? 对于单台服务器，其它能消除单点的地方恐怕收效也不会特别大，现在少做无用功，或许要重点考虑如何备份，如何优化，以及出现问题的时候如何做到快速恢复。有一个或许会引起争议的建议是，除了SSH 登录之外，要不要留一个 Telnet 登录的服务呢? 毕竟 SSH 服务器端守护进程不是百分百靠谱的事儿，如果 IDC 距离较远，需要斟酌一下。好吧，网站有了一点发展，用户量也增加了，感觉需要增加服务器了。再增加一台服务器，抗风险能力一下子加强了许多，毕竟一台机器质量再好，也有出错的时候。现在，Web 服务器、DB 服务器可以考虑引入 HA 的方案，如果单台服务能力够，主备模式也不错。随着网站的发展，服务器数量继续增加…

随着服务器数量的增加，到了必须要自己购买网络设备的时候了。同样的设备，一买恐怕就要买双份，原因无它–一台总要出错，哪怕是电源被拔错–而这样的情况实际上并不少见。如果预算不够，那就再等等，但是要记住，定期审查，有可能的话，进行弥补总不会错。

到现在，所有的服务器都还在一个 IDC 呢，IDC 本身也是个单点啊，服务器被黑怎么办? 机房光线被施工工人挖断怎么办? 机房停电怎么办? 找第二个机房吧。现在选 IDC 首先要考虑什么? 中国特色的互联网问题总要考虑吧，”南北互通”怎么样…或许在选择第一个机房的时候已经遇到了类似的问题，或许现在正在受到这个问题的困扰。选好 IDC 之后，首先计划一下数据如何备份过来，然后，网站的配置信息如何同步或备份过来(这是保证第一个 IDC 出了致命问题之后的最基本的恢复要求)。多个 IDC 之后不得不提上议程的要算 DNS 这个事儿了。你的 DNS 解析商靠谱么? 如果域名提供商遭受攻击，对自己的网站影响能承受么?

更多的服务器，提供更多的应用，更多的用户，更多的收入… 接下来该怎么办呢? 现在，您所面对的已经不是一个小型 Web 站点了，可以不用看这篇文章了。

到现在，我还没说人的问题，如果这些信息只有一个人知道，万一这个人出了点事情怎么办? 作为老板，还要考虑人的单点问题。

–EOF–

给nginx和haproxy负载均衡集群里添加backup服务器

李新阳 — Wed, 21 Oct 2009 11:10:50 +0000

场景很简单：一个前端负载均衡器（lb），两个应用服务器（s1，s2），一个备用应用服务器（s3）。

希望实现：正常情况下是s1和s2提供服务，但这两个服务器都down掉的时候由备用服务器s3提供服务。

作为负载均衡器的选择，我测试了nginx、haproxy和apache，nginx和haproxy都非常容易就实现了上面的需求，apache也有文档说可以，但没有测试成功。

nginx的配置文件如下（配置文件里是一个工作的app服务器，一个backup）：

upstream mycluster {
server 192.168.1.240:8888;
server 192.168.1.222:8888 backup;
}

haproxy的配置文件如下（配置文件里是一个工作的app服务器，一个backup）：

listen appli4-backup 0.0.0.0:10004
option httpchk
#option httpchk /index.html
option persist
balance roundrobin
server inst1 192.168.1.240:8888 check inter 2000 fall 3
server inst2 192.168.1.222:8888 check inter 2000 fall 3 backup

当然，其实最后我可能haproxy和nginx都不选，而选LVS，如果LVS提供这种支持。有空继续测试LVS。

Spring MVC的No parameter specified for @RequestParam异常

李新阳 — Tue, 20 Oct 2009 02:20:24 +0000

今天测试一个程序发现No parameter specified for @RequestParam argument异常。程序是以annotation的方式使用spring mvc开发的。程序在eclipse开发环境下没有问题，但到了正式环境就出错。

问题的解决：正式环境使用ant编译，给ant的compile命令加上debug=true参数。

原因：ant模式是debug=false，所以编译出来的函数声明里的变量名会改变，例如：public String kill(String pid)编译后成为public String kill(String s1)。

这样spring的绑定参数名就不work了。

《硝烟中Scrum和XP》读书笔记

李新阳 — Thu, 15 Oct 2009 04:18:00 +0000

《硝烟中的Scrum和XP》电子书下载：scrum-and-xp-chinese-version

昨天写一个新项目的开发过程计划，xinbo向我推荐了《硝烟中的Scrum和XP》（Scrum and XP from Trenches）这本书。开始阅读之后就没有停下来，一口气读完，读的非常开心，所以今天写写读书笔记。并推荐大家阅读，理由有三：

可以让人读的非常开心。全书净是下面这样风格的话语：“听起来不错？呵，纯粹扯淡。更糟的是，团队一般都是到了会议结束前才发现他们一直在扯淡，到最后还没把故事看上一遍呢！”
非常实际。这本书就是作者在一个4、50个研发人员的团队中1、2年（2005年下半年到2007年初）的时间实践Scrum和XP的总结，所以其中有很多实际的经验、教训、建议，很细节。

好了，下面是读书笔记，同样如果对于XP或者Scrum的基本名词没有概念的，简单Google一下就好了，了解一下名词和概念就好，别读太多理论读物。

“Scrum的强大和令人痛苦之处就在于你不得不根据自己的具体情况来对它进行调整。。。。一年过去了，我们在公司里从上到下都实现了Scrum。我们试过多种团队尺寸（3-12人）、sprint长度（2-6个星期）；定义“完成”的不同方式；不同形式的产品backlog和sprint backlog（Excel、Jira、索引卡）；多种测试策略、演示方式、多个Scrum团队的信息同步方式……。我们还试验了XP实践——各种各样的每日构建，结对编程，测试驱动开发，等等；还试过把XP和Scrum进行结合。”

– 我深信“持续改进”“自我完善”这是任何一个开发过程中最重要的理念。幸运的是Scrum把过程持续改进作为了其执行的一个内在环节。

“产品backlog是Scrum的核心，也是一切的起源。我们叫它故事（story），有时候也叫做backlog条目。我们的故事包括这样一些字段：ID、Name、Importance、Initial Estimate、How to demo、Note。我们曾试过很多字段，但最后发现，只有上面提到的六个字段我们会一直使用下去。”

– 很简单是吧？简单就对了。把那么多功夫花在这些事情干什么，有空编码去好不好！

“Sprint计划会议非常关键，应该算是Scrum中最重要的活动（这当然是我的主观意见）。要是它执行的不好，整个sprint甚至都会被毁掉。”

– 在Scrum开发过程中“项目会”是那么的少，所以我也相信“Sprint计划会”是Scrum中最重要的活动。

“Sprint计划会议会产生一些实实在在的成果：

sprint目标。
团队成员名单（以及他们的投入程度，如果不是100%的话）。
sprint backlog（即sprint中包括的故事列表）。
确定好sprint演示日期。
确定好时间地点，供举行每日scrum会议”

– 我认为“确定好Sprint演示日期”这个最刺激，呵呵。

“假如sprint计划会议接近尾声，但仍然没有得出sprint目标或者sprint backlog，这时该怎么办？我们要打断它么？还是再延期一个小时？或者到时间就结束会议，然后明天继续？这种事情会一再发生，尤其是在新团队身上。你会怎么做？我不知道。但我们的做法是什么？嗯……我通常会直接打断会议，中止它。”

“几乎每次sprint计划会议都要确定sprint目标。Sprint目标需要回答这个根本的问题，“我们为什么要进行这个sprint？为什么我们不直接放假算了？””

“在大多数sprint 计划会议上，大家都会讨论产品 backlog中的故事细节。对故事进行估算、重定优先级、进一步确认细节、拆分，等等都会在会议上完成。
我们是怎样实际操作的呢？要想收到好的效果，不妨创建一些索引卡，把它们放到墙上（或一张大桌子上）。”

– 一个Backlog一张纸质卡片，听起来不错，很直观，又让大家获得几个小时离开电脑的时间。

“在sprint演示会议上，团队自豪地演示了一个新特性，但产品负责人却皱起眉头，“呃，看上去不错，但这不是我要的！”发生这种事情可真是糟透了！
怎样才能让产品负责人和团队对故事有同样的理解？或者保证所有的团队成员对每个故事都有同样的理解？嗯，这可没法做到。不过还是有些简单技术，可以识别出最明显的误解。最简单的办法就是确保每个故事的所有字段都被填满”

“注意——我们在实践TDD（测试驱动开发），所以几乎每个故事的第一个任务都是“编写一个失败的测试”，而最后一个任务是“重构”（提高代码的可读性，消除重复）。”

– 我们不做TDD，但把“重构”作为最后一个任务也是不错的哈。

“这有个很复杂的问题：技术故事。或者叫做非功能性条目，或者你想叫它什么都行。例如：安装持续构建服务器、重构DAO 层、升级 Jira”

– 这段太长了，但这个问题太重要，很多技术经理都非常关注，所以还是看原文去吧。在P54

“我们要让整个公司了解我们在做些什么，这件事情至关重要。否则其他人就会发出抱怨，甚或对我们的工作做出臆断。”

– 这段也太重要了！但是也太长，归纳一下就是：一个展示项目信息的网页、sprint开始和结束都群发邮件、将Sprint信息打印出来贴到开发团队墙上。

“我们发现管理sprint backlog最有效的形式——挂在墙上的任务板！
找一面尚未使用或者充满无用信息（如公司logo、陈旧图表或者丑陋的涂鸦）的大墙。清理墙壁（除非不得已才去请求别人许可）。在墙上贴上一张很大很大的纸（至少2×2平方米，大团队需要3×2平方米）。然后这样规划：。。。。。”

– 又是“纸质”的东西，嗯，我喜欢纸质的和写在白板上的。原因嘛，还是它可以让我远离电脑，呵呵。

“嘿，该怎样进行跟踪呢？在这种模型中，如果必须跟踪的话，那我能提供的最佳方式，就是每天给任务板拍一张数码照片。我有时也这样干，但一直没用到这些照片。如果你确实需要跟踪任务进度，任务板这种解决方案可能就不太适合你。
不过我建议你应该试着去评估一下，对sprint进行细节跟踪能带给你多大价值。Sprint完成以后，可以工作的代码已被交付，文档也被check in，那还有谁会真的关心sprint的第5天完成了多少故事呢？又有谁会真的关心“为Deposit编写失败测试”曾经的估算量是多少？”

– 我很同意。一个Sprint只有2、3周的时间，这期间的事情让项目组内部自己搞定吧，外部的人那么不放心干什么。

“在安排座位、布置桌椅这方面，有一件事情怎么强调也不为过。
让团队坐在一起！
说的更清楚一点，我说的是
让团队坐在一起！”

“我们的每日例会跟书中的几乎没啥两样。它们每天都会在同一个地方，同一个时间进行。一般我们都是开站立会议，以防止持续时间超过15分”

– 我也喜欢站着开会，可以活动一下身体。当然，也能远离电脑。

“一定要做Sprint演示。让演示关注于业务层次，不要管技术细节。注意力放在“我们做了什么”，而不是“我们怎么做的”。不要花太多时间准备演示，尤其是不要做花里胡哨的演讲。把那些玩意儿扔一边去，集中精力演示可以实际工作的代码。”

“在有关回顾的种种一切中，最重要的就是确保回顾能够进行。由于某些原因，团队常常都不太愿意做回顾。如果不给他们点温柔的刺激，我们的大多数团队都会跳过回顾。说句实话，我认为回顾是Scrum中第二重要的事件（最重要的是sprint计划会议），因为这是你做改进的最佳时机！”

“Sprint之间的休整。我们会力求保证不在同一天举行sprint回顾和下一个sprint计划会议。”

“在绝大多数层面上组合使用XP与Scrum，我们都已经尝试过了。有些XP实践直接被Scrum解决掉了，可以被视作二者的重叠。如“整体团队”，“坐在一起”，“故事”和“计划游戏”。在这些情况下我们就直接使用了Scrum。
我们近来开始在一个团队中实施结对编程。效果相当好。虽然其他团队大多数还没有进行太多尝试，但在一个团队中使用了几个sprint之后，我已经有了很高的热情去指导其他团队进行试用。”

“测试驱动开发（TDD）阿门！对我来说，它比Scrum和XP还要重要。你可以拿走我的房子、我的电视还有我的狗，但不要试着让我停止使用TDD！”

–嗯，我还真没做过TDD

“学到的一课：如果你深陷手工回归测试的泥潭，打算让它自动化执行，最好还是放弃吧（除非做起来特别简单）。首先还是应该想办法简化手工回归测试。然后再考虑将真正的测试变成自动化执行。”

“我们在实施Scrum的时候，所做的第一件事情就是打乱特定于组件的团队（方式1），创建跨组件的团队（方式2）。它减少了诸如“我们没法完成这个条目，因为我们在等server那帮家伙完成他们的工作”之类的情况发生。不过，要是有很强烈的需求，我们也会临时创建针对特定组件展开工作的团队。”

– 嗯，我也喜欢让一个团队内部搞定尽可能多的事情。跨团队沟通就是麻烦

“每周的全体（嗯，所有参与开发的人）会议。时长15分钟。
什么？15分钟？全体参加？每一个产品所包括的全部团队中的所有人都会参加？这能行么？
是的，能行。只要你（或是其他主持会议的人）严格限定会议的时间不要过长。”

– 开大会，挺好的。信息要在团队中充分共享嘛。

最后总结一下在实施scrum的团队中的会议有哪些：

Sprint计划会（4小时）
Sprint日例会（15分钟）
Sprint演示会（30分钟？）
Sprint回顾会（1、2小时）
研发部周例会（大会）（15分钟）

让Ultraledit成为python开发环境

李新阳 — Mon, 13 Jul 2009 04:19:53 +0000

开始学习Python之后一直是用linux下的vi，周日在自己的pc也安装了python，本机也有开发环境了。下面讲一下如何配置自己的Ultraledit使它方便的开发python。

设置语法高亮显示

1、去http://www.ultraedit.com/downloads/extras.html下载wordfile，具体地址是：http://www.ultraedit.com/files/wf/python26.uew

2、编辑你的Ultraledit的wordfile，把上面文件的内容添加到wordfile的最后。你Ultraledit的wordfile通常在： C:\Program Files\IDM Computer Solutions\UltraEdit-32\WORDFILE.TXT

这样语法高亮就设置好了。

设置在Ultraledit中运行python

在Ultraledit的菜单：高级–》工具配置里配置运行python，我的配置如下（记住，可以用快捷键ctrl+shift+0直接执行，比点鼠标快）：

将.py文件关联到Ultraledit

如果你想双击.py文件就用Ultraledit打开的话你可以将.py文件关联到Ultraledit。

这样Ultraledit就被设置为python的开发环境了。

开始学习Python

李新阳 — Thu, 09 Jul 2009 04:20:24 +0000

有道是，无志者常立志，有志者立志长！为了监督自己，今天公开宣布开始学习Python，作为Java的辅助开发语言。

和Java亲密接触10来年之后终有一些审美疲劳，加之对java的开发部署效率深感不满，所以决定挑选一个语言来学习，作为Java之外的补充。相对于Java这样的编译语言，那自然是挑选一个写起来爽利的脚本语言了。PHP、Ruby、Python是三个当红之选，最终挑选了Python。原因嘛，PHP写出来的程序太乱，Ruby是日本人写的，所以就剩下Python了。当然，最主要的是有同学用Python好几年了，遇到问题可以有人帮我搞定！

好了，从今天开始，抓空学习Python。

软件开发很不同了

李新阳 — Wed, 25 Mar 2009 00:55:23 +0000

接触软件开发也不算太久，刚过十年；不每天写代码也不算太久，两年的事情，可软件开发的进展却还是让我时常吃惊。和我学习软件开发的时候，和我自己初次做软件开发的时候很不同了。

昨天技术团队技术交流会，王征介绍了CakePHP web框架，几行代码，没有配置，一个包含了增删改查功能而且不算太丑的页面（其实比我写的要好看很多）就可以用了。Web开发已经和写几个静态页就收费上万的时候不可同日而语了，而那其实也不过是10年前的事情。而各种CMS、BBS、Maillist、CRM等等等等开源软件，也让我们想不到什么东西是需要自己做的了，呵呵。

那么软件工程师们，IT业者们的价值在哪里？在降低吗？依我看没有。我们的价值在于两处：

新的技术都是要人去应用的。过去一直说国内的新技术使用至少比国外晚一年，这在改变。
相比于成型的软件系统，更大量的是变化万千特性各异的业务需求。没有被电子化和规范化的东西是主流，而且恐怕一直会是主流。

企业IT系统这回事儿

李新阳 — Fri, 14 Dec 2007 10:43:01 +0000

分享我在开发和使用企业内部IT系统六年多以来的一些感受。

第一，在我们越来越了解IT系统所在来的好处的时候，我们更应该知道IT系统在大部分时候都不是最佳解决方案，大部分时候都不是。IT系统一般情况下只是将我们已经做好的事情做的更好，而不是将我们做的不好的事情做好。

第二，世界上开发出来的IT系统有一半以上在开发出来之后从来没有被使用过。这是投资者的悲哀，是设计者的悲哀，还是开发者的悲哀？所以我的目标就是：开发出来的每个东西都有用。

所以我就是一个砍开发需求的人。

上面的观点均来自于很有局限的个人经历和观察

李新阳 | lxy » programing

Twitter Boostrap2.0发布

Related posts

在SAE运行CodeIgniter

Related posts

CodeIgniter, CakePHP and phpfog

Related posts

Eclipse下设置github开发环境

Related posts

Android学习笔记2：获取手机系统信息

Related posts

Android学习笔记1：如何将第三方jar文件打入apk文件？

Related posts

Redis Presharding

Related posts

不同语言程序员的工作心情

Related posts

转载：Foursquare 长达 11 小时的宕机

Related posts

App Inventor试用

Related posts

腾讯社区开放平台

Related posts

OpenID的替代者

Related posts

Sikuli介绍

Related posts

Python VS Ruby

Related posts

支持OpenID的网站

Related posts

OpenID原理和登录过程

Related posts

推荐wurfl机型库

Related posts

Tomcat7.0新特性

Related posts

推荐一篇介绍Thrift的文章

Related posts

Thrift演示代码-Cache服务器

Related posts

各语言的Thrift Runtime

Related posts

在Redhat上安装Thrift

Related posts

Hadoop笔记

Related posts

Thrift是什么

Related posts

如何安装Thrift

Related posts

debian, php: command not found

Related posts

转载：消除小型 Web 站点单点故障(Single Point of Failure)

Related posts

给nginx和haproxy负载均衡集群里添加backup服务器

Related posts

Spring MVC的No parameter specified for @RequestParam异常

Related posts

《硝烟中Scrum和XP》读书笔记

Related posts

让Ultraledit成为python开发环境

Related posts

开始学习Python

Related posts

软件开发很不同了

Related posts

推荐一个朋友写的Java开源数据库缓存系统

Related posts

企业IT系统这回事儿

Related posts