我自然

分类存档: 未分类

同学会之后

在 上公布 作者为

老同学聚会，这里的老同学都是十年以上的，甚至是世交。感情深，一口闷。闷完后，我发现自己酒量越来越不济了。意识恍惚不是因为酒精，而是因为心灵决定不再禁锢情感。于是玩了一个下午，最后送一个邻居回家，聊了很多。

她在广州最好的大学学医。和我们大家都分开了，很孤独。两年时间足够结交新的朋友，有什么好孤独的呢？不过现在我理解了。她不断地抱怨医学学习就是大规模的死记硬背，她难以忍受，但又不得不面对，因为她想考研，离开那个地方。想起来，我高中时也是三句话不离抱怨班主任，人在长期压抑的时候，总会受不了。熬过了这两年，就好了。

她不喜欢的是华而不实的人，只会说漂亮话的人。我妈妈也是，最近，我妈妈从山东人那儿买了一袋花生米，天天对山东人赞不绝口：“这花生，粒大，又便宜。浙江人卖的那些东西(小商品)，全是假货。”。我爷爷，一天不做东西就浑身痒痒，还经常说我四体不勤。长期和广州人相处，她厌恶极了那里人的唯利是图，耍小聪明。我突然发现自己正逐渐成为她厌恶的对象，幸好她还没有发觉。

长期参加比赛性质的项目，华而不实成立获胜的必要条件。我想加工加工，指导老师告诉我，“这只是个原型，没有加工的必要”。结果是最重要的，产品不是目的，这的确是对的。以后我还要这样做，但是，我怎么能这样！腐败或许还没来得及污染卖花生的山东大汉，但是已经在侵蚀我了。想来想去，功利不是错，但决不能懒惰，我没能加工那个组件，是因为时间不够，不是偷懒，或许这样她就不会鄙视我。

NoSQL数据库笔谈v0.1

在 上公布 作者为

日前国内没有一套比较完整的NoSQL数据库资料，有很多先驱整理发表了很多，但不是很系统。不材尝试着将各家的资料整合一下，并书写了一些自己的见解。
本书写了一些目前的NoSql的一些主要技术，算法和思想。同时列举了大量的现有的数据库实例。读完全篇，相信读者会对NoSQL数据库了解个大概。
另外我还准备开发一个开源内存数据库galaxydb.本书也是为这个数据库提供一些架构资料。

現在更新至v0.2版：http://www.yankay.com/nosql%E6%95%B0%E6%8D%AE%E5%BA%93%E7%AC%94%E8%B0%88v0-2/

HTML版
PDF版

目录：

  1. 序
  2. 思想篇
    1. CAP
    2. 最终一致性
      1. 变体
    3. BASE
    4. 其他
      1. I/O的五分钟法则
      2. 不要删除数据
      3. RAM是硬盘,硬盘是磁带
      4. Amdahl定律和Gustafson定律
      5. 万兆以太网
  3. 手段篇
    1. 一致性哈希
        1. 亚马逊的现状
        2. 算法的选择
    2. Quorum NRW
    3. Vector clock
    4. Virtual node
    5. gossip
      1. Gossip (State Transfer Model)
      2. Gossip (Operation Transfer Model)
    6. Merkle tree
    7. Paxos
      1. 背景
    8. DHT
    9. Map Reduce Execution
    10. Handling Deletes
    11. 存储实现
    12. 节点变化
    13. 列存
      1. 描述
      2. 特点
  4. 软件篇
    1. 亚数据库
      1. MemCached
        1. 特点
        2. 内存分配
        3. 缓存策略
        4. 缓存数据库查询
        5. 数据冗余与故障预防
        6. Memcached客户端（mc）
        7. 缓存式的Web应用程序架构
        8. 性能测试
      2. dbcached
        1. Memcached 和 dbcached 在功能上一样吗?
    2. 列存系列
      1. Hadoop之Hbase
      2. 耶鲁大学之HadoopDB
      3. GreenPlum
      4. FaceBook之Cassandra
        1. Cassandra特点
        2. Keyspace
        3. Column family（CF）
        4. Key
        5. Column
        6. Super column
        7. Sorting
        8. 存储
        9. API
      5. Google之BigTable
      6. Yahoo之PNUTS
        1. 特点
        2. PNUTS实现
          1. Record-level mastering 记录级别主节点
          2. PNUTS的结构
          3. Tablets寻址与切分
          4. Write调用示意图
        3. PNUTS感悟
      7. 微软之SQL数据服务
    3. 非云服务竞争者
    4. 文档存储
      1. CouchDB
        1. 特性
      2. Riak
      3. MongoDB
      4. Terrastore
      5. ThruDB
    5. Key Value / Tuple 存储
      1. Amazon之SimpleDB
      2. Chordless
      3. Redis
      4. Scalaris
      5. Tokyo cabinet / Tyrant
      6. CT.M
      7. Scalien
      8. Berkley DB
      9. MemcacheDB
      10. Mnesia
      11. LightCloud
      12. HamsterDB
      13. Flare
    6. 最终一致性Key Value存储
      1. Amazon之Dynamo
        1. 功能特色
        2. 架构特色
      2. BeansDB
        1. 简介
        2. 更新
        3. 特性
        4. 性能
      3. Nuclear
        1. 两个设计上的Tips
      4. Voldemort
      5. Dynomite
      6. Kai
    7. 未分类
      1. Skynet
      2. Drizzle
    8. 比较
      1. 可扩展性
      2. 数据和查询模型
      3. 持久化设计
  5. 应用篇
    1. eBay 架构经验
    2. 淘宝架构经验
    3. Flickr架构经验
    4. Twitter运维经验
      1. 运维经验
        1. Metrics
        2. 配置管理
        3. Darkmode
        4. 进程管理
        5. 硬件
      2. 代码协同经验
        1. Review制度
        2. 部署管理
        3. 团队沟通
      3. Cache
    5. 云计算架构
    6. 反模式
      1. 单点失败（Single Point of Failure）
      2. 同步调用
      3. 不具备回滚能力
      4. 不记录日志
      5. 无切分的数据库
      6. 无切分的应用
      7. 将伸缩性依赖于第三方厂商
    7. OLAP
      1. OLAP报表产品最大的难点在哪里？
    8. NOSQL们背后的共有原则
      1. 假设失效是必然发生的
      2. 对数据进行分区
      3. 保存同一数据的多个副本
      4. 动态伸缩
      5. 查询支持
      6. 使用 Map/Reduce 处理汇聚
      7. 基于磁盘的和内存中的实现
      8. 仅仅是炒作?
  6. 附
    1. 感谢
    2. 版本志
    3. 引用

Google Reader 大爆炸

在 上公布 作者为

得益于Google Buzz的隐私保护问题，我Follow了大量的人，数以百计，人山人海。从人山人海中，我挖出了一些牛人，他们的知识和分享是我在受益匪浅。
于是Google Reader 大爆炸，每天涌入千万条信息，原先的阅读方式已经不再适用，虽然采取了过滤措施，和魔术排序，还是不行。看来我得滤掉一些人了。
于是我发现了一些关于Google Reader交友的规律。
输出型用户：

牛人，比方说我所崇敬的 Dahui Feng 之属。他的Following数是494，而有1611人在Follow他。可以看的出来他在非常积极的获取资料，同是他输出的资料质量很好，非常受欢迎。阅读量极大的大多数很牛的人，发现他们的博客和博友是莫大的乐趣啊。
推荐Dahui Feng  ,云风…And their friends.他们的资料很高质量，而且他们的圈子也不错。

华丽的小牛。比方说我所喜爱的bang590之属。Follow39被180Follow。Follow数少一是说明其人际网较小，二是说明他的阅读探索的欲望没有膨胀开。他们的Follower如此几倍多于被Follow数，可见其非常受欢迎。他们大多是设计师的角色，美感好，善于推广自己。贡献的资料也很不错。但是境界有限，离大牛还有时间差。

公司管理层。这类人基本被我过滤的差不多了，找不到例子了。他们不会提供资料，Follow人也很少，但却有一大堆人Follow.我很难解释原因，只好归为公司管理层。

输入型用户：
过渡用户，比如我，Follow三百余人，被79人Follow。别人Follow我大多是因为我Follow了他。所以只是从非活跃用户过渡而已。资料很多很杂。

低调用户，订阅和阅读数巨大，但没有分享和贡献。但他们的订阅圈还是很有价值的。

对等型用户：
非活跃用户，比如xucheng，Follow8人，被10人Follow。它属于非活跃用户。只是读一读Rss，没有理由Google friend connect.他们一般不会输出很多资料

小圈子式用户,大部分人都是如此，Foollow50人左右，被50人Follow.可见他们只是在一个比较稳定的圈子里面交流。这类人的资料一般质量尚可，但也不会很高端。其圈子越大，水平越高。

NoSQL数据库知识图

在 上公布 作者为

我的数据库知识图


源文件
图片可点击版

1. CAP

1.1 一致性

参见: 一致性哈希分布

1.1.1 ACID

1.2 可用性

1.3 分布式

参见: 一致性哈希分布

1.3.1 反模式

1.3.2 多IDC的数据分布设计

1.4 原理

2. 存储方式

2.1 列存

从内存中读取效率很高，但是从磁盘中读取（假设行式数据库的索引在内存中）比行式数据库要慢（开始在Twitter上说比行式快是程序写错了）

2.1.1 wiki

2.1.2 info

含代码

2.1.3 Oracle Exadata

3. 系统监控

3.1 Ganglia

3.2 Twitter系统运维经验

4. Cache

4.1 关于 I/O 的五分钟法则

4.2 Amdahl定律

5. BASE思想

5.1 key-value存储

可根据CAP三原则灵活选择不同倾向的数据库产品

5.1.1 Cassandra

很有研究价值

5.1.2 Memcached

使用预申请和分组的方式管理内存空间，而并不是每次需要写入数据的时候去malloc

5.1.2.1 memcached全面剖析

能了解很多细节

5.1.2.2 利用memcached

5.1.3 CouchDB

CouchDB一种半结构化面向文档的分布式，高容错的数据库系统，其提供RESTFul HTTP/JSON接口。其拥有MVCC特性，用户可以通过自定义Map/Reduce函数生成对应的View。

5.1.4 Amaze Dynamo

5.1.5 beansdb

一个简化版的Dynamo

5.1.6 Tokyo Cabinet

5.1.7 Nuclear

5.1.7.1 功能应用篇

5.1.7.2 原理展望

5.1.8 memcachedb

5.1.8.1 memcachedb的性能测试

5.1.9 dbcached

5.1.10 对比数据

5.1.11 PNUTS

5.1.12 Voldemort

5.2 NoSQL方案

5.2.1 优点

5.2.2 评价

5.2.3 重要资料

5.3 大表

参见: 云计算

5.3.1 BigTale

5.3.2 Hbase

5.3.3 SimpleDB

5.3.4 HadoopDB

5.3.5 GreenPlum

附1. 一致性哈希分布

参见: 分布式, 一致性

附2. 云计算

参见: 大表

附2.1 云计算五层架构

十八岁的韩寒就这么帅

在 上公布 作者为

面对央视的集体围攻，韩寒生气了。

其眼神堪比刀客，在意识上击败的在场所有人。

十年之后的黄思路，竟然嫁给了一个美国老头。

时间证明了一切，再看看当时的言论颇为有趣。

想想自己，自惭形秽啊。

JPA2初试

在 上公布 作者为

JPA是Java Persistence API的简称。JPA通过注解描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中。可以JPA1.0是Java5的标准，JPA2.0是Java6的标准。JPA2.0在2009-12-10正式发布，他只是标准，所以只有接口没有实现。目前，感觉比较正规的实现是EclipseLink,Hibernate即将支持。
JPA1.0简直是玩具，简洁是很简洁，但是功能实在有点少，看了JPA2.0的改进你就知道了，我想要的他都有了。
JPA2.0的改进：

  • 支持通过使用 @ElementCollection 标注来增强 collections， maps 和 lists（ 这里不是指实体之间的关联关系 ） 集合，支持 map 的单向 one-to-many 关联 （JPA1.0 只允许双向 one-to-many 关联 ）
  • 增加了 Criteria API
  • 增加二级缓存支持

这是我认为最有用的三个。

废话不说了，看具体的，我是用还没有正式发布的Hibernate3.5实现的。有Maven构建的。下载

先看看测试：

public class UserDaoTest extends TestCaseBase {
	@Resource
	private UserDao userDao;

	public void testPost() {
		User user = new User();
		user.setUsername("ir");
		user.setPassword("ir");
		List roles = new ArrayList();
		roles.add(User.ROLE_STUDENT);
		roles.add(User.ROLE_TEACHER);
		user.setRoles(roles);
		userDao.post(user);
	}

	@Test
	public void testGet() throws Exception {
		testPost();// 存储一个名叫"ir"的用户
		User user = userDao.get("ir");// 取出一个名叫"ir"的用户
		log.debug(BeanUtils.describe(user));
		/**
		 * 结果为：{id=1, username=ir, roles=ROLE_STUDENT, class=class
		 * org.jerrymouse.User, password=ir}
		 */
		log.debug(user.getRoles());// 结果为：[ROLE_STUDENT, ROLE_TEACHER]
	}
}

里面只有一个用例testGet，一存一取，一看就明白。那个User和UserDao是怎么回事呢？

@Entity
public class User implements CopyAble {
	public static String ROLE_STUDENT = "ROLE_STUDENT";
	public static String ROLE_TEACHER = "ROLE_TEACHER";

	@Id
	@Column(nullable = false)
	@GeneratedValue(strategy = GenerationType.AUTO)
	private Integer id;//主键

	private String password;

	@ElementCollection(fetch = FetchType.EAGER)
	private List roles;//一对多集合

	@Column(unique = true)
	private String username;

//get and set
}

如果是JPA1.0必须再写一个Role类。

@Component
public class UserDao extends DatabaseSupport {
	private static Log log = LogFactory.getLog(UserDao.class);

	public User get(String username) {
		User user = null;
		EntityManager em = null;
		try {
			em = getEntityManager();
			/**
			 * 构造一个Query
			 */
			CriteriaBuilder cb = em.getCriteriaBuilder();
			CriteriaQuery query = cb.createQuery(User.class);
			Root emp = query.from(User.class);
			query = query.select(emp).where(
					cb.equal(emp.get("username"), username));
			/**
			 * 运行之
			 */
			user = em.createQuery(query).getSingleResult();
		} catch (NoResultException e) {
			return null;
		} finally {
			em.close();
		}
		return user;
	}

	@Override
	public Class getType() {
		return User.class;
	}

终于可以不写一行SQL就能实现数据库查询了，这一点看似寻常其实很重要，它可以在重构时大大减少错误的数量。
JPA2.0的Criteria功能远远不限于此，文档中有介绍。

对了，推荐一本非常好的JPA读物

Pro JPA 2: Mastering the Java Persistence API

Pro JPA 2: Mastering the Java Persistence API