Lambda DB的特点是完全的去中心化、分布式、分区容错性和极度的扩展性。

1/Lambda DB总体架构

Lambda DB是一个分布式对等网络节点系统，每一个节点从逻辑上都含有一个ShardChain(WorkChain2)的账本和一个数据库系统的运行时系统。数据库节点之间按照一定规则组成小网络集群，集群的种子路由信息存在链上，路由表本身在存P2P
系统之上。客户端在使用系统的时候，通过letou真人系统完成缴费，并获得数据库系统的访问权限。由此，整个MainChain链本身是一个低频交易系统，WorkChain1是一个持续计费的高TPS系统，数据库是一个兼顾高频和低频的数据访问系统，数据库本身通过WorkChain2对数据的响应进行统计，并在检查点的时候对请求和响应信息进行对账。从思路来说，链提供的是类似于公有云的计费系统，并提供了跨越多个物理IDC的信息连接能力。

在使用场景下，Lambda Client端都有Agent部署，在Agent中内置实现了Facebook的高性能时序数据存储引擎Beringei，
10分钟的数据默认存放在本地，提供急速访问能力。Beringei是Facebook之前开源的Gorilla系统更为高效的实现，其设计目的是追求极致的速度，并提高读取效率，其时间戳压缩算法使用了delta-of-delta编码算法，数据值采用XOR进行压缩，存储容量压缩了近10倍。Beringei将数据放置于内存中，与基于HBase的传统数据库存储时间序列数据方式相比，查询延时缩短了73倍，吞吐量提高了14倍。

10分钟后的数据通过RPC传输到Lambda 数据库集群进行存储。

在 Lambda DB中没有中心化的管理节点，只有数据存储节点。所有的存储节点都有着完全相同的职责，会对外界提供同样
的服务，所以在整个系统中永远不会出现单点故障的问题。去中心化的架构使得系统的水平扩展非常容易，节点可以在任何时候直接加入到整个 Lambda DB的集群中，并且只会造成集群中少量数据的迁移。

2/虚拟节点、分片和复制

Lambda DB的核心理念中有增量扩展（Incremental Scalability）的原则，这就需要一种能够在一组节点中动态分片的机
制，这种机制又称为DHT(distributed hash table)，通过DHT这种策略 ，Lambda TSDB能够将负载合理的分配到不同的存储节点上。Lambda DB的分片策略依赖于一致性哈希(Consistent hashing)，并且针对于节点的异构性做了进一步的调整，我们使用的算法称为CCHDP算法，其主要步骤为：

(1) 首先采用聚类算法对设备集合进行分类,使得每个类中设备的权重差异在预设的范围内;
(2) 聚类完成后,类间的布局机制按照类的权重将[0,1]区间划分为多个子区间,为每个类分配一个子区间,将落入某个子区间的数据分配给相应的类;
(3) 每个类的内部布局机制使用一致 hash 方法进行数据的再次分配,将数据布局到具体的设备上。

3/集群和分区

在Lambda DB中，还提供了集群和分区的功能。Lambda DB是一个云端唯一的数据库系统，由于在这个分布式数据库系
统中，数据文件要向全网广播，过大的单个集群在极端情况下有可能导致网络消息的传播和拥堵，因此Lambda DB提供了基于地理位置的集群和分片能力。不论节点是位于同一机房内，还是不同机房间，网络故障都可能导致虚拟环的分区。分区后，Lambda DB的节点加入退出机制导致每个分区的节点形成新的虚拟环。新虚拟环的形成过程完全是自动的，无需运维人员参与。

假设有一个虚拟环，其部分节点在欧洲数据中心，部分在亚洲数据中心。如果两个数据中心之间的网络连接中断，Lambda DB会在每个数据中心形成新的虚拟环。过了一段时间后，欧洲数据中心和亚洲数据中心的通信恢复，这个时候两个虚拟环需要合并。我们可以指定一些特殊的地标节点。无地标节点的环中的所有节点首先离开它们所在的环，再重新加入到地标节点所在环。一段时间后，整个系统又只剩下唯一的一个虚拟环。

4/数据的读写

Lambda DB的一个指定集群中的任意节点都能够接受来自客户端的对于任意Key的读写请求，所有的请求都通过 RPC 调用
执行，客户端在选择节点时，通过WorkChain3获得访问所需要的授权，并且通过WorkChain1进行通信的路由转发。

5/数据冲突和向量时钟

Lambda DB系统提供最终一致性，最终一致性能够允许我们异步的更新集群中的节点。

上图中的每一个对象的版本 Dx 中存储着一个或多个向量时钟 [Sn, N]，每次 Lambda DB对数据进行写入时都会更新向量时钟的版本号，节点 Sx 第一次写入时向量时钟为 [Sx, 1]，第二次为 [Sx, 2]，在这时假设节点 Sy 和 Sz 都不知道 Sx 已经对节点进行了写入，它们接收到了来自其他客户端的请求，在本地也对同样的Key做出了写入并分别生成了不同的时钟 [Sy, 1] 和[Sz, 1]，当客户端再次使用 get() 请求时就会发现数据出现了冲突，这个时候，可以选择last write wins，这依赖于节点时钟的同步。

6/节点的增加和删除

因为在分布式系统中节点的失效是非常常见的事情，而节点也很少会因为某些原因永久失效，往往大部分节点会临时宕机然后快速重新加入系统；由于这些原因，Lambda DB选择使用了质押和共识的机制向系统中添加和移除节点，并将变更之后的信息更新到链上。机制是：

节点加入时，存储节点所对应的链地址向链上发起一笔质押交易，以交易时间作为节点的上线时间。
节点离线时，由节点所在集群的验证人达成共识，以共识时间为节点离线时间。
节点的单位存储奖励是节点所在存储池的平均奖励，但要达到最低上线时长
存储节点通过定期猜测BFT的出块节点领取在线奖励

7/副本同步 

在 Lambda DB运行的过程中，由于一些情况会造成不同节点中的数据不一致的问题，Lambda DB使用反熵（anti-entropy）的策略保证所有的副本存储的信息都是同步的。为了快速确认多个副本之间的数据的一致性并避免大量的数据传输，Lambda DB使用了 Merkle DAG对不同节点中的数据进行快速验证与传输，同时DAG可轻易去除重复数据节省存储空间，DAG灵活的数据存储方法可广泛用于Lambda系统中寻址、FS block交换、KV数据交换、文档等富媒体交换。

8/数据的Top-k查询实现及原理

在时间序列数据的处理场景下，其查询主要是对一系列时间范围内的数据的最大值、最小值等进行查询，这属于范围查询，也叫作Top K查询。在DHT中，通常来说，支持复杂的范围查询是非常困难的，这已经是分布式系统科研前沿的主题，在我们的时间序列数据库中，我们实现了对范围查询、连结查询和前K名查询的支持，这也是Lambda² TSDB具有价值的特点。

限于篇幅，我们只描述了对于TOP k查询的实现原理。在集中式和分布式系统中，关于TOP k查询的一个有效实现是阈值算法TA【nepal and Ramakrishna,1999】，我们实现了TA算法在在DHT情况下的一个变化算法，叫做DHTop算法，该算法来自论文APPA【Akbarinia et al.,2007c】。

在Lambda DB中，节点使用两种互相补充的方式将他们的元组存储在DHT中：元组存储和属性值存储。使用元组存储，每个元组可以使用它的标识符(比如主键)来作为存储键存储在DHT中。这使得它可以通过类似主索引的标识符来查找一个元组。属性值存储单独将属性存在DHT中，该属性可能出现在一个查询的相等谓词或在一个查询打分函数中。因此，类似在次级索引中那样，它允许使用属性值来查找元组。属性值存储有两个重要的特性：

[1] 在从DHT接收到一个属性之后，节点可以轻松获得属性值对应的元组
[2] 相对接近的属性值被存储在相同的节点上

为了满足第一个特性，那些用来存储整个元组的键，将同属性值存储在一起。第二个特性通过如下所述的域划分概念来实现。考虑一个属性a，令Da是它值的域。假定在Da上有一个全序<，Da被划分为n个非空的子域d1,d2…，dn，使得它们的并集等于Da，任意两个不同子域的交集为空，且对于每一个v1 di和v2 dj,如果i 
使用这种存储模型，前k名查询处理算法，被称为DHTop，按照如下方式工作：令Q是一个给定的前k名查询，f是它的打分函数，且p0是发出查询Q的节点。令打分属性是那些作为参数准备传递给打分函数的属性的集合。DHTop在p0开始，并以两个阶段处理：首先它准备候选子域的顺序列表，接着它持续地获取候选集属性值和它们的元组，直到它找到前k个元组。

9/数据采集端——Lambda Agent

所有的分布式应用能够都通过调用Lambda Agent来进行数据的接入。Lambda Agent是一个运行部署在操作系统层面的程序，其本质是一个Lambda的钱包，存有Lambda的letou真人账本和路由表。多个Lambda Agent的同时运行将组成雾网络，也可以提供一定的数据验证能力。

我们的Lambda Agent SDK除了可以接入数据以外，还提供多种免费的数据采集和发送能力，包括性能监控、安全分析和数据分析等。通常这一类商业产品的价格非常昂贵，性能监控和安全监控系统的售价从几万到几百万美元不等。现在我们免费提供给用户，这就是基于Lambda开发分布式应用以外的一个用户群体，我们吸引用户安装我们的Agent系统，并提供用户愿意提供的计算和存储能力以获取Lambda Cryptocurrency。这是增加Lambda总体算力的一个非常好的手段，也使得我们的钱包可以到达更多的用户。