神马文学网性能强劲的Tokyo Cabinet 和 Tokyo Tyrant
来源：百度文库 编辑：神马文学网 时间：2024/04/28 17:11:34
Tokyo Cabinet (简称TC)是MikioHirabayashi开发的一种DBM的开发库，其数据文件只有一个，里面存放多个的数据记录，所有操作都是依据key做主键操作。key，value都可以是连续不定长，即可以是二进制，也可是是字符串。数据文件中的记录组织有三种模式，hash表，B+树，定长数组。
做为hash表，主键key必须是唯一的，方法有：按key来存储value到一个记录，按key来删除一个记录，按key来获取一个记录的value。另外还有一个获取所有key的方法，获取的key是不排序的。TC可以做为NDBM，GBM的替代品，因为有更高的性能。
当采用B+树时，可以存储相同key的多条记录，有存储，删除，读取的方法，还可以按照一定顺序来读取记录。
做为一个定长数组，key必须是自然数，其它的和hash表完全一样，因为key是自然数，所以速度比hash表要快。
以上三种数据库即可以只保存在内存中，也可以指定保持到硬盘。应用最广泛的，当然就是hash表了。
Tokyo Tyrant
单单的TC数据库，用处不大，宿主程序需要进行很多开发。TC的作者开发了TokyoTyrant(TT)这个网络服务程序，除了自己的二进制协议，还提供了现在被广泛应用的HTTP协议，memcached协议来访问TC数据库，这样一来，一下子就扩展了TC的使用范围，让TC从一个单纯的开发库变成了易用，高效的数据库系统。
TT支持的协议包括memcached的持续连接，http1.1的长连接，并且数据文件，有热备，更新日志，复制功能，这些都给TT很高的可用性和高性能。并且，TT内嵌lua脚本的支持，可以对数据进行处理。（看来lua脚本已经是unix下内嵌脚本的首选了）。目前(2008.12)为止TT 只能运行在linux，freebsd，macos系统上。
安装等请参见官网，或者s135文章
TT的程序
TT的服务器程序是ttserver，默认端口1978（作者的出生在1978？后来在他主页得到了验证）。在启动的时候，根据参数dbname名来确定使用的TC数据库类型。如果为"*"，则使用内存hash表，如果为"+"，则使用内存B+库，如果后缀为".tch"，则使用hash表，如果后缀为".tcb"，则使用B+树数据库，如果后缀为".tcf"，则使用定长数组。如果dbname参数被省略，则采用内存hash数据库。
在ttserver众多的启动参数中，有两个参数在正式使用时非常有用，-mask expr， -unmaskexpr，分别是禁止的命令，允许的命令。在正式使用时，最好能把vanish（删除所有数据）屏蔽掉，就像linux系统中把rm -rf *屏蔽了一样。
ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn][-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sidnum] [-mhost name] [-mport num] [-rts path] [-ext path] [-mask expr][-unmask expr] [dbname]
-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
-port num : 指定需要绑定的端口号。默认端口号为1978
-thnum num : 指定线程数。默认为8个线程。
-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
-dmn : 以守护进程方式运行。
-pid path : 输出进程ID到指定文件（这里指定文件名）。
-log path : 输出日志信息到指定文件（这里指定文件名）。
-ld : 在日志文件中还记录DEBUG调试信息。
-le : 在日志文件中仅记录错误信息。
-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
-ulim num : 指定每个同步日志文件的大小（例如128m）。
-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
-mport num : 指定主辅同步模式下，主服务器的端口号。
-rts path : 指定用来存放同步时间戳的文件名。
(以上cp自http://blog.s135.com/post/362.htm)
-ext path : 扩展的脚本文件
-mask expr : 需要禁止的命令，多个命名用"，"隔开
-unmaks expr : 允许的命令
除了覆盖TC基本的操作命令，例如put，get，out，等，还有一些另类的表达式：all：所有命令，allorg：所有的二进制协议，allmc：所有的memcached协议，allhttp：所有的http协议， "allread" is the abbreviationof `get'， `mget'， `vsiz'， `iterinit'， `iternext'， `fwmkeys'， `rnum'，`size'， and `stat'. "allwrite" is the abbreviation of `put'， `putkeep'，`putcat'， `putshl'， `putnr'， `out'， `addint'， `adddouble'， and`vanish'. "allmanage" is the abbreviation of `sync'， `copy'， `restore'，and `setmst'. "repl" means replication as master. "slave" meansreplication as slave.
如果不想这么麻烦的启动，可以使用ttservctl简单的命令来控制。ttservctlstart，stop，restart，hup。使用这个命令，数据库文件位于/var/ttserver/casker.tch，log等相关文件位于/var/ttserver。
ttulmgr：用来在二进制ulog文件(update log)和text格式的TSV文件之间转换
ttserver对外有三种协议，可以用curl程序调用http协议访问，可tt自带的客户端程序，使用私有二进制协议访问。
tcrtest ：测试程序， tc remote test
tcrmttest ：多线程测试程序 tc multi-thread test
两个测试程序写入的数据key，value均是8字节的，按照00000001，00000002格式
tcrtest write host rnum : 写入 rnum条记录（是重新写，不是追加）
tcrtest read host : 读出所有记录
tcrtest remote host : 删除所有记录
tcrmgr : 测试和调试ttserver的程序，很多用法就就见官方文档了，主要有：
tcrmgr inform host: 获取服务器的信息
tcrmgr put host key value : 添加记录
tcrmgr get host key : 获取记录
tcrmgr out host key : 删除记录
tcrmgr list host : 列出数据库中所有的key（这个在memcached中是需要patch才能实现的）
tcrmgr vanish host : 删除所有数据
还有一些命名是和主从同步，备份相关的
ttserver和用户数据库
TC，ttserver这种DBM方式的数据库，对我们目前的应用来说，最适合的是用来作用户数据库，完全用userid做key。通常存储用户数据库，都使用的是关系型数据库，例如：mysql，pgsql，oracle。从用户数据库特性（数据格式单一，访问量大等）来说，DBM格式是最适合的。在采用TC，ttserve上，最大的问题就是技术支持和持久性。仔细分析这点，对很多普通公司（不深入到opensource代码级）来说，用mysql，pgsql，oracle等，有了问题，也就是用这些数据库提供的管理命令弄弄，调调参数，重启，从备份中恢复。其实和你使用TC，ttserver，可做的事情都是一样。再退一万步来说，如果真需要深入到源代码级寻找问题，TC，ttserve两个加起来才1M不到，和mysql，pgsql源代码的复杂程度的几十分之一。
google的账户数据库就是形式的Berkeley DB(简称：BDB，已经被oracle收购了)， Google. Accounts uses Berkeley DB HA for thestorage and retrieval of user 。
ttserver和memcached
ttserver是数据库，memcached是缓存。两者都是保存形式的数据，通过key进行任何操作。ttserver可以将数据持久化保存，memcached全部是保存在内存中，memcached会自动删除过期数据，最长不超过30天。memcached在和一些api配合时，能自动进行数据的出入序列化，读取反序列化。ttserver有主从复制的功能，操作日志等，这完全是数据库才有的东西。据说memcached正在对整体架构做调整，到时候支持plugin机制.会把网络，事件处理，内存存储剥离开来.以后要做基于磁盘的key-value存储就可以写一个存储引擎就成了。memcached的二次开发又步入一个小高潮。
TC和BDB
BDB配置开发起来比较麻烦，因为它没有ttserver这个一样的网络接口。BDB的数据文件会比较大，有时需要执行文件收缩，利用BDB开发的memcachedb就有这种问题。BDB开发已经很长时间了，成熟度高，无论是bug，支持，资料会比tc要好很多。
ttserver和关系型数据库
ttserver是形式，在根据key进行读取，写入时速度是飞快的，但在做统计的时候，就比较麻烦了，还是需要自己写程序，从ulog中到处log，转换成sql语句，后台写入关系型数据库，然后再利用成熟的接口，逻辑，进行统计。或者应用在更改ttserver时，发送消息(mq,syslog等)到辅助进程，辅助进程进行相应的数据操作。这种情况下，关系数据库完全是ttserver的另一种形式的存在，除了性能有所缺陷，在应用，统计上更加方便。
====
2009.3.8 补充
使用B+存储，可以构造FIFO的队列，通过tcbmgr put -dd c.tcb a aa 可存放进具有重复主键的值，在get的时候，只获取第一个。而使用out命令，可以删除第一个值。
-dd 是 dbputdup缩写的意思。
在1.4.0版本的tc后，又多了一种存储方式 tct，包含了字段的概念。
做为hash表，主键key必须是唯一的，方法有：按key来存储value到一个记录，按key来删除一个记录，按key来获取一个记录的value。另外还有一个获取所有key的方法，获取的key是不排序的。TC可以做为NDBM，GBM的替代品，因为有更高的性能。
当采用B+树时，可以存储相同key的多条记录，有存储，删除，读取的方法，还可以按照一定顺序来读取记录。
做为一个定长数组，key必须是自然数，其它的和hash表完全一样，因为key是自然数，所以速度比hash表要快。
以上三种数据库即可以只保存在内存中，也可以指定保持到硬盘。应用最广泛的，当然就是hash表了。
Tokyo Tyrant
单单的TC数据库，用处不大，宿主程序需要进行很多开发。TC的作者开发了TokyoTyrant(TT)这个网络服务程序，除了自己的二进制协议，还提供了现在被广泛应用的HTTP协议，memcached协议来访问TC数据库，这样一来，一下子就扩展了TC的使用范围，让TC从一个单纯的开发库变成了易用，高效的数据库系统。
TT支持的协议包括memcached的持续连接，http1.1的长连接，并且数据文件，有热备，更新日志，复制功能，这些都给TT很高的可用性和高性能。并且，TT内嵌lua脚本的支持，可以对数据进行处理。（看来lua脚本已经是unix下内嵌脚本的首选了）。目前(2008.12)为止TT 只能运行在linux，freebsd，macos系统上。
安装等请参见官网，或者s135文章
TT的程序
TT的服务器程序是ttserver，默认端口1978（作者的出生在1978？后来在他主页得到了验证）。在启动的时候，根据参数dbname名来确定使用的TC数据库类型。如果为"*"，则使用内存hash表，如果为"+"，则使用内存B+库，如果后缀为".tch"，则使用hash表，如果后缀为".tcb"，则使用B+树数据库，如果后缀为".tcf"，则使用定长数组。如果dbname参数被省略，则采用内存hash数据库。
在ttserver众多的启动参数中，有两个参数在正式使用时非常有用，-mask expr， -unmaskexpr，分别是禁止的命令，允许的命令。在正式使用时，最好能把vanish（删除所有数据）屏蔽掉，就像linux系统中把rm -rf *屏蔽了一样。
ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn][-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sidnum] [-mhost name] [-mport num] [-rts path] [-ext path] [-mask expr][-unmask expr] [dbname]
-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
-port num : 指定需要绑定的端口号。默认端口号为1978
-thnum num : 指定线程数。默认为8个线程。
-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
-dmn : 以守护进程方式运行。
-pid path : 输出进程ID到指定文件（这里指定文件名）。
-log path : 输出日志信息到指定文件（这里指定文件名）。
-ld : 在日志文件中还记录DEBUG调试信息。
-le : 在日志文件中仅记录错误信息。
-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
-ulim num : 指定每个同步日志文件的大小（例如128m）。
-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
-mport num : 指定主辅同步模式下，主服务器的端口号。
-rts path : 指定用来存放同步时间戳的文件名。
(以上cp自http://blog.s135.com/post/362.htm)
-ext path : 扩展的脚本文件
-mask expr : 需要禁止的命令，多个命名用"，"隔开
-unmaks expr : 允许的命令
除了覆盖TC基本的操作命令，例如put，get，out，等，还有一些另类的表达式：all：所有命令，allorg：所有的二进制协议，allmc：所有的memcached协议，allhttp：所有的http协议， "allread" is the abbreviationof `get'， `mget'， `vsiz'， `iterinit'， `iternext'， `fwmkeys'， `rnum'，`size'， and `stat'. "allwrite" is the abbreviation of `put'， `putkeep'，`putcat'， `putshl'， `putnr'， `out'， `addint'， `adddouble'， and`vanish'. "allmanage" is the abbreviation of `sync'， `copy'， `restore'，and `setmst'. "repl" means replication as master. "slave" meansreplication as slave.
如果不想这么麻烦的启动，可以使用ttservctl简单的命令来控制。ttservctlstart，stop，restart，hup。使用这个命令，数据库文件位于/var/ttserver/casker.tch，log等相关文件位于/var/ttserver。
ttulmgr：用来在二进制ulog文件(update log)和text格式的TSV文件之间转换
ttserver对外有三种协议，可以用curl程序调用http协议访问，可tt自带的客户端程序，使用私有二进制协议访问。
tcrtest ：测试程序， tc remote test
tcrmttest ：多线程测试程序 tc multi-thread test
两个测试程序写入的数据key，value均是8字节的，按照00000001，00000002格式
tcrtest write host rnum : 写入 rnum条记录（是重新写，不是追加）
tcrtest read host : 读出所有记录
tcrtest remote host : 删除所有记录
tcrmgr : 测试和调试ttserver的程序，很多用法就就见官方文档了，主要有：
tcrmgr inform host: 获取服务器的信息
tcrmgr put host key value : 添加记录
tcrmgr get host key : 获取记录
tcrmgr out host key : 删除记录
tcrmgr list host : 列出数据库中所有的key（这个在memcached中是需要patch才能实现的）
tcrmgr vanish host : 删除所有数据
还有一些命名是和主从同步，备份相关的
ttserver和用户数据库
TC，ttserver这种DBM方式的数据库，对我们目前的应用来说，最适合的是用来作用户数据库，完全用userid做key。通常存储用户数据库，都使用的是关系型数据库，例如：mysql，pgsql，oracle。从用户数据库特性（数据格式单一，访问量大等）来说，DBM格式是最适合的。在采用TC，ttserve上，最大的问题就是技术支持和持久性。仔细分析这点，对很多普通公司（不深入到opensource代码级）来说，用mysql，pgsql，oracle等，有了问题，也就是用这些数据库提供的管理命令弄弄，调调参数，重启，从备份中恢复。其实和你使用TC，ttserver，可做的事情都是一样。再退一万步来说，如果真需要深入到源代码级寻找问题，TC，ttserve两个加起来才1M不到，和mysql，pgsql源代码的复杂程度的几十分之一。
google的账户数据库就是
ttserver和memcached
ttserver是数据库，memcached是缓存。两者都是保存
TC和BDB
BDB配置开发起来比较麻烦，因为它没有ttserver这个一样的网络接口。BDB的数据文件会比较大，有时需要执行文件收缩，利用BDB开发的memcachedb就有这种问题。BDB开发已经很长时间了，成熟度高，无论是bug，支持，资料会比tc要好很多。
ttserver和关系型数据库
ttserver是
====
2009.3.8 补充
使用B+存储，可以构造FIFO的队列，通过tcbmgr put -dd c.tcb a aa 可存放进具有重复主键的值，在get的时候，只获取第一个。而使用out命令，可以删除第一个值。
-dd 是 dbputdup缩写的意思。
在1.4.0版本的tc后，又多了一种存储方式 tct，包含了字段的概念。
性能强劲的Tokyo Cabinet 和 Tokyo Tyrant
[翻译]Tokyo Tyrant基本规范
Debian下PHP的Tokyo Tyrant安装配置及测试
MongoDB vs Redis vs Tokyo Tyrant
MemcacheDB, Tokyo Tyrant, Redis performance test
Tokyo Cabinet数据库简介_雪飞梦原
Tokyo Tyrant安装配置参数及效率测试
Welcome to Tokyo
Tokyo Cabinet - 哈希模式写入100万条数据只需0.643秒_风中青竹
利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创] - 回忆未来[张宴] - 服务器系统架构与底层研发
利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统[原创] - 回忆未来[张宴] - 服务器系统架构与底层研发
赛车驾驶技术补全 - Tokyo Drift - 谈车论驾 - 搜狐圈子
该去东京投资房产了 Tokyo turns to tomorrow
President Obama's remarks at Suntory Hall in Tokyo(Obama speaks on U.S.-Asia relations)
数据库的性能优化和设置
SQL 过程的性能: 提示和技巧
HBase的概念和性能选项
PET PMMA和PC的性能
常用的油漆品种和性能 - 2
常用的油漆品种和性能 - 3
水泵的工作原理和工作性能
常用的油漆品种和性能
数据库的性能优化和设置
NFS、PVFS和Lustre文件系统的安装和性能评测