64位系统下squid部署tcmalloc

来源：百度文库编辑：神马文学网时间：2024/04/29 10:22:01

64位系统下squid部署tcmalloc

最近公司想使用google perftools下tcmalloc库的一些优越性能，来测试squid使用tcmalloc库时是否有性能提升。所以google一堆文章在当前系统上部署这项工作。但是最终发现的是：所有的文章均是配置步骤类的文章，关于部署平台，squid版本、部署中遇到的问题基本都是只字未提，且我在64bit系统下又遇到了一些问题，几经周折最终搞定了，总结一下以便记录。也望大家一起分析下里面提及的故障原因何在。

测试平台：

os：CentOS release 5.2 x86_64 GNU/Linux

kernel：2.6.30

gcc-version:gcc version 4.1.2 20071124 Target: x86_64-redhat-linux

squid-version:squid-2.6.STABLE21

1，安装tcmalloc所需的libunwind库[32位系统无须安装]

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz

tar zxvf libunwind-0.99-alpha.tar.gz

cd libunwind-0.99-alpha/

CFLAGS=-fPIC ./configure

make CFLAGS=-fPIC

make CFLAGS=-fPIC install

2，安装tcmalloc

wget http://google-perftools.googlecode.com/files/google-perftools-0.97.tar.gz

tar zxvf google-perftools-0.97.tar.gz

cd google-perftools-0.97/

./configure

make && make install

默认安装时，libunwind与tcmalloc库均安装至/usr/local/lib

3，配置动态连接库

echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf

/sbin/ldconfig

4，squid使用tcmalloc的方法：

4.1 重新编译squid

4.1.1 configure

4.1.2 修改源码路径中的 vi src/Makefile 找到其中squid_LDADD = 在其-L../lib后添加 -ltcmalloc 保存退出

4.1.3 make

4.1.4 make install

4.1.5 启动squid

4.1.6 编译squid出现异常请参见常见问题

4.2 PRELOAD动态加载

[如果不想重新编译现有的squid，可以使用此种方法，但是google官方并不推荐这样让squid调用tcmalloc]

4.2.1 找到squid启动的脚本，一般也就是 RunAccel或 RunCache，再其首行位置添加

export LD_PRELOAD=/usr/local/lib/libtcmalloc.so[也就是上述默认安装的路径]

当然这个启动脚本也可以自行编写

4.2.2 启动squid

4.2.3 动态加载出现异常请参见常见问题

5，命令查看tcmalloc是否起效：

如果上述步骤4没有异常，那么可以通过如下方式检查squid是否加载了tcmalloc

/usr/sbin/lsof -n | grep tcmalloc

　　如果发现以下信息，说明tcmalloc已经起效：

[root@squid22 bin]# lsof -n |grep tcmalloc

squid 18663 root mem REG 8,2 1891502 164954 /opt/squid/libexec/libtcmalloc.so

squid 18665 squid mem REG 8,2 1891502 164954 /opt/squid/libexec/libtcmalloc.so

常见问题

编译squid支持tcmalloc时出现编译失败：

第一次：编译选项如下：

Squid Cache: Version 2.6.STABLE21

编译成功，加载成功

squid 15385 root mem REG 104,2 1364576 527282 /usr/local/lib/libtcmalloc.so.0.0.0

squid 15388 nobody mem REG 104,2 1364576 527282 /usr/local/lib/libtcmalloc.so.0.0.0

第二次：编译选项如下：

Squid Cache: Version 2.6.STABLE21

configure options: '--prefix=/usr/local/squid' '--enable-dlmalloc' '--enable-useragent-log' '--enable-referer-log' '--enable-default-err-language=English' '--enable-err-languages=Simplify_Chinese English' '--enable-x-accelerator-vary' '--enable-epoll' '--enable-storeio=diskd,ufs,aufs,null,coss' '--enable-coss-aio-ops' '--enable-removal-policies=lru heap' '--enable-large-cache-files' '--with-aufs-threads=16' '--with-pthreads' '--with-aio' '--with-maxfd=32768' '--with-large-files'

出现编译失败。找到病因，因为增加了'--with-large-files'选项，因此编译时出现

#############################################################################################################################################################

gcc -m32 -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -O3 -pipe -msse2 -mfpmath=sse,387 -mmmx -fomit-frame-pointer -D_REENTRANT -o squid access_log.o acl.o asn.o authenticate.o cache_cf.o CacheDigest.o cache_manager.o carp.o cbdata.o client_db.o client_side.o comm.o comm_epoll.o debug.o disk.o dns_internal.o errorpage.o event.o errormap.o external_acl.o fd.o filemap.o forward.o fqdncache.o ftp.o gopher.o helper.o http.o HttpStatusLine.o HttpHdrCc.o HttpHdrRange.o HttpHdrContRange.o HttpHeader.o HttpHeaderTools.o HttpBody.o HttpMsg.o HttpReply.o HttpRequest.o icmp.o icp_v2.o icp_v3.o ident.o internal.o ipc.o ipcache.o locrewrite.o logfile.o main.o mem.o MemPool.o MemBuf.o mime.o multicast.o neighbors.o net_db.o Packer.o pconn.o peer_digest.o peer_monitor.o peer_select.o peer_sourcehash.o peer_userhash.o redirect.o referer.o refresh.o send-announce.o snmp_core.o snmp_agent.o ssl.o stat.o StatHist.o String.o stmem.o store.o store_io.o store_client.o store_digest.o store_dir.o store_key_md5.o store_log.o store_rebuild.o store_swapin.o store_swapmete.o store_swapout.o tools.o unlinkd.o url.o urn.o useragent.o wais.o wccp.o wccp2.o whois.o repl_modules.o auth_modules.o store_modules.o globals.o string_arrays.o -L../lib -ltcmalloc repl/liblru.a repl/libheap.a fs/libdiskd.a fs/libufs.a fs/libaufs.a fs/libnull.a fs/libcoss.a auth/libbasic.a -lcrypt ../snmplib/libsnmp.a -L../lib -ldlmalloc -lmiscutil -lrt -lpthread -lm -lbsd -lnsl

/usr/bin/ld: skipping incompatible /usr/lib64/libtcmalloc.so when searching for -ltcmalloc

/usr/bin/ld: skipping incompatible /usr/lib64/libtcmalloc.a when searching for -ltcmalloc

/usr/bin/ld: skipping incompatible /usr/local/lib/libtcmalloc.so when searching for -ltcmalloc

/usr/bin/ld: skipping incompatible /usr/local/lib/libtcmalloc.a when searching for -ltcmalloc

/usr/bin/ld: cannot find -ltcmalloc

collect2: ld returned 1 exit status

#############################################################################################################################################################

第三次：去掉了with-large-files，增加常用的squid编译选项如下：

Squid Cache: Version 2.6.STABLE21

编译成功，加载成功

squid 18254 root mem REG 104,2 1364576 527282 /usr/local/lib/libtcmalloc.so.0.0.0

squid 18257 nobody mem REG 104,2 1364576 527282 /usr/local/lib/libtcmalloc.so.0.0.0

注意一点：对于已经使用with-large-files编译成功的squid，也是不能通过LD_PRELOAD的方式加载tcmalloc的

这点也需要着重指出

以上总结及讨论的常见问题均是在Deion: CentOS release 5.2 (Final) 内核版本为Linux 39 2.6.30 #1 SMP Tue Jun 16 22:29:42 CST 2009 x86_64 x86_64 x86_64 GNU/Linux的64位主机上测试的。对于32位主机，是不存在上述问题的。32位主机上squid不论是不是编译时启用了--with-large-files，不论是编译还是动态加载都可以使用tcmalloc。32测试主机的内核为：2.6.18-92.el5xen GCC版本为：4.1.2 20071124 Target: i386-redhat-linux

64位系统下squid部署tcmalloc 32位系统和64位系统的优点使用Google的开源TCMalloc库，提高MySQL在高并发情况下的性能在WAMP环境下部署开源CRM系统（上） squid 64位时代谁在使用64位系统？不刻盘，怎么从32位的系统安装64位系统 Dash‘s Blog -> Linux下解决squid的filedescriptors问题台军将部署自制“爱国者”导弹防御系统台湾部署“低空反弹道导弹防御系统” 日部署爱国者飞弹建置防御系统五种方法安装Windows 7 64位系统 nginx和squid配合搭建的web服务器前端系统-信息技术-中国学生网 DOS下安装系统 windows下简单配置squid反向代理服务器_网络技术经验分享，资料收集 [分享]windows下编译squid的经验 - rym1020的生活空间 - 博客园 Linux下sshd启动失败及Squid启动失败问题解决一例企业即时沟通系统及OFFICE协作应用及部署企业内网安全管理系统的规划和部署内容发行商抵制Google 将部署反搜索系统美考虑在东京地区部署“爱国者”系统 Google部署过滤系统版权内容上不了YouTube 美国部署反导系统普京：导弹将瞄准欧洲北大校园网实践与部署：两个原则搭建流媒体系统