统计点击数

标题: [其他] 统计点击数有这么恐怖吗？[打印本页]
作者: litie123     时间: 2005-12-13 17:57     标题: [其他] 统计点击数有这么恐怖吗？
今天上china看见一个置顶的通知
http://bbs.military.china.com/js ... d=736846&page=0
QUOTE:
由于直接往数据库写点击数的办法使系统达到面临崩溃的境地，公司技术人员正在想办法解决这一问题，暂时可能有一部分点击不能记录到数据库内，也就是说造成点击数减少的情况。估计两天内能解决。
请大家谅解！
中华网军事频道
2005年12月
直接写点击数的办法真的这么消耗资源吗？
[ 本帖最后由 HonestQiao 于 2005-12-13 18:18 编辑 ] 作者: 北京野狼     时间: 2005-12-13 18:03
CU也是定时的更新点击数，不是实时的。
我认为，事实上瓶颈不是更新点击数，是在都帖子时候不想有写库操作。 作者: 北京野狼     时间: 2005-12-13 18:08
http://bbs.chinaunix.net/viewthread.php?tid=468888 作者: wobushiwo     时间: 2005-12-13 18:54
我操，我真服了他们的程序员
看吧看吧，用了struts框架(我估计应该是)，以为就可以啥都不顾了？
完全把JAVA的妙用丢一旁了，强烈BS
我感觉这问题可以延伸到任何程序，以为用了啥框架就可以乱来了
好的框架还要靠好的编码.... 作者: wobushiwo     时间: 2005-12-13 18:56
还用啥JSP/SERVLET？不如用PHP算了
有认识在那网站做的程序员的，麻烦通知他们集体去自裁吧... 作者: litie123     时间: 2005-12-13 20:25
楼上的别那么激动好吗？毕竟人家公司的程序员也要吃饭的。
顺别问一句，定时更新点击数量怎么实现？难道真的是写到文本文件里，然后定时读入数据库吗？或者是有什么别的好的方法？ 作者: wobushiwo     时间: 2005-12-13 22:33
QUOTE:
原帖由 litie123 于 2005-12-13 20:25 发表
楼上的别那么激动好吗？毕竟人家公司的程序员也要吃饭的。
顺别问一句，定时更新点击数量怎么实现？难道真的是写到文本文件里，然后定时读入数据库吗？或者是有什么别的好的方法？
写入文本其实是一种very bad的做法
假如不是非要实时数据，完全可以cache嘛，或是用（数据库的计数+cache里的数据）还是可以实时的显示的
当然用多了，系统设计也会随着越来越复杂，越来越难控制 作者: HonestQiao     时间: 2005-12-13 22:47
如果确实这儿高，完全应该用内存数据库为好，当然内存要够大，服务器要足够稳定。不要担心，如果服务器死机了怎么办？内存数据库系统有其特殊的机制。
可以去看看
http://www.garret.ru/~knizhnik/fastdb.html
或者：
http://www.altibase.com/
参考：http://www.billingchina.com/ReadNewsqk.asp?NewsID=3181
作者: litie123     时间: 2005-12-13 23:29
QUOTE:
原帖由 wobushiwo 于 2005-12-13 22:33 发表
写入文本其实是一种very bad的做法
假如不是非要实时数据，完全可以cache嘛，或是用（数据库的计数+cache里的数据）还是可以实时的显示的
当然用多了，系统设计也会随着越来越复杂，越来越难控制
能说一种cache的解决方法吗？我对cache掌握的不太好作者: litie123     时间: 2005-12-13 23:31
QUOTE:
原帖由 HonestQiao 于 2005-12-13 22:47 发表
如果确实这儿高，完全应该用内存数据库为好，当然内存要够大，服务器要足够稳定。不要担心，如果服务器死机了怎么办？内存数据库系统有其特殊的机制。
可以去看看
[url]http://www.garret.ru/~knizhnik/fastd ...
能给一些我们可以实现的解决方法吗？这个方法虽然很好，但是普通的人根本就用不了
不过那个测试的数据太BT了…………………… 作者: wobushiwo     时间: 2005-12-14 00:28
QUOTE:
原帖由 HonestQiao 于 2005-12-13 22:47 发表
如果确实这儿高，完全应该用内存数据库为好，当然内存要够大，服务器要足够稳定。不要担心，如果服务器死机了怎么办？内存数据库系统有其特殊的机制。
可以去看看
[url]http://www.garret.ru/~knizhnik/fastd ...
QUOTE:
FastDB supports transactions, online backup and automatic recovery after system crash. The transaction commit protocol is based on a shadow root pages algorithm, performing atomic update of the database. Recovery can be done very fast, providing high availability for critical applications. Moreover, the elimination of transaction logs improves the total system performance and leads to a more effective usage of system resources.
特殊机制就是使用事务？为了这掉电后能恢复，还得是事务，它的事务应该是做最简单的log记录，不读取等操作
（只有在重启后）总体还应该还算快的吧？
[ 本帖最后由 wobushiwo 于 2005-12-14 00:32 编辑 ] 作者: wobushiwo     时间: 2005-12-14 00:35
QUOTE:
原帖由 litie123 于 2005-12-13 23:29 发表
能说一种cache的解决方法吗？我对cache掌握的不太好
哦，不是说php不可能，但是请放弃PHP，使用JSP/SERVLET等吧，功能强大啊，假如你是在公司做的，多
说服你们boss啊，慢慢转向这吧
最近中小case的几乎被php垄断了，要多推广一下才行作者: ipaddr     时间: 2005-12-14 09:59
QUOTE:
原帖由 wobushiwo 于 2005-12-14 00:35 发表
哦，不是说php不可能，但是请放弃PHP，使用JSP/SERVLET等吧，功能强大啊，假如你是在公司做的，多
说服你们boss啊，慢慢转向这吧
最近中小case的几乎被php垄断了，要多推广一下才行
中小Case本来就是PHP的天下，你说说JSP/Serverlet比PHP强大在哪里？ 作者: koocy     时间: 2005-12-14 10:17
点击量直接统计WEB日志不就可以啦 ！
简单，有效，速度快 ！
PHP做这个简直爽快死了 ！ 作者: wobushiwo     时间: 2005-12-14 11:01
QUOTE:
原帖由 ipaddr 于 2005-12-14 09:59 发表
中小Case本来就是PHP的天下，你说说JSP/Serverlet比PHP强大在哪里？
我也不得不用php....作者: tonera     时间: 2005-12-14 20:16
QUOTE:
原帖由 wobushiwo 于 2005-12-13 18:56 发表
还用啥JSP/SERVLET？不如用PHP算了
有认识在那网站做的程序员的，麻烦通知他们集体去自裁吧...
这话说的好绝。
你做过 多大量的应用？ 作者: 瘦死的骆驼     时间: 2005-12-14 20:45
偷笑ing~~~最近一直在做网站点击量的统计系统.开始想偷懒  从网上down了Ourplus_Counter_0.9_beta,
结果运行3天后服务器cpu干到99.9%   狂吐了300cc后自己写了一个.完全适时统计. 不过还是没有解决那个瓶颈问题:在读页面的时候总会读写数据库.很郁闷.不过运行起来不是很站资源,网站日访问量上万的,感觉不出慢来
个人认为类似的统计系统最好的还是从apache日志入手.不用担心太占资源.不过分析那个东东实在是很挠头的一件事情.
本人也对cache感兴趣,哪位高人给个示范cc先 作者: wobushiwo     时间: 2005-12-14 21:18
tonera 不会在那里做的吧
是的话，照着说的去做吧，娃哈哈
感觉还是有点绝,修改成这样吧
我做的产品最多3人在线,有什么问题吗?
[ 本帖最后由 wobushiwo 于 2005-12-14 21:34 编辑 ] 作者: wobushiwo     时间: 2005-12-14 21:29
QUOTE:
原帖由 koocy 于 2005-12-14 10:17 发表
点击量直接统计WEB日志不就可以啦 ！
简单，有效，速度快 ！
PHP做这个简直爽快死了 ！
怎么做哦？这种形式适合做报表吧，要是要在每一帖里显示点击量，怎么做？
php做这速度快？我还以为是 C 做这个速度快呢 作者: crazysoul     时间: 2005-12-14 21:56
做久了PHP就有点怀念ASP里的APPLICATION对象,一个公共内存变量,做小量级缓存爽得很.SESSION有了,什么时候PHP也能弄个APPLICATION模块 作者: wobushiwo     时间: 2005-12-14 22:04
是的，JSP/SERVLET也是一样轻松实现哦，不用外装啥模块呢
简单，有效，速度快 ！
JSP做这个简直爽快死了 ！ 作者: litie123     时间: 2005-12-14 22:46
QUOTE:
原帖由 wobushiwo 于 2005-12-14 21:29 发表
怎么做哦？这种形式适合做报表吧，要是要在每一帖里显示点击量，怎么做？
php做这速度快？我还以为是 C 做这个速度快呢
分析日志应该是 perl的强项吧？ 作者: HonestQiao     时间: 2005-12-15 00:10
QUOTE:
原帖由 瘦死的骆驼 于 2005-12-14 20:45 发表
偷笑ing~~~最近一直在做网站点击量的统计系统.开始想偷懒  从网上down了Ourplus_Counter_0.9_beta,
结果运行3天后服务器cpu干到99.9%   狂吐了300cc后自己写了一个.完全适时统计. 不过还是没有解决那个瓶颈问题 ...
还是从内存着手好了. 作者: tonera     时间: 2005-12-15 09:38
QUOTE:
原帖由 wobushiwo 于 2005-12-14 21:18 发表
tonera 不会在那里做的吧
是的话，照着说的去做吧，娃哈哈
感觉还是有点绝,修改成这样吧
我做的产品最多3人在线,有什么问题吗?
我不在那儿做。我只想替别人说句公道话。都是做这一行的，何必人人相轻？
你了解别人的业务吗？你了解别人的需求吗？草率地说出这样的话，只能让你得到口舌之快，于问题有什么意义？ 作者: ysixin     时间: 2005-12-15 09:44
QUOTE:
原帖由 wobushiwo 于 2005-12-13 22:33 发表
写入文本其实是一种very bad的做法
假如不是非要实时数据，完全可以cache嘛，或是用（数据库的计数+cache里的数据）还是可以实时的显示的
当然用多了，系统设计也会随着越来越复杂，越来越难控制
你说的cache是？
其实写入文件也算一种cache吧？ 作者: tkmxxg     时间: 2005-12-15 09:44     标题: .
吵得这么热闹,顶一下 作者: wangyih     时间: 2005-12-15 09:56
QUOTE:
原帖由 tonera 于 2005-12-15 09:38 发表
我不在那儿做。我只想替别人说句公道话。都是做这一行的，何必人人相轻？
你了解别人的业务吗？你了解别人的需求吗？草率地说出这样的话，只能让你得到口舌之快，于问题有什么意义？
那家伙的确一项如此，不过当他和你狡辩的时候，可不草率，小心
统计点击数论坛讨论过好几次，没做过论坛具体技术不清楚。 作者: shrui     时间: 2005-12-15 10:31
QUOTE:
原帖由 crazysoul 于 2005-12-14 21:56 发表
做久了PHP就有点怀念ASP里的APPLICATION对象,一个公共内存变量,做小量级缓存爽得很.SESSION有了,什么时候PHP也能弄个APPLICATION模块
IIS也不会有什么好法子处理application, 不过是个大家都能访问的文件
自己弄个表存放公共数据就可以了, 使用频繁就备一份放在内存表里 作者: 瘦死的骆驼     时间: 2005-12-15 10:38
QUOTE:
原帖由 HonestQiao 于 2005-12-15 00:10 发表
还是从内存着手好了.
内存咋灭做的说？偶以前试图做过，在内存里建临时表，然后定时从临时表里面读取数据往数据库里面插
和把数据暂时存在文本里面差不多。当然速度是不可同日而语的。不过和Qiao说的也有差距。Qiao能否开个
新贴详细说明一下呢？ 作者: wobushiwo     时间: 2005-12-15 10:51
哈哈，是我太草率了，原谅我吧
我只是从字面判断/假设他们们实时计算，实时入库，所以BS
不过依然轻率的BS，有问题吗？
[ 本帖最后由 wobushiwo 于 2005-12-15 10:52 编辑 ] 作者: HonestQiao     时间: 2005-12-15 11:12
http://w.yi.org/ftp/FAPM/PHP/php_manual_zh/ref.shmop.html
你看看这里,这个是php的共享内存功能函数.
实际上,自己可以设置一个简单的算法来做的.
设置一个先进先出的队列(FIFO) ,来保存当前访问的帖子的编号,那么php不停的望这个堆栈里面压数据.
而用C/C++来编写一个驻守程序,生成和处理这个队列,同时设置一个标志位,如果队列满了,则置标志位,否则清标志位.
当然,这个只是一个最简单的思路.
源于我们以前做嵌入式产品的时候的经验. 作者: 北京野狼     时间: 2005-12-15 11:54
其实版主的办法不是不行，但是统计点击数，不用如此复杂。
包括 CU都是采用主从数据库，在读帖子时候不希望同时连接两个服务器的数据库。
读帖子时候,update数据库里面的一个字段，而且where 条件肯定是主键，
其实绝对没有select操作更占有内存cpu设置i/o等资源.
不过论坛的确是web里面最耗费数据库的。
_xyz