协同推荐在控制信息质量上的应用

标签：社区 评审 大众 社会问题 老龄化
抓贴一下在Ideafactorychina里面的一些关于铁通推荐的讨论。
王建硕：
 
最近在社区里面尝试了协同推荐的应用，通过"群众的智慧"来促进信息质量，初步成效不错，和大家分享。
要解决的问题：对于自由发布的信息（无论是分类，BBS，Wiki，还是现在"用户生成内容"），信息质量是一个关键问题，审核发布等办法工作量太大，对于非时效性信息（比如豆瓣），可以用鲜花、鸡蛋等定量的方式让最好的信息浮在上面；对于BBS这样的讨论相关的，可以用按最后回复时间倒序排列话题，让最"热"的（不见得是最好的）排在最上面；而对于分类等时效性非常高（1小时内的最重要），审核及时性要求非常高（希望在5分钟内判断），而且帖子的质量只有（发布/删除 ）两种状态的网站，需要在以前的协同推荐基础上有些创新。
我们用了这样一个机制，大家看看有没有需要改进的。
1. 选取社区里面的一部分可信赖的成员成为大众评审。
2. 大众评审对于12个小时以内发布的信息独立的判断是垃圾信息，删除，还是优秀信息，保留
3. 当多于n名大众评审的结论一致（都是好，或者都是坏），按照大众评审的结果处理；出现不一致，版主介入选择。
4. 一致的评审每人可以获得积分。
低于以上设计的几个解释：
1. 不选取所有用户的原因。第一，这个系统的弱点在于，如果任何帐户都可以，同一个多帐户占更多投票权，不合理；第二， Wikipedia和Digg经验表明，贡献内容的永远是少数，少数核心成员贡献的内容，供成百万人使用。我们希望通过奖励核心的人员，得到信息质量很高的效果。
2. 只有12小时内可以评审的原因。越少的可供评审，评审约集中，约有效果。时间过长，超过一个评审选择的几率大大降低 。
3. 独立判断的原因。因为不知道和你同时判断的是那一个人，他的想法，每个人判断的时候为了得到积分，要尝试用最大多数人的想法作为依据，效果更好。
4. 获得积分的原因。对于评审的对于社区的贡献，我们不觉得事项当然的，理所应当的，虽然很多评审是为了社区的质量牺牲自己的时间，我们觉得应该有所奖励，同时，积分区分出和心中的核心，积分越高的评审，将拥有更多的权限。
大家看看这个模型是不是可行？对了，还有一个原则是简单实用。毕竟这不是实验室项目，是每天都有百万访问量的真是场景，实用是主要的考虑。
（不做广告，隐去网址，仅供大家抽象的讨论这个想法）
 
Binghui Yin
 
这个机制很棒。
其中的第三点尤其好。
补充几点，根据我所了解的Google Ads Rater工作，需要一个好的高级管理员（版主）处理发生审核不一致的情况，还有要有一个匿名的共同小平台，当出现不一致的时候，可以让各个审核员互相沟通，最好能够通过沟通来自行达到一致。
关键的一点是，审核员之间必须匿名。
 
Yang CJ:
 
Jianshuo的这个管理模型，类似于"大法官 + 陪审团"模式。
1、大法官有最后的决定权
2、陪审团是民间的、多数人意见代表组成的少数人
3、模式既考虑到了大众声音的平衡，又考虑到了时效性
模式不错的。几个问题：
1、选择"陪审团"，是从活跃成员、意见领袖，还是赞助人圈子中选择？
2、陪审团成员资格是固定不变的，还是每隔一段时间会更替一批人？
3、如果选择固定不变，可能会造成"老龄化"。老龄化的好处，是大家处理问题的方式已经固定、熟练，效率可能会更高；坏处是思维定势，导致社区的主题越来越趋同，也可能会导致资历化，讨论问题不是看论证的内容，而是看谁的资历更老
4、选择陪审团成员固定，还可能带来的一个问题是"利益代言"，有宣判权的就那么几个人，有什么事先找他们，一定会推到头条……
 
王建硕：
 
回答Yang CJ的问题
1、选择"陪审团"，是从活跃成员、意见领袖，还是赞助人圈子中选择？
原则是，社区信任的人。比如初步第一批的加入条件是，铜币在2000个以上的人。在我们社区里面，发帖都是扣铜币的，铜币数目比初始的2000分高的，已经说明绝对高质量的。这个铜币的金融系统，是另外的话题，不展开讲了。还有就是有精华贴的用户，还有其他申请并且给版主"印象"是好人的用户。好在最初的选择不是绝对的，如果有坏人进来，多次选择和其他人不一致会立刻取消资格。
2、陪审团成员资格是固定不变的，还是每隔一段时间会更替一批人？
成功的和活跃的陪审团成员积分会越来越高，有评审资格但是不评审的，积分不变或减少，我们会保持一个比例，使好的陪审团成员留下，不活跃或者不好的淘汰。经过一段时间，积累出来一批真正代表社区的陪审团成员，对于社区也是一笔财富。
3、如果选择固定不变，可能会造成"老龄化"。
三的老龄化可能性会出现，好在这不是一个话题讨论性质的BBS，而是有着明确的"好/坏"的规则。规则相对稳定。不过你说的老龄化问题的确要引起注意，这个等出现的时候再想办法。
4.选择陪审团成员固定，还可能带来的一个问题是"利益代言"
这个还不是特别担心，因为陪审团的人太多了（上千个），多到被自己的代言人评审到的机会，可能跟中彩票差不多了。
回答 Zhou Hao的问题：
Q: "审核及时性要求非常高（希望在5分钟内判断）"怎么保证？
不能保证。只能说，这是一个观察到的值，理论上，如果评审足够够多，足够积极，这是有可能的。我们现在才4天，已经比较接近了，因为大家有很多人都在盯着同一个论坛。但是，这是没有保证的。
因为有12个小时的限制，未被评审的帖子相对于评审来说比较少，是稀缺资源（我们可以调节12小时到2个小时，是它更加稀缺）。有一个经济学的原理，哪里有更容易获取的资源，哪里就有人去追逐。比如深夜，对于想获得积分的评审，是一个好时机，如果在深夜评审，获得积分的可能性更大。那么就会平衡更多的人在深夜评审。。。。总的说来，大概就是这么个意思。
回答JimmyHuang ：
Q：还有一个问题，如果12个小时以后没有评价的内容怎么办？放在那里随他去么？:D
对于评审的数量，我们没有公式，靠感觉。我们可以看这个数字：一个新的帖子平均多长时间被评审。通过这个数字，我们大概的知道评审太多了，还是太少了。这不是一个数学问题，而是社会问题，或者一个感觉问题。
12个小时没有人反对，就是好的信息喽。
Binghui，我们最终的设计还是简单，再简单。我有种感觉，工程问题越复杂的解决方案越精确，社会问题越简单的解决方案越实用，不知对否。
Young：
(1) 如何保留这些评审员的积极性? 当然积分是一种措施
积分。但同时是成就感。
(2) 权利如何保证不被滥用?
发现一个，取消资格和积分一个。在这个涉及诚信的事情上，不用和我讲道理，简单粗暴，最容易震慑坏人。
(3) 如何降低评审员的随意性，就是如何合理安排这些人的时间?
社区成员的时间不需要安排，本来现在的"用户"主导的社区都不是结构化的，就像Isaac说的，当海水涌上沙滩，自然呈现出美丽的图案。每个水珠怎么摆，不是我们需要设计的，又不是北京的亚运会开幕式，我们只要设计沙滩就好了。我的意思就是说，设计好系统，就不用设计每个玩家了。
Zola,　对于你的观点，我想加些补充：
1. 制度应当能保证每一个故意SPAM或作弊的人都不可能成为大众评审，
我来补充，不是说不能成为，而是不能长期成为。事先有罪假设，通过不断升级的严格审查方式，这是美国边境检查干的，劳民伤财。现假设人是好的，加入送一些，发现问题，立刻纠正。
2. 制度应当能保证每一个独立判断、认真付出的人都能成为大众评审，
不需要。社区毕竟是1000人的辛勤工作（评审）带来一百万人的幸福生活（干净整洁的信息）。不需要每个人都来当警察。不是警察不代表这不是好人。
3. 制度应当能保证每一个认真付出的大众评审都能成为版主，
不需要。原因同上。
4. 制度应当能保证每一个认真付出的版主都能有回报（积分），
鼓励"认真付出的代表"，也就是最好的有限数量的人，"每一个"难度太大，每个人都好了，等于不好。
5. 制度应当能保证每一个滥用权力的人都能得到惩办。
同上，我喜欢"绝大多数"这个词，因为绝大多数的滥用被惩戒的成本远远低于"每一个"，没有任何一个社会问题可以解决到"每一个"的层面。
好了，回答问题结束。因为是学术讨论，观点比较直接，为了简洁，语言也比较没有顾及，希望大家扔砖头过来，帮助我们更好的完善系统，我也会把更新的心得分享给大家。
Yang CJ：
 
非常赞同Jianshuo的两个观点，1)我们设计的是沙滩，不设计每粒水珠的摆放；2)但是原则、底线不可违，如有触底，马上公开惩罚。
 
我挺喜欢ideafactorychina的气氛。大家还是认真的读，认真的思考，并且认真的回复的。这一点在现在的互联网里面很难得。