样本扩展阅读—管窥美国调查业之二

管窥美国调查业之二
之所以对美国调查业的研究选择民意测验（调查），是因为民意测验是最早的调查，也是调查发展过程中起到关键作用的领域。对美国民意测验历史的研究与反思，对正在成长的中国调查业具有一定的借鉴意义。
一、公众需求造就调查业的历史
说到美国调查业的发展，一般而言都是追溯到1824年7月24日Harrisburg Pennsylvanian 和Raleigh Star newspaper公布的总统竞选预测结果。这个媒介事件是调查业最早的故事。但是理解这个故事，首先要讲到更早时候的美国政治。
实际上，在十八世纪，美国出现了类似普查的调查书籍，记录谁投票和怎么投票（英国苏格兰的The Book of Glenbuchat在1696年就是出版最早的此类调查书籍），这类书籍现在主要用于家庭史研究领域和部分政治研究领域，调查业一直不以此为起点。
但是在Jefferson政府期间（1801－1809），开始了常规性的党内投票者倾向清点活动（canvassing of voters），只问投票者的倾向（个人基本变量和态度等问题没有包括在内），应该作为早期民意测验的起点。在十九世纪初，上述党内投票者倾向清点活动由自愿者群体在全国范围内展开，逐渐发展成规模。而1824年著名的宾夕法尼亚调查正是在这种氛围中产生的。
由于民主党和共和党都在各自进行党内投票的内部清点工作，都不可能了解对手的情况，因此，作为媒介的报纸希望在总统选举这个民众关注的话题上进行更深入、更广泛的报道，因此才促成1824年的对调查业而言的“历史性”事件的产生。这个调查的产生是美国政治需求与媒介应对受众需求相结合的产物。
我们仔细回顾一下这个调查的历史与基本结论。1824年7月24日，Harrisburg Pennsylvanian 和Raleigh Star newspaper公布了总统竞选预测结果。报纸调查方在（Delaware）特拉华州的Wilmington市对公众进行了调查，问他们最喜爱的总统候选人。调查结果显示：军队英雄Andrew Jackson获得70％的选票，政府部长John Quincy Adams获得23％的选票，Henry Clay和William Crawford分别获得4％和2％的选票。在公布调查结果时，报纸评论说这个调查是“无偏见的结果”，是19世纪最诚实的结果。虽然没有明确说明什么是偏见的结果，但是已经可以清楚看到政党内的大规模投票倾向清点工作成为靶子，而本调查的合理性也由此体现出来。实际上，这个评价对调查业的基本的理念有了最基本的诠释——第三方、无偏见、诚实。
该调查显然是预测Jackson会获得多数选票，赢得选举，结果是Jackson在大众选择中确实击败了他最接近的对手Adams，但是赢得大众票最多的并不一定最后能够赢得选举（美国是选举人票制），Jackson最后败给了John Quincy Adams。但是这丝毫没有降低人们对“诚实”的预测结果的兴趣。
Harrisburg Pennsylvanian这类调查被称为（“straw poll”） “草根调查”（相对于后期建立在科学抽样推断基础上的现代民意调查）。1824年的这次“草根调查”产生了重要的影响，4年后，除了两个州之外，美国各州都有了关于总统竞选的公共声音。民意调查被理解为一种民主活动，客观地反映民意。之后的一些年，民意测验同时成为新闻记者的一个重要的工具，使得他们不象过去那样单纯靠访问政治人物来理解与解说政治，而是增加了更多的渠道与方法。从影响角度讲，这次标志性的“草根调查”不仅被理解为“民意调查”（包括市场调查、社会调查）的开端，同时也是美国民主的一部分，还为媒介分析各种社会、政治问题提供了新的方法与思路。
二、游戏式“草根调查”历程
“草根调查”采用的是非概率抽样，在随后的100年里，“草根调查”只是城市中的一种游戏，随着“公众声音”（调查结果）在美国总统竞选中的关注程度的增加，无论是媒介，还是政府都希望应用这种方法来了解更多的领域。
在此期间，有数百家报纸和杂志都卷入其中，并试图在这场游戏中获胜。
报纸媒体既是最早的“草根调查”的设计与实施者，同时也在这场游戏式活动中担任了重要的角色，在1824－1899年间，有数百家报纸参与了总统竞选的民意调查，他们既是调查的设计者，又是调查的执行者，同时也是调查的分析者，也许正是这个复合的角色，使得报纸在探索调查方式、方法上有很多的兴趣，并创出许多新的名词。1883年，波士顿的Globe报纸试图提高报告选举结果的速度，在不同的教区收集资料。1888年，“黑马”一词出现的Boston Journal上，描述不被看好的候选人迅速崛起的现象，将马的种族词汇用于对竞选的观察和候选人的观察。1896年，芝加哥报进行了McKinley-Bryan竞选调查，花费60000美元，采用邮寄的方法对芝加哥地区的选民和和中东部州的选民，回收了25万张，预测McKinley获胜，在芝加哥预测值与实际值只有0.04%的差异，但是芝加哥以外的地区预测都失败了。
到20世纪三十年代为止，众多的报纸介入到民意测验领域，主要包括Hearst Newspapers, New York Herald, Cincinnati Enquirer, Columbus Dispatch, Chicago Tribune, Omaha World-Herald and the Des Moines Tribune等。
最早介入这个领域的杂志是1912年的Farm Journal，其关注的区域是地区性的和宗教性的，更多的议题不是选举而是政治态度。在一战期间，他们曾经进行了美国是否应该参战的调查。1916年，Columbus Dispatch在俄亥俄开始系统的民意调查，到1920年，应用地理区位和配额抽样的方法进行抽样调查，其配额的变量包括：政党、性别、宗教、民族和经济状况等。同年，著名的周刊杂志文学文摘（Literary Digest，后面会详细介绍它的故事）第一次进行美国总统竞选预测的民意调查。
政府、政党、学者和其他社会组织在这场有益的游戏中起到了非常重要的作用。1850年，当年美国人口普查的负责人J.D.B. DeBow运用随机样本的概念，抽取了23个州，分析了婚姻、入学和福利的不平等问题；十九世纪70年代，社会统计学家Carroll D. Wright进行了最早的社会调查，纽约慈善组织的负责人Robert DeForest对房地产市场进行了有影响力的调查；1892年，民主党全国委员会花费2.5亿美元在全国各地散发宣传册、写信、并进行演讲，而共和党在1896年花费3.5亿美元宣传Richard Jensen所著的《民意》一书，其宣传攻势之强“前无古人”。在Robert DeForest的建议下，Margaret Olivia Sage在1907年，建立了以其丈夫名字命名的著名的Russel Sage基金会，推动社会调查的发展，到1913年，Russel Sage基金会图书馆及其调查机构共收集到140多种城市和农村的调查；第一次世界大战期间，心理学家在征兵工作中进行了智力和适应性测试以利于人尽其用，问题设计的技巧得到很大改善，并且通过统计分析的方法分析了人们的行为模式；1920年，Carnegie Corporation和Rockefellers基金会共同建立了Wesley Mitchell’s National Bureau of Economic Research，从事经济景气研究，在1923年，他们又建立了Charles Merriam’s Social Science Research Council(SSRC)；1916年建立的Institute for Government Research和1922年建立的the Institute for Economics在1927合并为Brookings Institution，专门收集客观的经济数据。
调查在其他领域的发展在二十世纪以后呈现出蓬勃的趋势，二十世纪二十年代，广告机构开始消费者态度研究；二十世纪三十年代，媒介研究机构、政府机构和学术研究机构改进了抽样技术，正式采用配额抽样方法；1932年，心理学家、媒介、广告与市场研究专家Henry Ling建立了第一个现代民意调查机构the Psychological Barometer（心理晴雨表），在众多的领域为心理学会提供公众态度调查，Ling的调查机构采用的资料收集方法是入户，取代邮寄，消除了无回答的困扰；同样是1932年，Mrs. Alex Miller作为民主党的候选人竞选依阿华州长，他的继子，正在攻读博士学位的George H. Gallup正在改进公众调查的抽样技术，给予她许多帮助，结果当Mrs. Alex Miller竞选获胜的时候，George H. Gallup开始从事民意调查事业。
三、在质疑声中发展出的科学方法
一个广为流传的调查逸事说明了公众对调查的质疑与不信任，在一次在普林斯顿的聚会上，一位女性问George Gallup, Sr.：“我为什么没有被调查过”，George Gallup, Sr.解释到：“你被调查的可能性就向人被雷击的可能性一样。”那位女士说：“但是我确实曾经被雷击过呀。”
这个故事发生在一次著名的失败预测的案例之后，我们需要回顾一下这次具有决定性的意义的调查方法的较量。在美国，由于民意调查很长时间是与政治密不可分的，尤其是选举政治的需求，因此公众将目光集中在选举预测的结果上，结果决定可信度是20世纪早期的调查观。
1920、1924、1928、1932年，美国文学文摘杂志采用大样本准确地预测了美国总统竞选的结果，样本量达到200万人（而现在的调查大约在1500或者更少的人）。在当时，多数美国人认为他们能够成功地继续预测下去，也愿意相信他们的结果。但是当时，他们的样本选择具有随意性，而不是随机性，使得其悲剧终于在1936年爆发。
在1936年，文摘杂志预测阿拉法.兰登战胜富兰克林.罗斯福，但是其预测失败了，因为他们没有意识到，他们的样本量太大了，同时没有关注科学性。
实际的结果是罗斯福总统轻松地获得48个洲的46洲的选票，并获得民众63％的支持率，使得兰登成为美国总统竞选史上最差的记录之一。当罗斯福总统获胜之后，文摘杂志只能拼命地对他的读者解释他们产生错误的原因，但是于事无补，不仅文摘杂志以后再也没有做民意调查，而且杂志也于第二年倒闭。
文学文摘杂志的调查方法是一种想当然的方法观，即“样本量越大，调查结果越准确”（即使现在也有许多人这么认为）。文摘杂志主要是通过邮寄回收方式收集资料，而邮寄的地址是通过汽车牌照登记和电话登记记录来获得的，从而产生样本偏差。
幸运的是，现代的民意调查者汲取了文摘杂志的教训，随机抽样、有代表性的样本的观念成为现代民意调查的基础。
在第一次“草根调查”110年后的1936年，George Gallup才第一次用随机抽样方法进行全国的调查。1935年，George H. Gallup，Archibald Crossley and Elmo Roper推出现代民意调查系统，他们不仅预测总统竞选，同时关注更多的方面，他们成功地预测了富兰克林.罗斯福在1936年的选举中获胜。Gallup poll的结果登在报纸上，而Roper（the Fortune Poll的奠基人）则在Fortune magazine发布其结果。1936年，Gallup、Crossley、Roper都预测罗斯福将当选总统，他们的预测结果分别是：55.7%、53.8%、61.7%，实际的结果是62.5%。
1936年是美国调查史上极为重要的一年，因为就在这一年，文学文摘杂志预测兰登将获胜，使得“草根调查”声誉遭到致命的打击，而同时以Gallup、Crossley、Roper为代表的现代意义上的科学调查方式得以确立自己的地位。他们只调查2000－3000个样本，却得出了比原来更准确的结论。
1936年－1944年，Gallup Poll、 Elmo Roper建立的Fortune survey和Crossley建立的Crossley Poll都成功地预测了美国总统的竞选，但是“科学调查”也不是一帆风顺的，1948年，这三个最著名的调查机构Roper, Crossley, and Gallup都公布了相同的调查结果，预测：杜威将战胜杜鲁门成为美国总统。这个结果在选举一个月之前公布，他们对调查结果过于自信，认为不需要在做进一步的调查了。1948年10月，Fortune杂志和Roper's poll写道：“在Roper's poll最近几个月的总统竞选调查中，有充足的证据显示杜威将成为美国总统，Fortune杂志和Roper先生决定不再为正在进行的总统选举进行进一步的民意调查。”但是杜鲁门最后在这次选举中胜出，而报纸由于非常相信杜鲁门一定是输家，在选举结果即将公布时就在报纸上登出著名的错误新闻“杜威战胜杜鲁门”。当然这次选举预测的失败使得这三家调查机构陷入困境，他们化了多年的时间才使得民众重新相信民意调查。调查的可靠性成为制约行业发展的重要因素。
自此之后，历次美国总统竞选的民意测验都准确地预测了结果。
四、验证基础上的接受与普及应用
在美国民意调查史上的商业性调查机构的先驱主要是1935的Gallup Poll，1936年Elmo Roper建立的Fortune survey和Crossley建立的Crossley Poll，1956年Harris Survey建立。
非赢利性调查组织包括：1940年建立的普林斯顿民意调查研究所（Princeton Office of Public Opinion Research），1941年建立的全国民意调查中心（the National Opinion Research Center），1968年建立的全国公众调查委员会（National Council of Public Polls）
二十世纪四十年代，媒介支持或者建立的调查机构纷纷建立，包括：Joe Belden’s Texas Poll (1940), Mervin Field’s California Poll (1947), the Des Moines Register Iowa Poll (1943) and the Minneapolis Tribune’s Minnesota Poll (1944)。
1940年，罗斯福总统运用调查机构收集到的民意进行公共决策。1960年，肯尼迪总统在竞选过程中运用民意调查。
约翰.肯尼迪是第一个将民意测验作为其竞选策略基础的美国总统候选人。他在1959－60年总统竞选过程中，启用Louis Harris作为他的民意调查顾问，帮助制定选举内容与策略。肯尼迪将大量的议题纳入民意测验的框架中，了解公众的观点和意见。他运用民意测验的结构评估自己优势与差距，找寻他的支持者、找寻公众关心的话题，并以此制定其选举策略与内容。
在Louis Harris帮助下，肯尼迪在各个洲找寻最重要的政治问题，并评估其是否可以在这些主要问题上有所作为。肯尼迪应用民意测验的方法来确定，选谁作为副总统候选人搭档能够取得最好的效果：用什么方法、在什么问题上可以反击尼克松而赢得公众；用什么样的策略可以更加成功。在一次调查中，肯尼迪发现美国只有30%家庭的孩子上大学，而80％的家庭都希望孩子上大学。所以，在全国的选战中，肯尼迪一直将教育作为向公众集中传达一个基本的观点，他强调教育是最基本的问题，他要改善孩子们的受教育机会，取得了显著的效果。由于肯尼迪是罗马天主教徒，而许多新教徒由于这个原因不支持他，因此，肯尼迪还是运用民意调查的方法来规划他的竞选路线，最后他决定去30个洲，这30个洲对他比较有利。而麦克马拉曼更成为第一位出身于市场调查的福特公司总裁和后来的美国国防部部长。1976年，卡特任用民意调查专家Patrick Cadell作为其竞选顾问，当卡特总统当选后，Patrick Cadell走向前台，成为进入白宫核心圈的第一个民意调查专家。现在所有的总统候选人竞选班底中都有民意测验的专家。
新闻界与媒介在二十世纪60年代又一次广泛介入民意调查，这次不再是游戏式的“草根调查”，而是科学的民意调查。CBS/New York Times, NBC/Associated Press. ABC/Harris, the Washington Post and the Los Angeles Times纷纷建立调查机构。1967年，CBS新闻介绍了调查时，被访者需要回答他们投票意向的同时，还要回答一些自然变量（人口统计学变量），1972年，CBS调查中加入了情绪与动机的调查。到七十年代中期，由于美国90％以上的家庭拥有电话，民意调查的方法转向了电话调查，可以在电话调查中心控制室，更准确与有效地调查。1972年，Amitai Etzioni’s MINERVA system增加了调查研究的能力，它可以召集30个人在普通家庭电话旁参加讨论会议。民意调查实际上在二十世纪七十年代得到大的发展，由于越战和水门事件，新闻界不再相信政治人物自己做的民意调查结果，新闻机构建立了自己的调查系统。
什么都不会是一帆风顺的，调查业也不例外，美国调查业的发展经历了游戏式的“好玩”，到追求预测的准确性，经历了两次重大的失败后，脱颖而出，成为被普遍应用和广泛接受的研究社会经济现象的重要机构。近年来，美国调查业稳步发展，现在美国调查业的市场规模从1999年5.2亿美元，到2003年实现营业收入6.5亿美元。
参考文献：
Jean Marie Hamilton ,A Primer on Polls:How they work. The history of polls. How a magazine went bankrupt over a poll. Amusing anecdotes about polls. Can you trust a Cosmo or Playboy poll? The accuracy of polls. And many other facts.
William R. Hamilton，Political Polling: From The Beginning To The Center of American Election Campaigns ,Reprinted from Campaigns and Elections American Style, Westview Press, 1995
Olivier Zunz,Why American Century，the University of Chicago Press,1998.
Polling Agencies (like Gallup, Harris, Zogby, Pew Research, and Rasmussen Reports)；Media Groups (like ABC, CBS, NBC, CNN, The New York Times, The Wall Street Journal, The Washington Post, The LA Times, Fox News, Time magazine, and Newsweek magazine)； and Universities (such as Quinnipiac, University of Connecticut, Marist, Arizona State University, the University of Michigan and the University of Massachusetts)
Gallup Organization Inc
History of Public Opinion Research
http://www.aapor.org/
http://www.cwrl.utexas.edu/~tonya/309m/class/paper4/bowser/opinpoll.htm
http://www.gallup.com/
http://www.louisharris.com/
http://www.norc.uchicago.edu/
www.portraitofamerica.com
http://www.ropercenter.uconn.edu/
http://www.roper.com/
http://www.umich.edu/~nes/nesguide/nesguide.htm
www.voter.com