Policy Change Index-阅读中国,用机器学习预测政策变化

By chinatimeline at 2020-01-05

前段时间大家在分享论文,我也分享一个已经被广泛报道过的研究项目 Policy Change Index 政策变化指数

官方网站 https://policychangeindex.org/

PCI-China

其中PCI-China去年已经被科技媒体广泛报道过了,这个项目是George Mason University的Mercatus Center两名经济学家Julian TszKin Chan和机器学习专家Weifeng Zhong合作的项目,受NVIDA资助。该项目用机器学习阅读中共的官方喉舌[人民日报]自1946年创建以来的所有报纸文字,并且用机器学习技术去检测该报纸在设置政策优先级的方式上的变化,从而生成单一的政策变化指数。目前,该指数以季度为最小单位,每季度更新一次,将来会升级到按月为颗粒度,每月更新一次。具体见发布页面

https://policychangeindex.org/overview-PCI-China.html

我个人认为PCI-China政策变化指数整体上很make sense,且在时间上比我自己阅读新闻获得的感受要早6-12个月,所以应该是很值得长期跟踪。

PCI-Crackdown

相比PCI-China,一个更新但更有意思的是PCI-Crackdown,同样是以人民日报为数据,通过跟8964镇压前后几个月的内容进行对比,用来预测当前香港发生64式镇压的可能性。个人认为其结果高度符合自己对媒体环境的感受。尤其是两个高峰期:8月13日左右外媒拍到深圳体育场军队集结和特朗普喊话不要镇压,10月下旬禁蒙面法之后发生暴力升级等等,以及10月1日前后和12月下旬第一阶段贸易协议临近的缓和期。非常符合直观感受。

https://policychangeindex.org/overview-PCI-Crackdown.html

PCI-Crackdown

PS: PCI所用的互动图插件跟我的时间线用的绘图插件都是一样的 Plotly。

Papers在官网上列出

  • Chan, Julian TszKin and Weifeng Zhong. 2019. “The ‘Value’ of Propaganda: Machine Predictions of Rare Events Based on Text Data,” Yale Journal of International Affairs (forthcoming).
  • Chan, Julian TszKin and Weifeng Zhong. 2019. “Predicting Authoritarian Crackdowns: A Machine Learning Approach,” Mercatus Working Paper (forthcoming).
  • Chan, Julian TszKin and Weifeng Zhong. 2019. “Reading China: Predicting Policy Change with Machine Learning.” AEI Economics Working Paper No. 2018-11 (latest version available here).
  • Chan, Julian TszKin and Weifeng Zhong. 2018. “Policy Change Index: A Simulated Example.” Quantitative Notes, No. 2018-3.

@达摩俱乐部

Change, Index, Policy, 机器, 预测


虽然用机器学习取得的结果跟个人阅读的感受差不多,但是机器相比人类具有以下优势:

第一,能排除个人情绪、日程安排等因素带来的判断起伏,一致性很好。

第二,输出统一参考点的量化数据,而个人在较长时间尺度上的会因为自己的定锚点变化,而判断起伏很大。

第三,机器能始终如一的勤奋,人类要长期保持最佳状态很难。

chinatimeline at 2020-01-05
1

能解释多一些吗?我看不太懂。按我的理解,这个PCI指示政策变化的可能性,但是并没有说明向哪个方向变化是吗?为什么他们不总结出能预测变化方向的关键字呢?

主席 at 2020-01-06
2

政策变化来源既有决(独)策(裁)者的思维模式因素也有外在环境的变化因素。而外在环境——社会变化完全没有办法预测。如经济危机爆发点、柏林墙倒塌、苏联崩溃、阿拉伯之春……

该干嘛继续干 at 2020-01-06
3

@该干嘛继续干 #3 主楼使用的材料是人民日报,当外部环境发生突变时,党国的反应也会在人民日报中体现出来。我同意你的意思,本模型显然不能作为“先知”。鉴于党国的文本体系确实多年稍有变化,且规矩繁琐、等级森严,非常容易总结规律,因此用于评估党国短期的“反应性政策变化”,应该还是很有效果的。

懦夫斯基 at 2020-01-07
4

@该干嘛继续干 #3 越大的组织,响应外部环境变化的速度越慢,政策从研究到最终落实中间有很多商讨、试探、宣传造势等过程,这大概在所有国家都是一样的,之所以有人能够先知先觉,就是他明白这一过程并且能够在政策制定环节的早期获得信息。用人民日报当然是在试探和宣传造势环节去解读政策变化的,所以并不是预测政策变化,而是在政策开始变化的早期就检测到。

@主席 #2 要预测变化的方向,我觉得这个还是得靠人自己去读,机器能检测到口风有变就已经不错了。

大大咧 at 2020-01-07
5

@懦夫斯基 #4 我认为放到任何一个党报,比如纽约时报。或者把美国的几家固定的主流媒体头版内容拿来作类似的分析,都是可以获得同样的效果的。并不是中国特色,或者是因为人民日报风格固定。

大大咧 at 2020-01-07
6

@懦夫斯基 #4 不过因为美国的政策透明度很高,政策的制定讨论都是全社会参与,具体找议员或政府部门都可以要到信息,所以这样的分析可能没有什么价值。但是用在中共这种黑箱操作的列宁政党,就很管用了,毕竟老外不懂人民日报那么多潜规则。

@chinatimeline 虽然图上显示的变化比较早,但是它数据更新的时间往往是上一个季度完了之后再过7、8个星期,所以时效性还是打了折扣。不过相比靠人去读人民日报来判断政策变化,机器当然还是稳定可靠得多。

大大咧 at 2020-01-07
7

@懦夫斯基 #4 可以了解下钱刚在港大开设的一门课,叫生日报,就是查看你生日那一天的报纸,印象最深的是邹思聪的一篇课堂作业

https://medium.com/birthday-paper/1963-%E6%8A%A5%E4%B8%8A%E5%B7%B2-%E6%97%A0-%E6%AF%9B%E4%B8%BB%E5%B8%AD-%E9%92%B1%E9%92%A2%E8%80%81%E5%B8%88%E8%AF%BE%E4%B8%8A%E7%9A%84%E7%94%9F%E6%97%A5%E6%8A%A5%E3%89%92-7d17b60ab3bf

1963:报上已“无”毛主席 — — 钱钢老师课上的生日报【22】

小二 at 2020-01-07
8

其实中共的宣传模式也是很僵化的,座次版面位置篇幅占比都能说明非常多的问题,只是整理工作很枯燥,我很看好这方面的研究,既有意思,也容易出成果发paper讲故事。

小二 at 2020-01-07
9

@小二 #9 @小二 #8 这个生日报的课堂作业不错,是资深新闻工作者教晚辈如何读懂人民日报。这些历史还真的细细的去挖。最近在整理时间线这样粗糙的工作也发现一些规律,很多事件的细节从来没有出现在教科书,另外我们平时在教科书和媒体所看到的历史人物,都是那些已经翻案的,比如刘少奇在历史课本上还能见到,但高岗、陈伯达、康生、再早的博古等人基本上都很罕见,即便后人看得到他们的名字,也对他们在当时的地位和作用完全无知,基本会认为无足轻重的角色。近一点的赵紫阳和胡耀邦就是最好的例子,很多90后根本没听说过这两个人。

chinatimeline at 2020-01-07
10

@小二 #8 看到你分享的文章,我想起来,多年前,墙内也曾经流行过一段时间“生日报”,将寿星生日当天的各大报刊做成合集,作为礼物。据说许多淘宝商家提供这项服务,结果如何,大概很容易想象,商家很快就受到各种限制,其潮流迅速销声匿迹。

懦夫斯基 at 2020-01-08
11

@waliesishabi #13 诉诸人身警告一次。

小二 at 2020-01-08
12

苏莱.曼尼被杀–>北京新禁空令

该干嘛继续干 at 2020-01-08
13

https://policychangeindex.org/pdf/Reading_China.pdf

chinatimeline at 2020-01-08
14

预测政策事件,靠机器?安全不靠谱,看到说会镇压香港就笑了,太好笑了,对于香港最大的处罚就是不干预,如果你是台湾人我鼓励你去香港犯罪只要能撤退就合法你们为什么不去呢?这可能是台湾的年轻一代暴富的最后机会了。香港不干预,以后他们会求着我党干预的。

1200073 at 2020-01-08
15