众包系统中的在线成本敏感型决策方法

众包系统中的在线成本敏感型决策方法(中文13000字,英文PDF)
摘要
众包通过利用人类智能为许多挑战性问题创造了各种机会。例如，图像标记、自然语言处理和基于语义的信息检索等应用可以利用基于人群的人类计算来补充现有的计算算法。很自然地，众包中的人力工作者根据他们的知识、经验和看法来解决问题。因此，不清楚哪些问题可以通过众包更好地解决，而不是单纯使用传统的基于机器的方法来解决。因此，需要一种成本敏感的定量分析方法。
在本文中，我们设计和实施了众包的成本敏感方法。我们在线估算人群采购工作的利润，从而终止那些没有未来利润的问题。提出了两种模型来估计众包工作的利润，即线性模型和广义非线性模型。使用这些模型，根据已收到的答案计算为特定查询获得新答案的预期收益。如果获得更多答案的边际预期利润不是正值，则问题会实时终止。我们扩展了在HIT中发布一批问题的方法。我们使用AMT上的两个现实世界作业来评估我们提出的方法的有效性。实验结果表明，我们提出的方法胜过所有最先进的方法。