基于严格的变量控制实验,探究推荐算法与用户态度间的关系。
Recommendation Algorithm Experiment · Audition Research
TRACE
面向算法推荐策展流及其传播效应的可控实验平台
TRACE致力于将推荐机制转化为可控制、可复现、可比较的传播学实验条件。
面向传播学、心理学、信息行为与人机交互研究,帮助您在实验化信息流环境中配置新闻库、推荐机制、标签提示、交互界面与测量任务,以考察算法环境对个体认知、态度、信任、选择判断与行为意向的影响。
基于用户行为或agent-based modeling进行审计,探究推荐算法的黑箱。
平台定位
算法推荐在传播效果研究中不再只是一个黑箱,而是可操纵、可解释、可复用的传播条件,与当前主流的算法审计方法形成互补。
1. 提供算法分发机制的实验路径。算法不再只是平台背景,而是可操纵的传播条件,让研究者能精准介入信息分发环节,考察算法分发环节的效应。
2. 提升算法传播研究的因果识别能力。能够科学估计推荐机制、标签提示及其与用户交互的效应,厘清算法推荐各变量在传播过程中的因果机制。
3. 形成可复用的基础实验平台。可灵活替换内容库、所需推荐模块和测量量表,适配新闻推荐、公共议题、健康传播、政治传播、科学传播和平台治理等多领域研究。
设计思路
· 可控内容池:自主构建推荐内容池,控制主题、来源、立场、篇幅、情绪强度和流行度等内容属性。
· 可控推荐机制:即内容列表由何种推荐逻辑生成。当前支持三类基础推荐机制:社交推荐、流行度推荐和随机推荐。主试可选择已配置的不同推荐算法,对比不同推荐逻辑的效果差异。
· 可控标签提示:即被试浏览内容时看到的推荐依据提示。主试可设置是否呈现推荐逻辑标签,观察外显标签线索的作用。
· 可控交互界面:设置不同推荐列表界面,控制媒体来源、认证标识、时间线、转/评/赞、收藏等界面变量,模拟真实平台互动过程。
· 可控测量任务:自由设计对目标构念的测量。
算法模块
Social Recommendation
社交推荐用于模拟基于社交关系、同伴偏好或群体内选择记录的内容分发机制。该模块适合研究社会线索、关系提示和同伴偏好如何影响用户对推荐内容的接受、信任和评价。
Popularity Recommendation
流行度推荐用于模拟基于内容热度、总体选择倾向或群体关注度的内容分发机制。该模块适合研究热门线索、群体关注和多数人偏好如何影响用户判断。
Random Baseline
随机推荐用于提供基线条件。随机推荐可以为社交推荐和流行度推荐提供参照,也可以可以与无标签、社交标签或热门标签组合,从而帮助研究者判断观察到的效应是否来自特定推荐来源或标签线索。
算法处理
SS 表示社交推荐与社交标签组合。该条件下,推荐列表依据社交偏好信号生成,并向被试呈现社交来源提示,适合检验社交推荐在来源与标签一致时的传播效果。
SN 表示社交推荐与无标签组合。该条件下,推荐列表仍由社交偏好信号生成,但被试不会看到明确的社交来源提示,适合检验社交推荐来源本身的影响。
PP 表示流行度推荐与热门标签组合。该条件下,推荐列表依据流行度或群体关注指标生成,并向被试呈现热门线索,适合检验热度来源与热门标签一致时的影响。
PN 表示流行度推荐与无标签组合。该条件下,推荐列表依据流行度指标生成,但被试不会看到明确的热门提示,适合检验流行度来源本身的影响。
NN 表示随机推荐与无标签组合。该条件提供基线推荐结果,用于估计没有个体化来源、社交来源和热度标签时的用户反应。
NS 表示随机推荐与社交标签组合。该条件下,列表来源为随机生成,但界面呈现社交线索,适合检验社交标签本身是否改变用户判断。
NP 表示随机推荐与热门标签组合。该条件下,列表来源为随机生成,但界面呈现热门线索,适合检验流行度标签本身是否改变用户评价和选择倾向。
平台特色
· 自定义被试列表与新闻池
· 配置算法类型与标签
· 制定实验指导语与多维测量问卷
· 模拟不同推荐平台的交互特征
· 描述性统计与全量数据导出
隐私与脱敏处理
TRACE在实验身份识别上采用最小化信息原则:正式流程仅依赖实验编码与被试号来定位当前主试下的被试记录和实验配置。实验编码用于区分不同主试,被试号用于在该实验编码内区分被试,二者共同构成平台内部的实验身份。
TRACE不要求录入姓名、手机号、证件号、账号等直接身份信息,也不依赖这类隐私信息生成推荐列表、分配实验条件或统计实验结果。主试在平台内维护的是脱敏后的实验编号,而不是可直接识别自然人的个人资料。
若前测或外部量表平台需要收集其他个人信息,主试应在外部数据中自行完成脱敏处理,并在后续分析时仅通过被试号与本平台导出的实验结果进行合并。
研究问题
「算法行为研究」
不同推荐算法如何把关?
「策展流接受研究」
受众如何理解、评价和解释算法所策展的传播信息流?
「传播效果研究」
推荐机制如何影响受众对研究议题的情绪、态度、信任、行为意向?