智能电视作为互联网连接的电视设备，广泛支持视频流媒体应用和网页浏览。用户通过屏幕上的虚拟键盘进行信息输入，例如密码、信用卡号等敏感数据。这类键盘依赖遥控器的方向键选择字符，而不同操作（如按键选择、光标移动、删除字符）会产生不同的声音。本文针对苹果和三星两款主流智能电视，开发并展示了一种新型声学侧信道攻击方法，能够从电视发出的音频中提取用户的键盘输入。该方法利用不同操作的声音差异，推断出每次选择之间的光标移动次数，从而限制可能的输入序列。攻击者通过远程或本地录音获取电视音频，无需物理接触设备。实验表明，在合理猜测次数（100次）内，该攻击能成功恢复最多33.33%的信用卡信息（如卡号）和60.19%的常见密码。该漏洞已被三星官方确认，凸显了智能电视在保护敏感数据方面的不足。研究贡献包括：(1) 首次系统性地研究智能电视声学键盘泄漏问题；(2) 提出基于音频信号处理的攻击流程；(3) 量化攻击成功率并验证其现实威胁。适合安全研究人员、智能电视厂商及关注隐私保护的用户阅读。

该论文研究了语音表示学习模型在声学侧信道攻击（ASCA）中的应用，特别是针对键盘敲击声的识别。作者指出，尽管ASCA受到关注，但现代语音表示模型（如自监督学习模型）在这一场景下的泛化能力尚未被充分探索。为此，论文引入了名为KEYAC的新数据集，该数据集包含在标准设置和VoIP编解码器设置下录制的键盘敲击声音。研究者评估了六种不同的表示学习模型（如Wav2Vec2、HuBERT等）在零样本和部分微调设置下的表现，使用全连接和卷积网络作为分类器。结果表明，部分微调能提升性能，但所有模型在跨VoIP编解码器（如G.711、Opus等）时泛化能力不足。作者推测这一局限性源于传统微调架构难以建模非线性特征交互。为解决该问题，论文引入了Kolmogorov-Arnold网络（KAN）进行微调，KAN通过学习非线性函数组合来增强特征交互建模。实验证实，基于KAN的微调在KEYAC数据集上持续优于基线方法，并达到了新的最先进水平。该研究为声学侧信道攻击的防御提供了新视角，即攻击者可能利用先进语音模型提升攻击效果，同时为安全社区开发针对性的检测与防护措施提供了依据。

该论文针对键盘声学侧信道攻击（ASCA）中存在的数据集规模小、用户/键盘/环境多样性不足等问题，提出了一个全新的多维度数据集HEAR，涵盖53名参与者使用37种笔记本电脑键盘的录音，包括三种采集场景：外接麦克风、设备内置麦克风（无网络噪声）以及基于VoIP的流式传输。基于HEAR，论文建立了ASCA基准测试，评估了传统特征和预训练表征（包括单模态和多模态）。为解决跨键盘泛化问题，作者提出了DECKER框架，通过键盘签名归一化、域对抗解耦、跨键盘对比对齐和声学风格随机化四个阶段学习域不变嵌入，并利用基于LLM的后处理层进行句子级推理以增强识别。实验表明，DECKER在跨键盘和跨用户场景下显著提升了击键识别准确率，语言模型校正进一步带来增益。研究结果证实ASCA在多样化用户、设备和噪声环境中仍具有实际威胁。