全同态加密（FHE）允许在不解密的情况下对加密数据进行计算，为数据隐私提供了强力保障，但代价是巨大的计算和内存开销。以往的研究要么从密码学/算法层面优化FHE性能，要么通过硬件加速器提升效率，但这两个方向在很大程度上是独立发展的，未能充分利用硬件能力。本文提出WHET，一种内存中心、架构感知的优化框架，旨在将密码学和算法构造与FHE加速器架构更好地对齐。WHET首先识别出传统FHE构造是造成过大工作集和繁重片外内存流量的主要原因。为此，它提出了三种加速器专用技术：细粒度的系数到槽转换、明文压缩和中间模数提升，通过最小化临时密文和明文加载来减少片上数据占用。在这些技术的基础上，WHET进一步观察到了提升片上内存效率的额外机会，因此引入了轻量级的架构改进，包括专用缓冲区和功能单元扩展。实验表明，WHET在面积效率上相比最先进的FHE加速器实现了1.38-8.74倍的性能提升，并首次实现了亚毫秒级的CKKS自举操作。该工作为FHE的实际部署提供了重要的性能突破。