Transformer 文本翻译项目
基本信息
担任角色
-
公司/背景
个人/学习项目
开始时间
2025.12
结束时间
2026.1
项目描述
为掌握 Transformer 核心框架
手工实现英法文本翻译模型
未调用 PyTorch 原生 Transformer 相关 API
自主定义多头自注意力
多头交叉注意力及前馈全连接核心层
引入层归一化与残差连接
完成编码器-解码器架构搭建
基于交叉熵损失实现损失计算与反向传播。
技术栈
Transformer
PyTorch
多头自注意力
多头交叉注意力
前馈全连接
层归一化
残差连接
编码器-解码器
交叉熵损失
BLEU-4
亮点
实现翻译推理功能
绘制自注意力和交叉注意力热力图
使用 BLEU-4 指标评估翻译质量