Google已开源TorchTPU项目，为PyTorch框架提供了原生的张量处理单元(TPU)后端支持。该项目包含PyTorch ATen内核实现、编译缓存优化和分布式训练支持等功能，使用户能够在Google的TPU上直接运行PyTorch模型和操作。
PyTorch被称为现代深度学习的"通用语言"，其独特之处在于兼具研究灵活性和生产可扩展性的双重角色。有观点认为，深度学习框架应采用参考实现与生产实现分离的架构，即拥有用于研究的实现、用于规模化的实现，以及用于验证两者等价性的验证工具。