1 Matching Annotations
  1. Nov 2022
  2. mrxiao.net mrxiao.net
    理解Python内建对象共享内存的Copy-On-Write: 记一次排查PyTorch DataLoader内存泄漏问题的经过 - MrXiao
    1
    1. sherlockliao 10 Nov 2022
      在基于fork的多进程实现中，每次fork会让子进程得到不同的虚拟空间地址，但此时其映射的还是父进程的物理内存空间，可以让子进程高效率读取父进程的memory数据。一旦子进程有写操作就会触发操作系统的copy-on-write异常，系统会拷贝出另一块空间供子进程使用。

      什么情况下会触发 copy-on-write?

      dataloader copy-on-write
    Visit annotations in context

    Tags

    Annotators

    URL

    mrxiao.net/do-not-use-built-in-pyobjects-in-python-multiprocessing.html