擅长:python、mysql、java
<p>嗨@Ilspinheiro很难确定到底发生了什么。简言之,我们并不期望Kedro能够在开箱即用的情况下复制内存,理论上这可能是由<a href="https://kedro.readthedocs.io/en/latest/07_extend_kedro/02_hooks.html" rel="nofollow noreferrer">hooks.py</a>中的某些内容引入的</p>
<p>无论哪种方式,我都可以帮助您减少内存占用:</p>
<ol>
<li>更频繁地持久化数据,减少隐式<code>MemoryDataSets</code>的使用</李>
<li>了解节点中的特定逻辑,您在熊猫中做什么?有没有一种矢量化的方式来做你想做的事情</李>
<li>如果反复使用相同的数据集,请使用<a href="https://kedro.readthedocs.io/en/stable/kedro.io.CachedDataSet.html" rel="nofollow noreferrer">CachedDataSet</a></李>
<li>将管道分成更小的部分,分别运行每个部分。主要是缩小问题范围</李>
</ol>