Dockerのビルドが毎回キャッシュされない

Dockerfileのビルドでnpm installのステップが毎回フルで実行されます。package.jsonは変更していないのにキャッシュが効きません。