교차 엔트로피란, 쉽게 말하면, 정확한 값에 대한 예측 정도가 얼마나 비정확한가, 얼마나 비효율적인가를 의미한다. 정의는 다음과 같다.

잡음 제거와 비슷한 효과를 볼 수 있도록 하는 과정으로, 변형된 데이터들의 대표값들만 취해 성능을 높이는 과정이다.

정규화(Normalization)를 하면, 데이터들의 특성이 모두 비슷해지기 때문에, dropout을 할 필요가 없어진다고 한다.

GPU memory 사이즈에 맞춰서 조절