Там у вас в математике ошибка. Округление происходит в каждом сэмпле, поэтому чем больше сэмплов, тем шума не меньше, а вы считали, что у вас шум делится на количество сэмплов. А с битностью ситуация совсем другая, чем больше битность тем тише шум. в 24 бита округляться будет настолько...