Добрый день! А попробуйте выгрузить из Рипера видео в максимальном качестве, а потом уже пережать сторонними программами (типа HandBrake). В Рипере выберите формат MKV и видео FFV1 (lossless).
По поводу настроек качества в самом Жнеце вот тут была ценная информация (в 18 сообщении)...