Хм... не совсем понятно зачем вы сначала использовали Хилисофт, когда Виртуал Даб открывает MPEG файл нормально.
Закидывайте ваш файл в Виртуал ( сокращенно скажем VDM), ждете пока программа проиндексирует файл и загрузит картинку. Затем ставите ползунком место которое хотите вырезать ( задаете начало и конец фрагмента с помощью кавычек <_ и _> ) Затем в видео закладке оставляете полная обработка ( правильно, так как у нас должно быть перекодирование в avi), ну и затем вам надо выбрать кодек. В той же закладке Видео нажимаем Компресия или Ctrl+P , выбираем кодек Xvid... можно зайти в его конфигурацию ( справа кнопка) и на первый раз не особо вдаваясь в набор профайлов убедиться, что там выбран Простой Проход типа Advanced Simple @3 ( не помню точно).
Затем идем файл-> сохранить как Avi и выбираем место на компе в папке или на десктопе.