Zeig mal ne mediainfo Analyse einer von dir geschnittenen Datei, dann kann man dir vielleicht weiterhelfen.

Und falls du ne 64bit Windows Version hast, achte darauf dass die Bit Versionen zusammenpassen. Also z.B. zu einem 32bit Virtualdub auch ne 32bit x264vfw verwenden.

mfg,
monarc