Debido a que es mejor descargar el vídeo y verlo completo y si queremos adelantar , retroceder , pausar , continuar , sin que vuelva a cargar todo el vídeo en cache.
Puedes intentar , utilizar algo como un Gestor de Descarga como
A ver si alguno , soporta resumir la descarga o para dividirla en varios segmentos por lo general , la mayoría de los servidores soporta 8 ó 16 segmentaciones por archivo para así descargar mas rápido un archivo