動画を5px×5pxで 書き出したい

MPEG compression works on blocks of pixels. Those blocks must be at least 4 X 4 pixels because that is the minimum number of pixels that must be sampled to compress the image. Odd number frame sizes like 5 X 5 pixels are not possible using any video format that compresses color.  If you are trying to create a 5 X 5 pixel animated image then MPEG, MP4, H.264 or any consumer video format is the wrong choice.

おそらく、コーデックの制限ではないかと思います。

H.264は水平・垂直とも16の倍数の画素数でないと扱えませんので（それ以外の場合、内部的に16の倍数で扱った上で不要部分をクロップしているようです）、最低でも16画素x16画素になってしまうのだと思います。