Ae

一例ですが、
エフェクトは、「セルパターン」で型を設定して、下記の組み合わせで作成してみました。

・セルパターン
・チャンネルコンバイナー
・ラフエッジ
・最大／最小
・ドロップシャドウ
・単色合成
・トランスフォーム

マスクは下図になります。
セルパターンと単色合成は、タイムラインのエフェクト名の下部に「コンポジションオプション」があるので、これの「＋」ボタンを押します。

ちょっと難しいかもしれませんが、質問があれば返信してください。