OGP画像はアプリ(このブログ)をビルドする際に生成されているので、つまりビルドするマシンが日本語を表示することができる環境でないといけないわけです。
今回は日本語フォントが使えなかったのが要因だったようなのですが、サーバーにインストールするわけにもいかないので生成する際にウェブフォントを使ってあげたら解決しました。