「罰を与える」なんてとんでもない話です。
もし「業務命令」違反であれば、なんらかの「懲戒処分」を受ける可能性はありますが、命令（明示）されていない時間外の参加は、労働者の自由であり、罰を受ける理由はありません。
所定労働時間（定時）の勤務は、使用者の指揮命令下にあり、拘束時間ですが、終業後に労働者は解放されます。時間外にも拘束するためには、就業規則に時間外労働の規定と、「36協定」を結んだ上で、「業務命令」を発する事が条件です。今回のケースでは、明示された業務命令もないので、罰を受ける必然性がありません。上司の発言で「参加を強要する」ようなら、パワハラにもなります。