CharacterMovementコンポーネントの「Jump Z Velocity」「Gravity Scale」の値を動的変更することでやりたいことができるかと思います。
・Jump Z Velocity → ジャンプしたときのZ軸方向の速度
・Gravity Scale ⇒ 重力加速度の値（ただし値はスケール値なのでデフォルトが１）

このMovementコンポーネントにはデフォルトでいろいろな機能がすでにあったりします
（Fly時の値など）
後はこれをゲームに合わせて設定するかこれを継承してゲーム専用のMovementコンポーネントを作ることでいろいろやりたいことを実装していきます

Gravity Scaleを軽くしてみたりして、たしかにふわっと軽くはなったのですが、やりたいこと少し違いました。。

さらに具体例（Unityで制作してるもの）を提示させて頂くと、重力を考慮した多段ジャンプを実装したいのです。
上昇する時のみジャンプ加速度を足し、下降するタイミングでジャンプすると加速度が減衰するようなところにゲーム性を見出していたので。。
ただ、UE4でやろうとすると空中ジャンプするにしても、JumpMaxCountを増やせばどうしても重力を無視してしまうようで
そもそもCharacterMovementに対してZ軸にだけAddForceをかけても意味は無いのでしょうか？

AddForceはSimulatePhysicsが有効になっているものでないと動作しません。
使いたいのであればキャラのコリジョンのSimulatePhysicsを有効にする必要があります。

他のやり方で落下中に落ちる速度を緩やかにしてみる処理をかなりざっくり作ってみました。
（ただし設計面を考慮していないのであまりよくはない処理、あくまで検証用）
FirstPersonCharacterのBPで作成しています。 

直接Velocityを触るやり方があったんですね！
いろいろ試行錯誤してみて、下降時に基準となる加速度を引くというやり方をやってみたら目的の動作になりました。
おかげさまで達成感でいっぱいです、ありがとうございます。