こんばんは。
改めてソースコードを確認してみると、元データが整数型の場合(16ビットは整数です)、-6dB / -12dB / -18dBは整数型のままビットシフトの演算で処理しています。ご利用のDACはおそらく整数型は24ビットで受けるようになっていて、そうなっているのではないかと思います。
-3dB等はビットシフトでは演算できないので、32ビットの浮動小数点演算で処理しています。ご利用のDACは、この浮動小数点のまま受信できるのでしょうか。そうであれば、TuneBrowserは浮動小数点のまま渡しますし、あるいは別の理由で32ビット整数で渡すような判断をしているのかもしれません。