代码如下
f[x_, y_] := Sqrt[(a - x)^2 + y^2];
Integrate[r f[r*Cos[t], r*Sin[t]], {t, 0, Pi/2}, {r, 0, b}]

目测是在分段讨论上出了问题。当然了，被积函数实际上是光滑的，但是Integrate大概在判断的时候出现了困难。（它应该是在复数域上讨论的。） 总之，那就先算不定积分：
f[x_, y_] := Sqrt[(a - x)^2 + y^2];
int = Integrate[r*f[r*Cos[t], r*Sin[t]], t, r];
definiteint = Simplify[Subtract @@
(Subtract @@ (int /. {{t -> 2*Pi}, {t -> 0}}) /.
{{r -> b}, {r -> 0}})]
(*2/9 Sqrt[(a-b)^2] ((a^2+7 b^2) EllipticE[-((4 a b)/(a-b)^2)]-(a+b)^2 EllipticK[-((4 a \
b)/(a-b)^2)])*)
验证：
Block[{a = RandomReal[{-10, 10}, WorkingPrecision -> 32],
b = RandomReal[{0, 10}, WorkingPrecision -> 32]},
{NIntegrate[r*f[r*Cos[t], r*Sin[t]], {t, 0, 2*Pi}, {r, 0, b}],
definiteint}]