怎么利用mathematica解三元五次方程组？

其实，用maple比用mathematica要好很多。maple要早一些开发。两者大致命令都差不多，但是，maple的用法很符合我们的习惯，一般情况下我们都是用小括号不是函数——大多数常用的计算机高级语言也是如此，而Mathematica却使用中括号，而且，常用函数的首字母都要大写，也与习惯不符，以至于你写错了会很长时间检查不出来。其次Mathematica的显示不好，而maple显示出来和书上的样式差不多——有时候甚至可以用来排版数学文档（更改字体很容易）。另外，相信很少有人会去买正版的Mathematica和maple，Mathematica往往只有英文界面——我目前还没有看到过中文的，而maple却又中文界面——当然，帮助文档太庞大，都只有英文的。
不过有一点Mathematica占优势，那就是它有一个5分钟教程（后来的版本是10分钟），把这个学会了，你就可以用它做很多事。Mathematica也是目前商业化运作最好的一个符号计算软件（计算机代数CAS软件）。
学会maple、mathematica其中之一，可以很容易移植到另外一个软件上。

shenlibest的回答中已经有截图告知了在mathematica中如何解。
从易读性考虑，也可以这样：（依次把各行复制到Mathematica中）
u= 4*Pi*10^(-7)
m= 125
B1= 3*u*m*x*z/(4*Pi*(x^2+y^2+z^2)^(5/2))
B2= 3*u*m*y*z/(4*Pi*(x^2+y^2+z^2)^(5/2))
B3= u*m*(2*z^2-x^2-y^2)/(4*Pi*(x^2+y^2+z^2)^(5/2))
C= Solve[{B1 == 20, B2 == 55, B3 == -26}, {x, y, z}]

（出来的结果当然很复杂）

maple中的命令与之相似，只是需要注意maple中赋值用“:=”，等号用“=”，函数用小括号，函数名不需要大写（大写的为惰性函数）。附图是maple中的结果，从中可以发现，maple的显示要漂亮很多。

如果用maple，输入如下几行即可。
u := 4*Pi*10^(-7); m := 125;
B1 := 3*u*m*x*z/(4*Pi*(x^2+y^2+z^2)^(5/2));
B2 := 3*u*m*y*z/(4*Pi*(x^2+y^2+z^2)^(5/2));
B3 := u*m*(2*z^2-x^2-y^2)/(4*Pi*(x^2+y^2+z^2)^(5/2));

C := solve({B1 = 20, B2 = 55, B3 = -26}, {x, y, z}); #解方程，得出精确解
evalf(C); #求出方程解的近似值

解出来的结果很复杂，两组虚数解，一组实数解。数值解如下：
{x = 0.1935774299e-2, y = 0.5323379322e-2, z = 0.2540373192e-2},
{x = -0.7791640893e-3-0.1349551794e-2*I, y = -0.2142701246e-2-0.3711267433e-2*I, z = 0.2541889784e-2+0.4402682254e-2*I},
{x = -0.7791640893e-3+0.1349551794e-2*I, y = -0.2142701246e-2+0.3711267433e-2*I, z = 0.2541889784e-2-0.4402682254e-2*I}

不知道这个是不是你要的，看图

解有好几组，你按照这个输入应该可以算出

我也是mathematica菜鸟，希望能给你有所帮助

Solve[{方程组}，{待求变量组}]，按Shift+Enter，得结果。

这个帖子放在这有年头了，呵呵，比较难
建议发到学问社区上吧，那里讨论比这里热烈100倍