输入：RSolve[{a[n] == \!\(
\*UnderoverscriptBox[\(\[Sum]\), \(i = 0\), \(n\)]\((a[i]*
a[n - i])\)\), a[0] == a[1] == 1}, a, n]
会报错：RSolve:提供的函数不是给定函数的差分方程
输出：RSolve[{a[n] == \!\(
\*UnderoverscriptBox[\(\[Sum]\), \(i = 0\), \(n\)]\(a[
i]\ a[\(-i\) + n]\)\), False == 1/3 == 1}, a, n]
还将a[1]识读成了1/3.将[方程,a,n]的a换成a[n]也没用。求助应该怎么解

"将a[1]识读成了1/3"大概率是因为你之前不小心定义了a[1]=1/3而没有清除。
RSolve会原样返回你的代码，大概率是因为你的递推关系是非线性的。
RecurrenceTable似乎也不行，因为sum里面有i这个变量。
如果你只是想解出数值，可以这样：
Table[If[n == 0 || n == 1, a[n] = 1,
a[n] = -Sum[a[i]*a[n - i], {i, 1, n - 1}]], {n, 0, 10}]