Пусть A=1234 является матрицей линейного преобразования A

Запишем матрицу перехода от старого базиса e1,e2 к новому базису e'1,e'2. Т.е. записываем координаты векторов e'1=e1-e2, e'2=2e1+e2 в старом базисе столбиками:
P=12-11.
Получаем матрицу преобразования A в базисе e'1,e'2:
A'=P-1AP.
Находим обратную матрицу перехода P-1:
P=12-11=1--1∙2=1+2=3
Алгебраические дополнения матрицы P:
p11=1; p12=-1∙-1=1;p21=-1∙2=-2; p22=1.
P-1=1Pp11p12p21p22T=131-211
Последовательно умножаем матрицы (1/3 рационально внести в самом конце):
P-1A=131-2111234=131∙1+(-2)∙31∙2+(-2)∙41∙1+1∙31∙2+1∙4=13-5-646
P-1AP=13-5-646∙12-11=13-5∙1+-6∙-1-5∙2+-6∙14∙1+6∙-14∙2+6∙1=
=131-16-214=13-163-23143=13-513-23423.
Ответ: A'=13-513-23423.