возможных решений. Регуляризация — очень гибкая процедура, по-
зволяющая использовать соответствующую априорную информацию
и
`
p
-норму при
p
6
1
, которая обеспечивает некорректность.
Другая причина использования регуляризации — возможность
смягчить допущение переопределенности. Это означает, что матрица
T
не должна быть переопределенной и она даже не должна охваты-
вать пространство
y
. Предположим,
y
лежит в области значений
T
,
но некоторые коэффициенты
x
, полученные при помощи обычного
обращения, очень малы. При использовании некорректной регуляри-
зации получается семейство решений, которое позволяет найти более
некорректное (но менее точное) представление
y
.
Кроме представления сигнала при помощи переопределенного ба-
зиса некорректная регуляризация имеет множество приложений во
многих областях, таких как статистика, анализ данных и обучение
машин. Важной задачей во всех трех областях является выбор подмно-
жества. Предположим, наблюдаемая величина
y
зависит от множества
параметров
x = [
x
1
, . . . , x
N
]
, но влияние малого подмножества пара-
метров намного больше, чем влияние всех остальных. Для того чтобы
надлежащим образом построить модель для
y
посредством элемен-
тов
x
, необходимо найти малое подмножество
{
x
i
}
, которое хорошо
прогнозирует
y
.
Сначала рассмотрим вариант задачи представления сигнала по-
средством переопределенного базиса без помех и опишем ее решение
с использованием
`
1
-штрафования. Хотя вариант без помех имеет ма-
лое практическое значение, он тесно связан с формулировкой задачи
с учетом помех, и большинство теоретических результатов получено
именно для такого варианта.
Предположим, что существует сигнал
y
, который является линей-
ной комбинацией нескольких элементов переопределенного базиса
A
:
y =
K
X
i
=1
x
i
a
i
, где
x = x
+
−
x
−
,
x
+
>
0
,
x
−
>
0
,
A = [a
1
. . .
a
N
]
.
Найдем весовые коэффициенты
x
i
, используя доступную информа-
цию:
y
и
A
. Так как
A
— переопределенный базис, то нахождение
x
i
— это некорректная обратная задача (существует огромное множество
решений). Логично найти решение, решая следующую задачу:
min
k
x
k
0
0
при ограничении
y = Ax
.
(11)
Поскольку
k
x
k
0
0
представляет число ненулевых элементов
x
, эта слож-
ная комбинаторная задача заменяется задачей
min
k
x
k
1
при ограничении
y = Ax
.
(12)
14
ISSN 1812-3368. Вестник МГТУ им. Н.Э. Баумана. Сер. “Естественные науки”. 2007. № 3
