Чистые и смешанные стратегии. Понятие чистых и смешанных стратегий. Задания для самостоятельной работы

Стратегии Компьютерные стратегии требуют от игрока сосредоточенности, умения планировать свои действия и решать разнообразные задачи. Последние исследования свидетельствуют о том, что стратегии помогают улучшать когнитивные навыки игроков любого возраста. Согласно

Чистые типы Существует такое понятие – «чистый психологический тип». Собственно, понятие есть, а предметов, то есть людей, идеально подходящих под это понятие, практически нет. Нет чистокровных интровертов и однозначных экстравертов. Тем более, что мы с вами договорились

Чистая стратегия - детерминированный (исключающий случайности) план действий. В предыдущей главе мы рассматривали только чистые стратегии. Смешанные стратегии будут обсуждаться в параграфе 2.2, а пока, если не оговорено иного, под стратегией мы всегда имеем в виду чистую стратегию.

Очень часто в процессе изложения мы будем иллюстрировать концепции решения примерами биматричных игр, поэтому дадим соответствующие определения.

Определение 2.1. Конечной игрой называется игра, в которой множество игроков и множества стратегий каждого игрока содержат конечное число элементов. Конечная игра двух лиц называется биматричной игрой.

Последнее наименование происходит от удобной формы записи выигрышей в такой игре - с помощью двойной матрицы.

Для последующего анализа удобно разделить стратегии в произвольном профиле стратегий s на стратегию некоторого /-го игрока s, и стратегии всех остальных игроков s_ (. Формально s = (.у, s ,). Здесь не подразумевается, что мы меняем местами координаты профиля стратегий, мы лишь вводим другой способ его обозначения.

Первой концепцией решения игры, которую мы рассмотрим, будет равновесие в доминирующих стратегиях.

Определение 2.2. Стратегия /-го игрока у строго доминирует его стратегию s", если Uj(s jt s ,) > h,(s", s ,) для любого набора s , стратегий остальных игроков. При этом стратегия s" называется строго доминируемой.

Содержательно это означает, что при любом фиксированном наборе стратегий остальных игроков /-Й игрок, выбирая стратегию s, получает строго больший выигрыш, чем при выборе стратегии s". Логично предположить, что рациональный игрок не должен выбирать строго доминируемые стратегии. Такое предположение в простейших играх может оказаться достаточным для нахождения решения игры.

Определение 2.3. Профиль стратегий s* = (s*, s^,..., s*) называется равновесием в (строго) доминирующих стратегиях , если для любого /-го игрока стратегия s" строго доминирует любую другую его стратегию.

Может показаться, что данная концепция решения может привести лишь к тривиальным выводам. Каждый игрок имеет среди своих стратегий такую, которая даст ему выигрыш больше, чем любая другая, как бы ни действовали оппоненты. Тогда он будет применять именно эту стратегию в равновесии. Все довольно очевидно. Но именно такая ситуация характерна для, пожалуй, самой известной и весьма важной для анализа ряда практических ситуаций игры «дилемма заключенных».

Пример 2.1 (дилемма заключенных). Два преступника находятся под стражей в разных камерах и не могут переговариваться. Следствие располагает достаточной доказательной базой, чтобы осудить каждого из них за незначительное преступление на один год. Но по крупному преступлению, за которое преступникам грозит уже десять лет заключения, улик у следствия недостаточно. Представители следствия предлагают каждому из преступников сделку: преступник получит срок на

один год меньше, если он даст свидетельство против своего напарника, которого будет достаточно для обвинения последнего но крупному преступлению. Предположим, что преступников беспокоит только число лет, которое они проведут в тюрьме, каждый дополнительный год дает минус единицу полезности. Тогда выигрыши преступников могут быть представлены следующей двойной матрицей:

В случае, когда участники игры не названы по именам, мы будем считать, что разным стратегиям первого участника соответствуют строки двойной матрицы, а стратегиям второго участника - столбцы. Если в нашем примере первый заключенный даст показания, а второй не будет их давать, то первый будет отпущен на свободу, а второй получит десять лет тюрьмы.

Легко заметить, что, как бы ни действовал другой заключенный, выигрыш больше (срок заключения меньше), если давать показания (для первого игрока первые координаты в первой строке двойной матрицы строго больше, чем во второй строке, для второго игрока вторые координаты в первом столбце двойной матрицы строго больше, чем во втором столбце). Тогда равновесием в доминирующих стратегиях будет профиль стратегий (дать показания, дать показания).

Интересно в данном примере то, что игроки, выбирая поведение, которое увеличивает их выигрыш, приходят к ситуации, где их выигрыши низки по сравнению с противоположной ситуацией - когда оба выбирают молчать. Объяснение кроется в наличии сильного внешнего эффекта, т.е. сильного влияния действий одного игрока на выигрыши другого игрока. В результате равновесный профиль стратегий оказывается единственным неэффективным по Парето в данной игре. Отметим, что эффективность по Парето, желательная с точки зрения участников игры, может быть отнюдь не желательной с общественной точки зрения, как в данном случае.

Ситуации, подобные дилемме заключенных, часто встречаются при анализе экономических ситуаций. Рассмотрим, например, конкуренцию между двумя магазинами, торгующими близким набором продуктов. Для простоты предположим, что магазины могут назначать только два уровня цен - высокий или низкий. Потребители, естественно, предпочитают покупать в магазине с более низкими ценами. Тогда выигрыши магазинов, характеризующиеся их прибылью, могут выглядеть, например, следующим образом:

С точки зрения равновесия ситуация здесь аналогична дилемме заключенных - равновесие в доминирующих стратегиях (низкие цены, низкие цены) является единственным неэффективным по Парето профилем (и тоже желательным с общественной точки зрения).

Уже упомянутая широкая известность дилеммы заключенных стала причиной того, что на ее примере экспериментально пытались проверить корректность предсказаний теории игр. Проверка состояла в том, что двум незнакомым людям предлагалось сыграть в игру на деньги с призами (например, в долларах), близкими к тем, что указаны для игры двух магазинов. Каждый из участников принимал решение отдельно (часто - анонимно) и не знал до получения выигрыша решения другого игрока. Выяснилось, что в таких условиях во многих разыгрываниях игры игроки приходили не к равновесному результату, если предположить, что денежные призы корректно оценивают их выигрыши. Конечно, из результатов этих экспериментов не следует, что предсказания теории игр некорректны, а следует лишь то, что, оценивая свой выигрыш, игроки принимали во внимание неденежные факторы - соображения альтруизма, справедливости и т.п. Если выигрыши игроков оценены корректно, то игроки должны предпочитать доминирующую стратегию, а значит, и выбирать ее (в духе выявленных предпочтений в микроэкономике). Поэтому ценность экспериментов такого рода - не в проверке теоретико-игровых предсказаний, а в оценке роли нематериальной мотивации в действиях индивидов.

Значительно меньше, чем концепция строго доминирования, в теории игр используется концепция слабого доминирования.

Определение 2.4. Стратегия /-го игрока s, слабо доминирует его стратегию s", если m,(s, s ,) > m ; (sJ, s ,) для любого набора стратегий остальных игроков s_j, причем хотя бы для одного набора стратегий других игроков неравенство выполняется строго. Тогда стратегия s" называется слабо доминируемой.

В случае нестрогих неравенств уже нет возможности утверждать, что рациональный игрок не выберет слабо доминируемую стратегию, хотя такое поведение и представляется довольно логичным. Существует, хотя и редко применяется, аналогичное случаю строго доминирования определение равновесия в слабо доминирующих стратегиях.

Определение 2.5. Профиль стратегий s* = (s*, Sj,..., s*) называется равновесием в слабо доминирующих стратегиях , если для любого /-го игрока стратегия s" слабо доминирует любую другую его стратегию.

Пример 2.2 (закрытый аукцион второй цены). Среди двух лиц проводится закрытый аукцион второй цены. Аукцион устроен следующим образом. Каждый из участников указывает неотрицательную ставку, не зная ставок других участников (в конверте). Участник, сделавший наибольшую ставку, выплачивает максимальную сумму среди ставок других участников (т.е. сумму второй но величине ставки) и получает некоторый предмет. Если, например, ставки игроков составили 100 и 90, то побеждает в аукционе участник, сделавший ставку 100, он приобретает предмет за 90 - размер второй ставки. Пусть каждый участник имеет оценку предмета, выраженную в денежных единицах, v 2 > 0. Эти оценки известны всем участникам. Пусть при этом для простоты описания игры если оба участника указывают одинаковую ставку, то предмет достается первому участнику.

В данной игре стратегией первого игрока s, будет размер его ставки. Так как ставка неотрицательна, множество всех его возможных стратегий

5, = выполняется 0 = и,(о, s 2) > w,(s,s 2) = = ц, - s 2 v x слабо доминирует стратегию s,.

Мы показали, что для первого игрока стратегия назвать свою оценку в качестве ставки слабо доминирует любую другую стратегию. Легко проверить, что аналогичное утверждение верно и для второго игрока. Отметим, что в нашем рассуждении мы нигде не использовали тот факт, что игрок знает оценку другого игрока, а значит, и в случае игры с неполной информацией в закрытом аукционе второй цены называть свою оценку будет не менее выгодно, чем делать любую другую ставку.

Может показаться, что для продавца невыгодно устраивать аукцион второй цены, когда он может устроить аукцион первой цены и получать величину не второй, а первой ставки. Однако и величина ставок в случае аукциона первой цены в равновесии будет ниже. Подробнее о доходности аукционов мы поговорим в гл. 5. Пока же отметим, что аукцион второй цены очень поиулярен и широко используется, например, компаниями Google и «Яндекс» при продаже контекстной рекламы в Интернете .

Равновесие в доминирующих стратегиях существует лишь в небольшом классе игр. Обычно у игроков нет единственной стратегии, которая доминирует все прочие. Но концепция доминирования позволяет находить решения в более широком классе игр. Для этого нужно вести последовательные рассуждения о действиях игроков. Мы уже отмечали, что рациональный игрок не будет выбирать строго доминируемую стратегию. Но это означает, что другой игрок может вести анализ игры, игнорируя возможность выбора оппонентом такой стратегии. Возможно, при гаком анализе выяснится, что у другого игрока есть доминируемая стратегия, которая не была доминируемой в исходной игре. И так далее. Дадим формальное определение.

Процесс последовательного исключения строго доминируемых стратегий задается следующим образом. Исключим все строго доминируемые стратегии игроков из рассмотрения, т.е. рассмотрим новую игру, в которой из множества возможных стратегий игроков исключены все доминируемые стратегии. Затем в этой новой игре исключим все строго доминируемые стратегии и т.д.

Возможно, такой процесс завершится, когда у игроков останется по нескольку стратегий, но возможно, что каждый игрок будет иметь лишь одну неисключенную стратегию, тогда логично считать набор из этих стратегий решением игры.

Определение 2.6. Если в результате последовательного исключения строго доминируемых стратегий у каждого игрока остается единственная стратегия, то профиль этих стратегий называется равновесием по доминированию.

В примере 1.1 мы получили именно такое равновесие. Рассмотрим еще один пример.

Профиль стратегий (Н, П) составляет единственное равновесие по Нэшу в данной игре. Но заметим: чтобы выбрать П, второй игрок должен быть уверен, что первый игрок не выберет В. А ведь выигрыш первого игрока одинаков при выборе II вторым игроком. К тому же, выбрав В, первый игрок может не бояться, что второй игрок выберет Л. Возможно, рациональный второй игрок задумается о выборе стратегии Ц.

Второй вопрос, па который пока не найдено какого-то однозначного ответа: как игроки приходят к равновесию по Нэшу?

Идеальный теоретический сценарий здесь такой. Игроки независимо друг от друга формируют ожидания относительно действий других игроков, а затем выбирают действия, которые максимизируют их выигрыш при заданных ожиданиях. Если при этом ожидания соответствуют действиям, реально выбранным игроками, то получаем равновесие по Нэшу. Такая схема рассуждений позволяет назвать равновесие по Нэшу ситуацией с самореализующимися ожиданиями. Но откуда берутся сами ожидания? И какое именно из равновесий по Нэшу, если их несколько, будет выбрано в результате описанного процесса? В рамках рассмотренного сценария эти вопросы остаются без ответа.

Другой подход предполагает наличие обучения игроков. Игроки либо теоретически изучают, как следует играть в данной игре (представьте себе студентов экономического факультета), либо имеют опыт схожего взаимодействия (например, опытный работник приходит в новый коллектив), что позволяет им правильно сформировать ожидания и выбрать оптимальное поведение. Этот сценарий позволяет объяснить формирование ожиданий, но он, во-первых, сокращает область применения игровых моделей только до стандартных, изучаемых и часто встречающихся ситуаций взаимодействия, а во-вторых, может приводить к тому, что не разграничиваются ситуации однократного и повторяющегося взаимодействия, а последние существенно отличаются с точки зрения стратегий и методов решения в рамках теории игр, о чем подробнее будет сказано в гл. 4.

Третий сценарий состоит в том, что существуют предварительная договоренность между игроками, или обычаи, или законы, или указания третьих лиц, которые регламентируют взаимодействие игроков. При этом договоренности или указания могут быть необязательны к исполнению, но если рекомендуется сыграть равновесие по Нэшу, то ни у кого из игроков не возникает желания (в одиночку) отклониться от предписанного поведения. Понятно, что такой сценарий возможен не в любой ситуации. Кроме того, сам процесс формирования договоренности или привлечения третьих лиц может стать частью игры.

Наконец, третий естественный вопрос, который возникает при изучении концепции равновесия по Нэшу, следующий: есть ли эмпирические свидетельства того, что реальные игроки обычно выбирают равновесные стратегии? Здесь снова чрезвычайно сложно дать краткий и однозначный ответ. При этом характер возникающих проблем больше соответствует тематике экспериментальной экономики. Поэтому ограничимся рекомендацией обратиться к специализированной литературе, например, книге , где отлично разобраны вопросы методологии экспериментов и представлен ряд результатов.

Существуют игры, которые не имеют равновесия в чистых стратегиях (см. пример 3.1), поэтому возникает вопрос: какие условия являются достаточными для существования такого равновесия? Сформулируем и докажем утверждение о существовании равновесия по Нэшу в чистых стратегиях в играх, не являющихся конечными.

Утверждение 2.3 . Если множества стратегий каждого из игроков S t являются непустыми выпуклыми компактами в евклидовом пространстве, а функция выигрыша каждого игрока и- непрерывна по s и квазивогнута по 5, то в игре существует равновесие по Нэшу в чистых стратегиях.

Доказательство. Напомним формулировку теоремы Какутаии , которую мы будем использвать при доказательстве. Пусть X - непустое выпуклое компактное множество в R n , X* - множество его подмножеств и/ - такое полунепрерывное сверху отображение из X в X*, что для каждой точки х е X множество f(x) непусто, замкнуто и выпукло. Тогда отображение / имеет неподвижную точку.

Идея доказательства нашего утверждения состоит в построении отображения, удовлетворяющего условиям теоремы Какутани. Для этого несколько переопределим отображение наилучшего ответа. Будем, чисто технически, считать, что наилучший ответ зависит не только от стратегий других игроков, но и от собственной стратегии игрока s y (s). С изменением собственной стратегии игрока при фиксированных стратегиях остальных игроков наилучший ответ, конечно же, меняться не будет. Теперь введем обозначение для отображения наилучшего ответа для всех игроков как декартова произведения s(s ) = s,(s) х s 2 (s) х... х s n (s). Это отображение каждому профилю ставит в соответствие множество профилей, в которых каждый игрок наилучшим образом отвечает на стратегии остальных игроков. Неподвижная точка отображения S, т.е. профиль s такой, что s е s(s)> по определению является равновесием по Нэшу. Покажем, что отображение 5 удовлетворяет условиям теоремы Какутани. Проверка каждого условия будет составлять отдельный пункт доказательства.

• 1. Покажем, что множество S всех профилей - выпуклый компакт. Так как но условию утверждения множества стратегий каждого из игроков S, являются непустыми выпуклыми компактами, то и декартово произведение S = S t X S 2 X ... х S n является выпуклым компактом.
• 2. Отображение s имеет непустые образы. По теореме Вейерштрасса непрерывная функция и- достигает на замкнутом ограниченном множестве 5, своего максимального значения. Следовательно, s имеет непустые образы.
• 3. Образы отображения s замкнуты и выпуклы. Так как функция выигрыша каждого игрока u t квазивогнута по s if то по свойству квазивогнутой функции множество $. = {s. | u t (s i9 s .) > k } при фиксированных s .и k замкнуто при замкнутой области определения и выпукло, если не пусто. Так как это верно для любого k , то верно и то, что множество 5. = {5/1 u t (s", 5 ,) > maxw.(s., s .)}

выпукло. Но тогда и декартово произведение 5(5) = s x (s) х s 2 (S) х... X s n СS) замкнуто и выпукло.

4. Покажем, что отображение § полунепрерывно сверху. Используем условие непрерывности функции и, по s. Доказывать будем от противного. Предположим, что отображение § нс является полунепрерывным сверху. Тогда найдутся последовательности профилей стратегий s m и s m , где т - номер элемента последовательности, такие что для любого т s"" е S, s m е s(s""), lim s"" = s° е S, но lim s"" = s° g lim s(s""). Это означает, что найдется иг-

т~* оо т-> /и -? оо

рок, для которого стратегия s f ° не является наилучшим ответом на s 0 , т.е. найдется стратегия s" такая, что и,(s", s 0 ,) > u,(s] s° ;). Тогда можно найти такое е > 0, чтобы выполнялось m,(s/, s 0 ,) > m,(s ; °, s 0 ,) + Зе, откуда

Поскольку по условию функция м, непрерывна, lim s m = s°, lim s"” = s°,

m * oo m -* oo

при достаточно большом m верно

Объединяя неравенства (2.8)-(2.10) в одну цепочку, получим

Из соотношений (2.11) следует, что u,(s", s"") > m,(s/", s"") + s, но это противоречит условию s"" е s(s""), так как s" дает строго больший выигрыш, чем s/", в ответ на s"". Пришли к противоречию. Следовательно, наша исходная предпосылка, что отображение s не является полунепрерывным сверху, была неверной.

Мы показали, что отображение S удовлетворяет всем условиям теоремы Какутани, а значит, имеет неподвижную точку. Данная неподвижная точка является равновесием по Нэшу. Утверждение 2.3 доказано. ?

Утверждение 2.3, в частности, гарантирует существование равновесия по Нэшу в примере 2.7, но не в примере 2.8, где функции выигрыша игроков разрывны.

" Пример из работы .

Различают стратегии чистые и смешанные. Чистая стратегия
первого игрока (чистая стратегия
второго игрока) – это возможный ход первого (второго) игрока, выбранный им с вероятностью, равной 1.

Если первый игрок имеет m стратегий, а второй – n стратегий, то для любой пары стратегий первого и второго игроков чистые стратегии можно представить в виде единичных векторов. Например, для пары стратегий
,
чистые стратегии первого и второго игроков запишутся в виде:
,
. Для пары стратегий ,чистые стратегии можно записать в виде:

,

.

Теорема : В матричной игре нижняя чистая цена игры не превосходит верхней чистой цены игры, т. е.
.

Определение: Если для чистых стратегий ,игроковA и В соответственно имеет место равенство
, то пару чистых стратегий (,) называют седловой точкой матричной игры, элементматрицы, стоящий на пересеченииi-й строки и j-го столбца – седловым элементом платежной матрицы, а число
- чистой ценой игры.

Пример: Найти нижнюю и верхнюю чистые цены, установить наличие седловых точек матричной игры

.

Определим нижние и верхние чистые цены игры: , ,
.

В данном случае имеем одну седловую точку (А 1 ; В 2), а седловой элемент равен 5. Этот элемент является наименьшим в 1-й строке и наибольшим во 2-м столбце. Отклонение игрока А от максиминной стратегии А 1 ведет к уменьшению его выигрыша, а отклонение игрока В от минимаксной стратегии В 2 ведет к увеличению его проигрыша. Иными словами, если в матричной игре имеется седловой элемент, то наилучшими для игроков являются их минимаксные стратегии. И эти чистые стратегии, образующие седловую точку и выделяющие в матрице игры седловой элемент a 12 =5, есть оптимальные чистые стратегии исоответственно игроков А и В.

Если же матричная игра не имеет седловой точки, то решение игры затрудняется. В этих играх
. Применение минимаксных стратегий в таких играх приводит к тому, что для каждого из игроков выигрыш не превышает , а проигрыш - не меньше . Для каждого игрока возникает вопрос увеличения выигрыша (уменьшение проигрыша). Решение находят, применяя смешанные стратегии.

Определение: Смешанной стратегией первого (второго) игрока называется вектор
, где
и
(
, где
и
).

Вектор p(q) означает вероятность применения i-й чистой стратегии первым игроком (j-й чистой стратегии вторым игроком).

Поскольку игроки выбирают свои чистые стратегии случайно и независимо друг от друга, игра имеет случайный характер и случайной становится величина выигрыша (проигрыша). В таком случае средняя величина выигрыша (проигрыша) – математическое ожидание – является функцией от смешанных стратегий р, q:

.

Определение: Функция f(р, q) называется платежной функцией игры с матрицей
.

Определение: Стратегии
,
называются оптимальными, если для произвольных стратегий
,
выполняется условие

Использование в игре оптимальных смешанных стратегий обеспечивает первому игроку выигрыш, не меньший, чем при использовании им любой другой стратегии р; второму игроку – проигрыш, не больший, чем при использовании им любой другой стратегии q.

Совокупность оптимальных стратегий и цены игры составляет решение игры.