Перевод
Язык оригинала
16.06.2025
Evolution of cooperation: what else can (should) we teach the machine
Throughout the history of biological life on planet Earth absolutely all biological agents from microorganisms to humans have obeyed to the law of cooperation: to build a stable hierarchical system, agents should act in a cooperative manner. However, in 2022, human genius creates a software machine that does not require compliance with the law of cooperation for its self-development….
In fact, this is not true…..:-)….scientific researches of 2023-2025 suggest that large language models are even more cooperative than us, humans…. But it is exactly due to the obviousness and our high loyalty to this idea that each new AI agent has to pass a test for cooperativeness. Now, let us get to the point…
An agent usually means some sort of a computer program that uses a mathe matical model to autonomously make decisions and perform actions. In game the ory, it could be an agent based on a simple reward matrix, for ten years in a raw it was a deep linear neural network, and for the past two years large language models have been actively explored as the main decision-making center in agents.
Emergence of intelligent multi-agent systems poses new challenges and allows us to begin and explore collective effects arising in community of autonomous agents at a new level: social dilemmas, emergence, and even collective intrinsic motivation.
Social dilemmas are situations in which collective interests of a multi-agent system contradict individual selfish interests of particular agents. In the famous social dilemma – the “prisoner’s dilemma” – agent’s betrayal has clear advantage over cooperation, as a result of which the only sustainable result is betrayal of both parties. This suggests that seemingly optimal solution for a local agent causes unfavorable consequences for the entire system. In reality, there are multiple inter actions between people or between animals that demonstrate similar behavioral strategies. Thus, many social and economic processes were described with the use of models in which biological agents participate in games that are similar to the prisoner’s dilemma.
In the 1980s, an extended version of this dilemma, also known as the iterated prisoner’s dilemma, was actively studied. Under this scenario, agents make multi ple choices taking into account previous results. It was shown that in a long-term game among many computer agents with different strategies “greedy” actions of the agents always produced poor long-term results, while results of more “altruis tic” strategies were better. This made it possible to demonstrate the mechanism of evolution of cooperative behavior of initially selfish agents through the process of natural selection of behavioral strategies. Even a conclusion was made that at first seemed utopian: in collective environment, autonomous agents acting in their own interests will strive to behave cooperatively.
Interest of AI community in the evolution of cooperation was revived in 2017 by Google DeepMind scientific paper that tried to use multi-agent reinforced learning algorithms to study iterative social dilemmas. Conclusions were arguably fundamental: the less are resources in collective environment, the less cooperative will be behavior of intelligent agents and the weaker is their intelligence (in this case, a smaller neural network), the more aggressively the agents will interact.
Modern LLM agents reproduce biological tendencies towards fairness and cooperation and in some dilemmas are even 30% more cooperative than humans, and similarly to us they are prone to emotions when making decisions. Again, smaller size of autonomous agent’s neural network affects various distortions in decision-making.
According to Gartner’s 2024 forecast, it is only in 5-10 years that multi-agent systems will reach plateau of efficiency. In general, according to the estimates by Grand View Research and KBV Research, by 2030, the global market of autono mous agents will reach up to 6 trillion rubles with total average annual growth rate of at least 40%. However, the other day these forecasts became obsolete: the Fudan University in China (DeepSeek has nothing to do with it this time) demonstrated that there are schemes of 90% accurate self-replication of autonomous agents based on large language models, which is likely to exponentially increase the num ber of autonomous agents in the nearest future.
This is why new national and international efforts are required not only to sign memoranda on ethical AI but also to develop unified technical systems to control cooperativeness of any new AI agent, be it commercial or published in the public domain, strictness of which shall be no less than that of the international drug cir culation control system. We still have enough time…
In fact, this is not true…..:-)….scientific researches of 2023-2025 suggest that large language models are even more cooperative than us, humans…. But it is exactly due to the obviousness and our high loyalty to this idea that each new AI agent has to pass a test for cooperativeness. Now, let us get to the point…
An agent usually means some sort of a computer program that uses a mathe matical model to autonomously make decisions and perform actions. In game the ory, it could be an agent based on a simple reward matrix, for ten years in a raw it was a deep linear neural network, and for the past two years large language models have been actively explored as the main decision-making center in agents.
Emergence of intelligent multi-agent systems poses new challenges and allows us to begin and explore collective effects arising in community of autonomous agents at a new level: social dilemmas, emergence, and even collective intrinsic motivation.
Social dilemmas are situations in which collective interests of a multi-agent system contradict individual selfish interests of particular agents. In the famous social dilemma – the “prisoner’s dilemma” – agent’s betrayal has clear advantage over cooperation, as a result of which the only sustainable result is betrayal of both parties. This suggests that seemingly optimal solution for a local agent causes unfavorable consequences for the entire system. In reality, there are multiple inter actions between people or between animals that demonstrate similar behavioral strategies. Thus, many social and economic processes were described with the use of models in which biological agents participate in games that are similar to the prisoner’s dilemma.
In the 1980s, an extended version of this dilemma, also known as the iterated prisoner’s dilemma, was actively studied. Under this scenario, agents make multi ple choices taking into account previous results. It was shown that in a long-term game among many computer agents with different strategies “greedy” actions of the agents always produced poor long-term results, while results of more “altruis tic” strategies were better. This made it possible to demonstrate the mechanism of evolution of cooperative behavior of initially selfish agents through the process of natural selection of behavioral strategies. Even a conclusion was made that at first seemed utopian: in collective environment, autonomous agents acting in their own interests will strive to behave cooperatively.
Interest of AI community in the evolution of cooperation was revived in 2017 by Google DeepMind scientific paper that tried to use multi-agent reinforced learning algorithms to study iterative social dilemmas. Conclusions were arguably fundamental: the less are resources in collective environment, the less cooperative will be behavior of intelligent agents and the weaker is their intelligence (in this case, a smaller neural network), the more aggressively the agents will interact.
Modern LLM agents reproduce biological tendencies towards fairness and cooperation and in some dilemmas are even 30% more cooperative than humans, and similarly to us they are prone to emotions when making decisions. Again, smaller size of autonomous agent’s neural network affects various distortions in decision-making.
According to Gartner’s 2024 forecast, it is only in 5-10 years that multi-agent systems will reach plateau of efficiency. In general, according to the estimates by Grand View Research and KBV Research, by 2030, the global market of autono mous agents will reach up to 6 trillion rubles with total average annual growth rate of at least 40%. However, the other day these forecasts became obsolete: the Fudan University in China (DeepSeek has nothing to do with it this time) demonstrated that there are schemes of 90% accurate self-replication of autonomous agents based on large language models, which is likely to exponentially increase the num ber of autonomous agents in the nearest future.
This is why new national and international efforts are required not only to sign memoranda on ethical AI but also to develop unified technical systems to control cooperativeness of any new AI agent, be it commercial or published in the public domain, strictness of which shall be no less than that of the international drug cir culation control system. We still have enough time…
За всю историю существования биологической жизни на планете Земля, абсолютно все биологические агенты от микроорганизмов до человека, подчинялись закону кооперации: чтобы построить устойчивую иерархическую систему, агенты должны вести себя кооперативно. Но в 2022 году человеческий гений создает программную машину, которой для саморазвития не требуется соблюдения закона кооперации….
На самом деле это неправда…..:-)….научные исследования 2023-2025 годов показывают, что большие языковые модели, еще более кооперативны чем мы, люди…. Но именно из-за очевидности и нашей высокой лояльности к этой мысли, каждый новый AI-агент должен проходить проверку на кооперативность. Итак, по порядку…
Под агентом чаще всего имеется в виду некая компьютерная программа, использующая математическую модель для автономного принятия решений и выполнения действий. В теории игр это мог быть агент, основанный на простой матрице наград, десять лет подряд это была глубокая линейная нейронная сеть, два прошедших года активно исследовались большие языковые модели в качестве главного центра принятия решений в агенте.
Появление сегодня интеллектуальных мульти-агентных систем, ставит новые вызовы и позволяет начать исследовать коллективные эффекты, возникающие в сообществе автономных агентов, на новом уровне: социальные дилеммы, эмерджентность и даже коллективную внутреннюю мотивацию.
Социальные дилеммы представляют собой ситуации, в которых коллективные интересы мультиагентной системы расходятся с индивидуальными, эгоистичными интересами конкретного агента. В знаменитой социальной дилемме - «дилемма заключённого», предательство агента имеет явное преимущество перед сотрудничеством, что приводит к тому, что единственным устойчивым результатом является предательство обеих сторон. Это показывает, что кажущиеся оптимальным решением для локального агента, приводит к неблагоприятным последствиям для всей системы. В реальности существует множество взаимодействий между людьми или между животными, которые демонстрируют аналогичные стратегии поведения. Поэтому многие социальные и экономические процессы были описаны с использованием моделей, в которых биологические агенты участвуют в играх, схожих с дилеммой заключённого.
В 80-х активно исследовали расширенный вариант этой дилеммы, которую назвали итерационной дилеммой заключённого. В этом сценарии агенты делают выбор многократно и учитывают предыдущие результаты. Было показано, что при длительной игре среди множества компьютерных агентов с разными стратегиями «жадные» действия агентов всегда давали плохие долгосрочные результаты, в то время как более «альтруистические» стратегии приносили лучшие результаты. Это позволило продемонстрировать механизм эволюции кооперативного поведения изначально эгоистичных агентов через процесс естественного отбора стратегий поведения. И даже был сделан вывод, казавшийся вначале утопическим: автономные агенты, действуя в собственных интересах, в коллективной среде будут стремиться вести себя кооперативно.
Интерес AI-сообщества к эволюции кооперации в 2017 году вновь вернула научная работа Google DeepMind, пытающаяся с помощью алгоритмов мультиагентного обучения с подкреплением исследовать итерационные социальные дилеммы. Выводы были с претензией на фундаментальность: чем меньше ресурсов в коллективной среде, тем менее кооперативно будут себя вести интеллектуальные агенты и чем слабей их интеллект (в данном случаем меньшего размера нейронная сеть), тем более агрессивно агенты будут взаимодействовать.
Современные LLM-агенты воспроизводят биологические тенденции к справедливости и сотрудничеству, и в некоторых дилеммах даже на 30% более кооперативны чем люди, также, как и мы подвержены эмоциям при принятии решений. Опять же меньший размер нейронной сети автономного агента влияет на различные искажения при принятии решений.
По прогнозу Gartner-2024 мультиагентные системы достигнут плато эффективности только через 5-10 лет. В целом глобальный рынок автономных агентов к 2030 году составит до 6 триллионов рублей по оценкам Grand View Research и KBV Research, с совокупным среднегодовым темпом прироста не менее 40%. Но буквально на днях эти прогнозы устарели: китайский Фуданьский университет (на этот раз DeepSeek ни причем) показал, что есть схемы 90% точности саморепликации автономных агентов, основанных на больших языковых моделях, что экспоненциально увеличит количество автономных агентов в ближайшее время.
Поэтому требуются новые государственные и международные усилия не только по заключению меморандумов этичного ИИ, но и по разработке единых технических систем контроля на кооперативность любого нового AI-агента, коммерческого или публикуемого в открытом доступе, по строгости своей не уступающей международной системе контроля оборота наркотических средств. Время пока что есть…
На самом деле это неправда…..:-)….научные исследования 2023-2025 годов показывают, что большие языковые модели, еще более кооперативны чем мы, люди…. Но именно из-за очевидности и нашей высокой лояльности к этой мысли, каждый новый AI-агент должен проходить проверку на кооперативность. Итак, по порядку…
Под агентом чаще всего имеется в виду некая компьютерная программа, использующая математическую модель для автономного принятия решений и выполнения действий. В теории игр это мог быть агент, основанный на простой матрице наград, десять лет подряд это была глубокая линейная нейронная сеть, два прошедших года активно исследовались большие языковые модели в качестве главного центра принятия решений в агенте.
Появление сегодня интеллектуальных мульти-агентных систем, ставит новые вызовы и позволяет начать исследовать коллективные эффекты, возникающие в сообществе автономных агентов, на новом уровне: социальные дилеммы, эмерджентность и даже коллективную внутреннюю мотивацию.
Социальные дилеммы представляют собой ситуации, в которых коллективные интересы мультиагентной системы расходятся с индивидуальными, эгоистичными интересами конкретного агента. В знаменитой социальной дилемме - «дилемма заключённого», предательство агента имеет явное преимущество перед сотрудничеством, что приводит к тому, что единственным устойчивым результатом является предательство обеих сторон. Это показывает, что кажущиеся оптимальным решением для локального агента, приводит к неблагоприятным последствиям для всей системы. В реальности существует множество взаимодействий между людьми или между животными, которые демонстрируют аналогичные стратегии поведения. Поэтому многие социальные и экономические процессы были описаны с использованием моделей, в которых биологические агенты участвуют в играх, схожих с дилеммой заключённого.
В 80-х активно исследовали расширенный вариант этой дилеммы, которую назвали итерационной дилеммой заключённого. В этом сценарии агенты делают выбор многократно и учитывают предыдущие результаты. Было показано, что при длительной игре среди множества компьютерных агентов с разными стратегиями «жадные» действия агентов всегда давали плохие долгосрочные результаты, в то время как более «альтруистические» стратегии приносили лучшие результаты. Это позволило продемонстрировать механизм эволюции кооперативного поведения изначально эгоистичных агентов через процесс естественного отбора стратегий поведения. И даже был сделан вывод, казавшийся вначале утопическим: автономные агенты, действуя в собственных интересах, в коллективной среде будут стремиться вести себя кооперативно.
Интерес AI-сообщества к эволюции кооперации в 2017 году вновь вернула научная работа Google DeepMind, пытающаяся с помощью алгоритмов мультиагентного обучения с подкреплением исследовать итерационные социальные дилеммы. Выводы были с претензией на фундаментальность: чем меньше ресурсов в коллективной среде, тем менее кооперативно будут себя вести интеллектуальные агенты и чем слабей их интеллект (в данном случаем меньшего размера нейронная сеть), тем более агрессивно агенты будут взаимодействовать.
Современные LLM-агенты воспроизводят биологические тенденции к справедливости и сотрудничеству, и в некоторых дилеммах даже на 30% более кооперативны чем люди, также, как и мы подвержены эмоциям при принятии решений. Опять же меньший размер нейронной сети автономного агента влияет на различные искажения при принятии решений.
По прогнозу Gartner-2024 мультиагентные системы достигнут плато эффективности только через 5-10 лет. В целом глобальный рынок автономных агентов к 2030 году составит до 6 триллионов рублей по оценкам Grand View Research и KBV Research, с совокупным среднегодовым темпом прироста не менее 40%. Но буквально на днях эти прогнозы устарели: китайский Фуданьский университет (на этот раз DeepSeek ни причем) показал, что есть схемы 90% точности саморепликации автономных агентов, основанных на больших языковых моделях, что экспоненциально увеличит количество автономных агентов в ближайшее время.
Поэтому требуются новые государственные и международные усилия не только по заключению меморандумов этичного ИИ, но и по разработке единых технических систем контроля на кооперативность любого нового AI-агента, коммерческого или публикуемого в открытом доступе, по строгости своей не уступающей международной системе контроля оборота наркотических средств. Время пока что есть…
Читать весь текст
Социальные сети Instagram и Facebook запрещены в РФ. Решением суда от 21.03.2022 компания Meta признана экстремистской организацией на территории Российской Федерации.
