ТЕХНІЧНА МЕХАНІКА
ISSN 1561-9184 (друкована версія), ISSN 2616-6380 (електронна версія)

ГОЛОВНА    ПРО ЖУРНАЛ    РЕДКОЛЕГІЯ    АВТОРАМ    ПОТОЧНИЙ ВИПУСК    АРХІВ    КОНТАКТИ

UDK 629.5

Технічна механіка, 2020, 4, 43- 54

КЕРУВАННЯ ВІДНОСНИМ РУХОМ КОСМІЧНОГО АПАРАТА ПРИ НЕПОВНОМУ СКЛАДІ ВИКОНАВЧИХ ОРГАНІВ З ВИКОРИСТАННЯМ НАВЧАННЯ З ПІДКРІПЛЕННЯМ

DOI: https://doi.org/10.15407/itm2020.04.043

Хорошилов С. В., Редька М. О.

Хорошилов С. В.
Інститут технічної механіки Національної академії наук України і Державного космічного агентства України,
Україна

Редька М. О.
Інститут технічної механіки Національної академії наук України і Державного космічного агентства України,
Україна

      Метою статті є апроксимація оптимального керування відносним рухом космічних апаратів при неповному складі виконавчих органів з використанням навчання з підкріпленням і дослідження впливу різних чинників на якість такого рішення.
      При проведенні досліджень використані методи теоретичної механіки, теорії автоматичного керування, теорії стійкості, методи машинного навчання та комп'ютерного моделювання.
      Розглянуто задачу керування відносним рухом космічних апаратів в площині орбіти з використанням тільки керуючих впливів, спрямованих по дотичній до орбіти. Використання такого підходу дозволяє зменшити витрату робочого тіла реактивних виконавчих органів і спростити архітектуру системи керування, проте в ряді випадків використання методів класичної теорії керування не дозволяє отримувати прийнятні результати. У зв'язку з цим досліджена можливість вирішення цього завдання методом навчання з підкріпленням, який дозволяє знаходити близькі до оптимальних алгоритми керування в результаті взаємодії системи керування з об'єктом керування, використовуючи сигнал підкріплення, що характеризує якість керуючих впливів.
      Як сигнал підкріплення використаний відомий квадратичний критерій, що дозволяє врахувати як вимоги до точності, так і до витрат на керування. Пошук керуючих впливів на базі навчання з підкріпленням виконаний з використанням алгоритму ітерацій закону керування. Такий алгоритм реалізований на базі архітектури «виконавець»–«критик». Розглянуто різні варіанти представлення виконавця для реалізації закону керування і критика для отримання значень функції вартості з використанням нейромережевих апроксиматорів. Показано, що точність апроксимації оптимального керування залежить від ряду особливостей, а саме від вдалої структури апроксиматорів, вибору методу поновлення параметрів нейронних мереж, а також параметрів алгоритму навчання.
      Досліджений підхід дозволяє вирішувати розглянутий клас задач керування с використанням контролерів з різною структурою, при цьому є можливість уточнення алгоритмів керування в процесі функціонування космічного апарату.
     

керування відносним рухом, космічний апарат з неповним складом виконавчих органів, навчання з підкріпленням, ітерації закону керування, виконавець–критик

1. MacIsaac D. Docking at the International Space Station. Phys. Teach. 2014. Vol. 52. No126. https://doi.org/10.1119/1.4862134

2. Campbell M., Fullmer R. R., Hall C. D. The ION-F formation flying experiments. Advances in the Astronautical Sciences. 2000. Vol. 105. P. 135–149.

3. Smith G. W., DeRocher W. L. Jr. Orbital servicing and remotely manned systems. Mechanism and Machine Theory. 1977. Vol. 12. P. 65–76. https://doi.org/10.1016/0094-114X(77)90058-1

4. Alpatov A. P., Khoroshylov S. V., Maslova A. I. Contactless de-orbiting of space debris by the ion beam. Dynamics and control. Kyiv: Akademperiodyka, 2019. 170 p. https://doi.org/10.15407/akademperiodyka.383.170

5. Vassar R. H., Sherwood R. B. Formationkeeping for a pair of satellites in a circular orbit. Journal of Guidance, Control, and Dynamics. 1985. Vol. 8(2). P. 235–242. https://doi.org/10.2514/3.19965

6. Redding D. C., Adams N. J., Kubiak E. T. Linear quadratic stationkeeping for the STS orbiter. Charles Stark Draper Laboratory, Cambridge, MA, Kept. CSDL-R-1879, June 1986. https://doi.org/10.2514/6.1986-2222

7. Dwidar H. R., Owis A. H. Relative Motion of Formation Flying with Elliptical Reference Orbit. International Journal of Advanced Research in Artificial Intelligence. 2013. Vol. 2(6). P. 79–86. https://doi.org/10.14569/IJARAI.2013.020613

8. Peng H., Zhao J., Wu Z., Zhong W. Optimal periodic controller for formation flying on libration point orbits. Acta Astronaut. 2011. Vol. 69. P. 537–550. https://doi.org/10.1016/j.actaastro.2011.04.020

9. Starin R. S., Yedavalli R. K., Sparks A. G. Spacecraft formation flying maneuvers using linear-quadratic regulation with no radial axis inputs. AIAA Paper. August 2001. P. 2001–4029. https://doi.org/10.2514/6.2001-4029

10. Kumara K. D., Bang H. C., Tahk M. J. Satellite formation flying using along-track thrust. Acta Astronautica. 2007. Vol. 61 (7-8). P. 553–564. https://doi.org/10.1016/j.actaastro.2007.01.069

11. Alpatov A., Khoroshylov S., Bombardelli C., Relative Control of an Ion Beam Shepherd Satellite Using the Impulse Compensation Thruster. Acta Astronautica. 2018. Vol. 151. P. 543–554. https://doi.org/10.1016/j.actaastro.2018.06.056

12. Khoroshylov S. Relative control of an ion beam shepherd satellite in eccentric orbits. Acta Astronautica. 2020. Vol. 176. P. 89–98. https://doi.org/10.1016/j.actaastro.2020.06.027

13. Haarnoja T., Zhou A., Abbeel P., Levine S. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. 2018. arXiv preprint arXiv:1801.01290.

14. Jaderberg M., Mnih V., Czarnecki W.M., Schaul T., Leibo J.Z., Silver D., Kavukcuoglu K. Reinforcement learning with unsupervised auxiliary tasks. 2016 arXiv preprint arXiv:1611.05397.

15. Khadka S., Tumer K. Evolution-guided policy gradient in reinforcement learning. Advances in Neural Information Processing Systems. 2018. P. 1196–1208.

16. Nair A., McGrew B. Andrychowicz M., Zaremba W., Abbeel P. Overcoming exploration in reinforcement learning with demonstrations. 2018 IEEE International Conference on Robotics and Automation (ICRA) .2018. P. 6292–6299. https://doi.org/10.1109/ICRA.2018.8463162

17. Kober J., Bagnell J. A., Peters J. Reinforcement learning in robotics: A survey. International Journal of Robotic Research. 2013. Vol. 32(11). P. 1238–1274. https://doi.org/10.1177/0278364913495721

18. Хорошилов С. В., Редька M. O. Інтелектуальне керування орієнтацією космічних апаратів із використанням навчання з підкріпленням. Технічна механіка. 2019. № 4. С. 29–43. https://doi.org/10.15407/itm2019.04.029

19. Yamanaka K., Ankersen F. New State Transition Matrix for Relative Motion on an Arbitrary Elliptical Orbit. Journal of Guidance, Control, and Dynamics. 2002. Vol. 25 (1). P. 60–66. https://doi.org/10.2514/2.4875

20. Lewis F.L., Vrabie D., Syrmos V.L. Optimal Control, 3rd Edition. NY: John Wiley & Sons, Inc., 2012. https://doi.org/10.1002/9781118122631

21. Sutton R.S., Barto A.G. Reinforcement learning: an introduction. MIT press, 1998. 338 p.

22. Glorot X., Bengio Y. Understanding the difficulty of training deep feedforward neural networks. Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010. P. 249–256.

Copyright (©) 2020 Хорошилов С. В., Редька М. О.

Copyright © 2014-2020 Технічна механіка