+

KR20240091474A - Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법 - Google Patents

Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법 Download PDF

Info

Publication number
KR20240091474A
KR20240091474A KR1020220174428A KR20220174428A KR20240091474A KR 20240091474 A KR20240091474 A KR 20240091474A KR 1020220174428 A KR1020220174428 A KR 1020220174428A KR 20220174428 A KR20220174428 A KR 20220174428A KR 20240091474 A KR20240091474 A KR 20240091474A
Authority
KR
South Korea
Prior art keywords
packet
value
ieee
reinforcement learning
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020220174428A
Other languages
English (en)
Inventor
정상화
이시현
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020220174428A priority Critical patent/KR20240091474A/ko
Publication of KR20240091474A publication Critical patent/KR20240091474A/ko
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]
    • H04W74/0816—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA] with collision avoidance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법에 관한 것으로, IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택을 적어도 하나의 프로세서를 포함하는 전자 장치가, Q-learning 모듈로 행동 값 요청하여 행동값을 수신하고, PHY 계층 모듈로 패킷 전송을 요청하고, PHY 계층 모듈과 채널 정보를 송수신하는 MAC 계층 모듈;Q-table을 포함하고, 상태 유지, 행동 선택, 보상 관리를 수행하고 Q(s,a)값을 유지하는 Q-learning 모듈;MAC 계층 모듈로부터 패킷의 송신요청을 받고 또 다른 패킷 수신시에 상위 계층인 MAC 계층으로 패킷을 전달하는 PHY 계층 모듈;을 포함하는 것이다.

Description

IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법{IEEE 802.15.4 Unslotted CSMA/CA Reinforcement Learning-based Dynamic Backoff Parameter Selection Device and Method for Massive IoT}
본 발명은 대규모 사물인터넷에 관한 것으로, 구체적으로 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법에 관한 것이다.
사물인터넷은 21세기 생활에서 무선네트워크를 통하여 다양한 사물이 핵심 네트워크에 연결되어 정보를 교환할 수 있다.
사람들은 다양한 유형의 사물인터넷 기술을 사용하여 먼 거리에서도 원격으로 사물의 동작을 관리하거나 모니터링할 수 있다.
IoT 기반 시스템은 지난 몇 년 동안 산업계에서 확산되어 스마트홈, 스마트 교통, 스마트 병원 등 스마트 시티와 같은 여러 애플리케이션으로 발전하였다.
이러한 애플리케이션의 급속한 확산으로 인하여 무선 네트워크에 대한 데이터 트래픽의 수요가 폭발적으로 증가하고 있다. 이처럼 대기시간에 덜 민감하고, 처리량 요구사항은 낮지만, 적용범위가 우수한 네트워크에서의 대량의 IoT기기들을 통칭 mIoT(massive IoT)라고 칭한다.
한편, 스마트 시티 등에 적용되는 IoT 장치들은 장기간에도 인력에 의한 관리가 적은 저전력 광역네트워크(LPWAN, Low Power Wide Area Network)를 구성하고자 한다. 저전력 광역네트워크에 대한 수요에 의해 IEEE에서는 IEEE 802.15.4 기술 표준을 제정하였다. IEEE 802.15.4 기술 표준은 물리계층인 PHY계층과 더불어 데이터의 충돌 회피 기술을 포함하는 MAC계층을 포함하는 기술표준으로써 저전력 광역 네트워크를 지원한다.
IEEE 802.15.4 기술표준은 IEEE 802.11과 IEEE 802.15.3 기술표준과 마찬가지로 CSMA/CA(Carrier Sensing Multiple Access/Collision Avoidance)를 사용한다.
CSMA/CA는 슬롯기반(Slotted)과 비슬롯기반(Unslotted)로 구분하는데 중요한 차이점은 비컨에 의한 시간동기화 여부이다.
대규모 IoT에서는 다수의 IoT기기들의 시간동기화에 필요한 비컨에 대한 오버헤드 등의 이유로 비슬롯기반 방식이 Wi-SUN(Wireless Smart-metering Utility Network), Zig-bee 등의 기술에 채택 되었다.
도 1은 IEEE 802.15.4의 Unslotted CSMA/CA 알고리즘 흐름도이다.
패킷을 전송하고자 하는 노드는 채널에 접근하기 이전에 Unslotted CSMA/CA 알고리즘을 통해 채널에 대한 접근 권한을 얻어 전송할 수 있다.
각 전송 노드는 전송 시점으로부터 [0, ] 범위의 Backoff 값을 무작위로 선택하여 해당 기간만큼 전송을 지연시킨다. 이후 CCA(Channel Clear Access)를 실시하여 접근하고자 하는 채널에 대해 유휴(idle)상태인지 판단한다.
채널이 유휴하다면 노드는 채널에 대한 접근 권한을 승인받고 패킷을 전송 할 수 있다. 유휴하지 않다면 BE값을 1만큼 증가시키고 더 넓은 범위에서 랜덤하게 백오프값을 정하여 CCA를 재시도하며, 최대 재시도 기회에 도달할 때까지 반복 할 수 있다.
표 1은 비슬롯 CSMA/CA의 알고리즘 파라미터를 나타낸 것이다.
macMaxFrameRetries는 패킷의 재전송 기회를 의미하며, macMaxCSMABackoffs는 단일 패킷에 대한 채널 유휴여부 판단 기회를 의미한다. 그리고 macMaxBE와 macMinBE는 각각 백오프 지수의 최댓값과 최소값이다.
CSMA/CA 알고리즘은 경쟁기반(Contention Based) 프로토콜로써 표 1의 파라미터들을 적절하게 조절하면 패킷의 충돌확률, 지연시간과 같은 네트워크 성능을 개선할 수 있음은 여러 연구들을 통해 확인되었다.
그러나 대부분 특정 환경에 대한 정적인 파라미터들을 적용하여 성능 최적화를 이루었다. 또한 다른 연구들은 네트워크에 패킷을 추가적으로 교환 혹은 중앙제어장치에 의한 제어 패킷들을 통하여 적절한 파라미터를 제공받는 연구가 존재한다.
정적인 파라미터 조절방식은 네트워크 환경이 변화하면 사용자에 의해 파라미터를 조절해야 한다는 문제점이 있다.
또한, 추가적인 패킷 전송을 통한 방식의 문제점은 네트워크에 추가적인 부하가 가해진다는 문제점이 존재한다.
따라서, mIoT와 같은 많은 수의 IoT 장치를 가지는 네트워크 환경에서 경쟁이 심화되어도 성능을 일정수준 이상 보장할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2009-0022366호 대한민국 등록특허 제10-0813884호 대한민국 등록특허 제10-2308799호
본 발명은 종래 기술의 대규모 사물인터넷 기술의 문제점을 해결하기 위한 것으로, 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 채널 접근 경쟁이 심화되었을 때 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하여 MAC 계층의 성능을 향상시켜 많은 수의 IoT 장치를 가지는 네트워크 환경에서는 경쟁이 심화되어도 성능을 일정수준 이상 보장할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 각 노드는 전송에 성공 여부에 따라 macMinBE값에 대한 보상 누적 값을 얻을 수 있으며, 네트워크에 경쟁 노드가 많아질수록 점차 높은 macMinBE값을 선택할 수 있어 노드 스스로 학습을 통하여 파라미터를 적절히 조절하는 것에 의해 패킷전송률, 지연시간 측면에서 우수한 특성을 확보할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 네트워크의 각 노드들은 추가적인 오버헤드, 사용자의 파라미터 조정 없이 학습된 정보에 기반하여 자율적으로 macMinBE값을 조율하여 경쟁이 심화되어도 성능을 보장할 수 있도록 한 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택을 적어도 하나의 프로세서를 포함하는 전자 장치가, Q-learning 모듈로 행동 값 요청하여 행동값을 수신하고, PHY 계층 모듈로 패킷 전송을 요청하고, PHY 계층 모듈과 채널 정보를 송수신하는 MAC 계층 모듈;Q-table을 포함하고, 상태 유지, 행동 선택, 보상 관리를 수행하고 Q(s,a)값을 유지하는 Q-learning 모듈;MAC 계층 모듈로부터 패킷의 송신요청을 받고 또 다른 패킷 수신시에 상위 계층인 MAC 계층으로 패킷을 전달하는 PHY 계층 모듈;을 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 방법은 적어도 하나의 프로세서를 포함하는 전자 장치에서 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택을 위한 동작이 수행되고, 채널 접근부와 Q-learning 모듈을 통하여 minBE값이 선택되며, BE, NB, macMaxCSMABackoffs 변수를 초기화하는 단계;채널 접근부를 통해 [0, 2BE-1]의 백오프 범위에서 무작위 시간동안 백오프 지연을 발생시키는 단계;채널 감지부를 통해 채널 정보의 유휴함을 송수신하는 단계;채널 유휴를 판단하여 채널이 유휴하다면, MAC계층 관리부와 패킷 송수신부를 통해 패킷을 전송하는 단계;패킷 송수신부, MAC 계층 관리부를 통해 ACK 메시지의 수신여부를 판단하여 결과 정보를 상태 유지부로 전달하는 단계;상태 유지부와 보상 관리부를 통해 Q-table을 업데이트하는 단계;를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한다.
둘째, 채널 접근 경쟁이 심화되었을 때 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하여 MAC 계층의 성능을 향상시켜 많은 수의 IoT 장치를 가지는 네트워크 환경에서는 경쟁이 심화되어도 성능을 일정수준 이상 보장할 수 있도록 한다.
셋째, 각 노드는 전송에 성공 여부에 따라 macMinBE값에 대한 보상 누적 값을 얻을 수 있으며, 네트워크에 경쟁 노드가 많아질수록 점차 높은 macMinBE값을 선택할 수 있어 노드 스스로 학습을 통하여 파라미터를 적절히 조절하는 것에 의해 패킷전송률, 지연시간 측면에서 우수한 특성을 확보할 수 있도록 한다.
넷째, 네트워크의 각 노드들은 추가적인 오버헤드, 사용자의 파라미터 조정 없이 학습된 정보에 기반하여 자율적으로 macMinBE값을 조율하여 경쟁이 심화되어도 성능을 보장할 수 있도록 한다.
도 1은 IEEE 802.15.4의 Unslotted CSMA/CA 알고리즘 흐름도
도 2는 강화학습 모델 구성도
도 3은 macMinBE값과 경쟁 노드 수에 따른 패킷 전송률 변화 그래프
도 4는 본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 장치의 구성도
도 5는 본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 방법을 나타낸 플로우 차트
도 6은 경쟁 노드 수 변화에 따른 패킷전송률 그래프
도 7은 경쟁 노드 수 변화에 따른 지연시간 그래프
도 8은 본 발명에 따른 경쟁 노드수 변화에 따른 MinBE선택 비율 그래프
이하, 본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 2는 강화학습 모델 구성도이다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
특히, 적어도 하나의 기능이나 동작을 처리하는 단위들은 적어도 하나의 프로세서를 포함하는 전자 장치로 구현될 수 있고, 기능이나 동작을 처리하는 방식에 따라 전자 장치에 적어도 하나의 주변 장치가 연결될 수 있다. 주변 장치들은 데이터 입력 장치, 데이터 출력 장치, 데이터 저장 장치를 포함할 수 있다.
본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법은 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한 것이다.
이를 위하여, 본 발명은 많은 수의 IoT 장치를 가지는 네트워크 환경에서는 경쟁이 심화되어도 성능을 일정수준 이상 보장할 수 있도록 채널 접근 경쟁이 심화되었을 때 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하여 MAC 계층의 성능을 향상시키는 구성을 포함할 수 있다.
본 발명은 패킷전송률, 지연시간 측면에서 우수한 특성을 확보할 수 있도록 하기 위하여, 각 노드는 전송에 성공 여부에 따라 macMinBE값에 대한 보상 누적 값을 얻고, 네트워크에 경쟁 노드가 많아질수록 점차 높은 macMinBE값을 선택할 수 있어 노드 스스로 학습을 통하여 파라미터를 적절히 조절하는 구성을 포함할 수 있다.
본 발명은 네트워크의 각 노드들은 추가적인 오버헤드, 사용자의 파라미터 조정 없이 학습된 정보에 기반하여 자율적으로 macMinBE값을 조율하여 경쟁이 심화되어도 성능을 보장할 수 있도록 하는 구성을 포함할 수 있다.
이하의 설명에서 macMaxFrameRetries는 패킷의 재전송 기회를 의미하며, macMaxCSMABackoffs는 단일 패킷에 대한 채널 유휴여부 판단 기회를 의미한다. 그리고 macMaxBE와 macMinBE는 각각 백오프 지수의 최댓값과 최소값이다.
도 2에서 나타낸 강화학습(Reinforcement Learning)은 MDP(Markov Decision Process) 기반의 최적화 개념과 동물심리학 개념(trial-and-error)을 결합한 인공지능 기반 기계학습 알고리즘 중 하나이며, 시스템 최적화 문제를 풀기 위해 많은 연구 및 개발이 이루어지고 있다.
또한, 강화학습은 모든 시스템 환경 정보를 담당하고 관여하는 시뮬레이션 혹은 시스템환경(Environment)을 중심으로 에이전트(Agent)가 환경에서 파생되는 데이터를 이용하여 보상함수(Reward Function)를 구성하고 이를 반복적으로 개선하여 최적의 목표를 달성하는 시스템 제어 방법이다.
이를 위해서 에이전트는 환경으로부터 파생되는 복수의 환경 상태(State) 변화, 에이전트의 행동(Action) 제어, 시스템 보상함수 설계, 정책(Policy) 개선 및 최적화(Optimization) 모델 도출이라는 유기적인 프로세스를 진행하여야 하며, 이에 따른 환경 상태 정의, 행동 결정, 보상함수 및 정책 설계 등의 학습 지표들이 잘 맞물려서 작동해야 좋은 학습 효과를 얻을 수 있다.
특히 강화학습은 무선네트워크의 동적 상황을 반영하여 학습시킬 수 있기에 무선네트워크 분야에서 사용할 수 있는 기계학습법이다. 강화학습의 요소로는 정책, 보상, 가치 함수, 환경, 주체가 있다. 정책은 주체의 행동을 결정짓는 방식을 정의하며, 보상은 주체의 행동에 의한 환경으로부터의 평가이다. 가치함수는 주체가 특정 상태(State)에서 이후 받을 수 있는 보상들의 감가가 더해진 값이다. 일반적으로 정책은 이 가치함수를 최대화 할 수 있는 방향으로 정해진다.
본 발명에서 사용될 Q-learning은 TD(Temporal-Difference)모델에 기반한 Off-policy 알고리즘이다.
가치 함수가 에이전트의 상태(s)에 대해서만 보상을 저장하는 것과는 다르게 는 에이전트의 상태, 행동까지 반영하여 보상을 저장한다.
값은 수학식 1 및 수학식 2에 의해 갱신되며 이 (s,a)의 Q-Table을 통하여 보상을 최대화 할 행동을 선택하는 정책을 가지게 된다.
비슬롯 CSMA/CA는 경쟁기반 채널접근 프로토콜이기에 채널에 접근하고자 하는 노드 수가 많아질수록 채널이 점유되어 있을 확률과 설령 패킷을 전송하여도 패킷의 충돌 확률이 높아진다.
즉, mIoT와 같은 많은 수의 IoT 장치를 가지는 네트워크 환경에서는 경쟁이 심화되어도 성능을 일정수준 이상 보장되어야 한다.
IEEE 802.15.4에서 주어진 표 1과 같은 파라미터들은 기본 값을 가지고 있으나 이는 채널 접근 경쟁이 심화되었을 때를 반영하지 못한다.
본 발명은 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절함으로써 MAC 계층의 성능 향상을 목표로 한다.
강화학습 설계의 주요 4요소는 도 2에서의 주체(agent), 상태(state), 행동(action), 보상(reward)이다. 주체는 학습의 대상이며, 상태(state)는 학습 주체가 바라보는 환경이다. 즉, 무엇을 보고 행동을 할 것 인가이며, 행동은 주체가 현재 상태에서 어떤 동작을 할 것 인지이며, 보상은 현재 상태에 대해 어떤 행동을 하였느냐에 대한 환경(environment)으로부터의 평가이다.
본 발명에서의 주체는 네트워크의 노드들이며, 상태는 패킷 전송률, 행동은 표 1의 macMinBE값을 선택하는 것이 행동이며, 보상은 패킷 전송 후 ACK메시지의 수신여부에 따라 달라진다. ACK메시지는 부모노드가 성공적으로 패킷을 수신했을 때 보내는 메시지이다. 상태, 행동, 보상에 대한 구체적인 사항은 다음과 같다.
본 발명에서의 상태는 수학식 3을 따른다.
수학식 3은 패킷 전송률의 수식이며, 0~20까지의 정수값을 가짐으로써 상태의 개수는 21개이다. 즉, 학습의 주체인 노드는 현재 자신의 패킷 전송률을 관찰하여 행동하게 된다.
본 발명에서의 행동은 macMinBE값을 선택하는 것이다.
macMinBE값은 CSMA/CA 알고리즘이 시작될 때 BE(Backoff Exponential)값에 적용 되는 값이다. 예를 들어, macMinBE값이 표 1의 기본 값인 3일 때, CSMA/CA알고리즘 실행 시 3으로 초기화 되어 [0, 23-1]범위 내에서 백오프 시간을 무작위로 선택하게 된다.
도 3은 macMinBE값과 경쟁 노드 수에 따른 패킷 전송률 변화 그래프이다.
macMinBE값은 [도 3에서와 같이 경쟁 노드수가 증가할수록 높은 값을 가지는 것이 유리하다. 그 이유는 경쟁 노드 수가 많아지면 많아질수록 백오프 시간의 선택지도 많아져 더 넓은 범위에서 시작하는 것이 유리하기 때문이다.
예를 들어, 노드 수가 50개일 때 50개의 노드가 [0, 23-1]범위의 8개의 백오프 선택지에서 고르는 것 보다 [0, 28-1]범위의 255개의 백오프 선택지에서 고르는 것이 패킷 충돌 확률이 적기 때문이다.
행동의 선택은 Q-learning의 Q-값 배열에서 최댓값을 가지는 값이 선택된다.
Q-값 배열은 행으로 행동, 열로 상태에 대한 보상 값을 축적한다.
본 발명에서의 상태는 각 노드의 패킷 전송률이고, 행동은 시작 시 초기화 되는 macMinBE값이므로, Q-값 테이블의 각 요소는 각 노드의 패킷 전송률에 따른 macMinBE값을 적용했을 때의 보상 값의 축적치 이다.
그러므로 각 노드는 현재 패킷 전송률에서 보상 값의 축적치 중 가장 높은 행동을 취한다.
본 발명에서의 보상은 행동에서 설명하였듯이 각 노드의 패킷 전송률에 따른 macMinBE값을 적용했을 때의 결과 값이다.
보상 값에 대한 설계는 행동을 선택함에 있어서 직접적으로 영향을 미친다.
본 발명에서의 보상은 전송 후 ACK 메시지의 수신여부에 따라 달라진다. 전송 후 ACK수신에 성공하면 수학식 4를 통해 보상을 받고, 노드가 전송에 성공한 BE값보다 큰 BE값들에 대해서는 수학식 5를 통해 패널티를 가한다.
반대로 전송 후 ACK수신에 실패하면 수학식 6을 통해 보상을 받고, 노드가 전송에 실패한 BE값보다 큰 BE값들에 대해서는 수학식 7을 통해 보상을 준다.
S는 State, 즉 패킷 전송률이다. 20/S는 패킷 전송률이 낮을수록 패킷의 전송 성공 혹은 실패에 대한 보상을 유동적으로 주기 위함이다.
NB는 노드가 실행한 CSMA/CA의 횟수이며, MaxNB는 최대로 실행할 수 있는 CSMA/CA 횟수이다. 즉 CSMA/CA를 적게 시도할수록 가해지는 패널티가 적다.
마지막으로 A는 Action, 즉 노드가 선정한 macMinBE값이며 MaxBE는 최대로 선택할 수 있는 BE값이다. 즉 낮은 BE값에서 전송이 성공할수록 가해지는 패널티가 적다.
기타 파라미터 값 변경은 다음과 같다.
macMaxBE값은 강화학습 Agent의 자율성을 보장하기 위하여 표 1의 최대치인 8을 적용한다.
macMaxCSMABackoffs 값은 Agent가 어떤 macMinBE값을 선택하여도 최대치인 macMaxBE값 8까지 탐색할 수 있도록 수학식 8을 적용한다.
도 4는 본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 장치의 구성도이다.
본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 장치는 크게, MAC 계층 모듈(200), Q-learning 모듈(100), PHY 계층 모듈(300)로 이뤄져 있다.
MAC 계층 모듈(200)은 채널 접근부(50), MAC 계층 관리부(60)을 포함한다.
채널 접근부(50)에서는 Q-learning 모듈(100)의 행동 선택부(30)에게 행동 값 요청하고 행동값을 수신하고, MAC 계층 관리부(60)로 패킷 전송을 요청 한다.
또한 CCA를 위하여 PHY 계층 모듈(300)의 채널 감지부(70)와 채널 정보를 송수신한다.
MAC 계층 관리부(60)에서는 채널 접근부(50)로부터 패킷 전송 요청을 수신하여 PHY 계층 모듈(300)의 패킷 송수신부(80)로 패킷 전송을 요청한다.
그리고 Q-learning 모듈(100)은 Q-table(10), 행동 선택부(30), 상태 유지부(40), 보상 관리부(20)를 포함한다.
Q-table(10)은 상태 유지부(40), 행동 선택부(30), 보상 관리부(20)와의 유기적인 정보 교환으로 Q(s,a)값을 유지한다.
행동 선택부(30)에서는 채널 접근부(50)로의 행동 값 요청을 수신하고, 이에 따라 상태 유지부(40)로부터 상태값을 확인하여 Q-table(10)을 참조, 최대 Q(s,a)값을 가지는 행동을 반환한다.
상태 유지부(40)는 MAC 계층 모듈(200)에서 송신 요청한 패킷의 성공 여부 정보를 수신하여 상태를 수시로 갱신하여 유지시킨다.
보상 관리부(20)는 행동 선택부(30)와 MAC 계층의 패킷 송신 결과 정보를 참조하여 보상을 발생시키고, 이를 Q-table(10)에 반영하여 갱신한다.
그리고 PHY 계층 모듈(300)의 패킷 송수신부(80)는 상위 계층인 MAC 계층 모듈(200)로부터 패킷의 송신요청을 받고 또 다른 패킷 수신시에 상위 계층인 MAC 계층으로 패킷을 전달하며, 채널 감지부(70)는 MAC 계층 모듈(200)의 채널 접근부(50)와 채널 정보를 송수신한다.
본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 방법을 구체적으로 설명하면 다음과 같다.
도 5는 본 발명에 따른 강화학습 기반 동적 백오프 파라미터 선택 방법을 나타낸 플로우 차트이다.
먼저, 채널 접근부(50)와 Q-learning 모듈(100)을 통하여 minBE값이 선택되며, BE, NB, macMaxCSMABackoffs 변수가 초기화된다.(S501)
이어, 채널 접근부(50)를 통해 [0, 2BE-1]의 백오프 범위에서 무작위 시간동안 백오프 지연을 발생시킨다.(S502)
그리고 채널 감지부(70)를 통해 채널 정보의 유휴함을 송수신한다.(S503)
이어, 채널 유휴를 판단하고(S504) 채널이 유휴하다면, MAC계층 관리부(60)와 패킷 송수신부(80)를 통해 패킷을 전송하고(S505), 패킷 송수신부(80), MAC 계층 관리부(60)를 통해 ACK 메시지의 수신여부를 판단하여(S506) 결과 정보를 상태 유지부(40)로 전달한다.(S507)
그리고 상태 유지부(40)와 보상 관리부(20)를 통해 Q-table이 업데이트 된다.(S510)
만약, 채널 유휴를 판단하여(S504) 채널이 유휴하지 않다면 채널 접근부(50)를 통해 다음 백오프 알고리즘을 진행할지에 대한 여부를 판단한다.(S508)(S509)
도 6은 경쟁 노드 수 변화에 따른 패킷전송률 그래프이다.
네트워크 시뮬레이터 3(ns-3)를 통해 본 발명의 성능을 측정한 결과는 다음과 같다.
성능은 ns-3의 IEEE 802.15.4기반인 LR-WPAN모델의 MAC계층과 CSMA/CA모듈 내에 본 발명을 적용하고, 종래 기술과의 성능을 비교하며, 노드들의 macMinBE 선택 빈도를 관찰한다.
노드들의 경쟁이 심화될 때를 가정하므로, 노드 수를 점차 증가시키며 패킷 전송률과 지연시간을 비교분석한다. 학습의 주체가 macMinBE값을 제대로 선택해야 하는지 비교하기 위해 macMaxBE과 macMaxCSMABackoffs는 각각 본 발명의 값과 동일한 8과 수학식 3을 따른다.
도 6에서 본 발명은 경쟁 노드 수 10개 이하에선 기존 CSMA/CA와 별 다르지 않은 모습을 보인다. 그러나 경쟁이 심화될수록 기존 기법의 패킷전송률이 낮아지는 것 대비 하락폭이 감소함을 볼 수 있다. 이는 점차 macMinBE값을 적절하게 선택하고 있음을 의미한다. 또한 기존 알고리즘의macMinBE=(5,6)의 패킷전송률과 도 7의 지연시간을 교차 비교하면 지연시간은 발명기법이 항상 더 나음을 보이면서도 패킷 전송률은 점차 기존 기법을 추월하는 모습을 보인다. 즉, 기존 기법 대비 성능이 우수함을 알 수 있다.
도 7은 경쟁 노드 수 변화에 따른 지연시간 그래프이다.
도 8에서와 같이, 본 발명의 매커니즘은 경쟁 노드가 많아질수록 점차 높은 MinBE값을 선택함을 보인다.
도 8은 본 발명에 따른 경쟁 노드수 변화에 따른 MinBE선택 비율 그래프이다.
이를 통하여 경쟁 노드 수가 많아질수록 노드 스스로 학습을 통하여 파라미터를 적절히 조절할 수 있고, 종래 기술 대비 패킷전송률, 지연시간과 같은 성능 또한 우수하게 확보할 수 있다.
이상에서 설명한 본 발명에 따른 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법은 인공지능의 강화학습 기법인 Q-learning을 통하여 파라미터를 추가적인 패킷 부하 없이 조절할 수 있도록 한 것이다.
본 발명은 채널 접근 경쟁이 심화되었을 때 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하여 MAC 계층의 성능을 향상시켜 많은 수의 IoT 장치를 가지는 네트워크 환경에서는 경쟁이 심화되어도 성능을 일정수준 이상 보장할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. Q-learning 모듈
200. MAC 계층 모듈
300. PHY 계층 모듈

Claims (14)

  1. IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택을 적어도 하나의 프로세서를 포함하는 전자 장치가,
    Q-learning 모듈로 행동 값 요청하여 행동값을 수신하고, PHY 계층 모듈로 패킷 전송을 요청하고, PHY 계층 모듈과 채널 정보를 송수신하는 MAC 계층 모듈;
    Q-table을 포함하고, 상태 유지, 행동 선택, 보상 관리를 수행하고 Q(s,a)값을 유지하는 Q-learning 모듈;
    MAC 계층 모듈로부터 패킷의 송신요청을 받고 또 다른 패킷 수신시에 상위 계층인 MAC 계층으로 패킷을 전달하는 PHY 계층 모듈;을 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  2. 제 1 항에 있어서, MAC 계층 모듈은,
    Q-learning 모듈의 행동 선택부로 행동 값 요청하여 행동값을 수신하고, MAC 계층 관리부로 패킷 전송을 요청하고, CCA를 위하여 PHY 계층 모듈의 채널 감지부와 채널 정보를 송수신하는 채널 접근부와,
    채널 접근부로부터 패킷 전송 요청을 수신하여 PHY 계층 모듈의 패킷 송수신부로 패킷 전송을 요청하는 MAC 계층 관리부를 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  3. 제 1 항에 있어서, Q-learning 모듈은,
    상태 유지부, 행동 선택부, 보상 관리부와의 정보 교환으로 Q(s,a)값을 유지하는 Q-table과,
    MAC 계층 모듈의 채널 접근부로부터 행동 값 요청을 수신하여 상태 유지부로부터 상태값을 확인하여 Q-table을 참조하여 최대 Q(s,a)값을 가지는 행동을 반환하는 행동 선택부와,
    MAC 계층 모듈에서 송신 요청한 패킷의 성공 여부 정보를 수신하여 상태를 수시로 갱신하여 유지하는 상태 유지부와,
    행동 선택부와 MAC 계층의 패킷 송신 결과 정보를 참조하여 보상을 발생시키고, 이를 Q-table에 반영하여 갱신하는 보상 관리부를 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  4. 제 1 항에 있어서, PHY 계층 모듈은,
    상위 계층인 MAC 계층 모듈로부터 패킷의 송신요청을 받고 또 다른 패킷 수신시에 상위 계층인 MAC 계층으로 패킷을 전달하는 패킷 송수신부와,
    MAC 계층 모듈의 채널 접근부와 채널 정보를 송수신하는 채널 감지부를 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  5. 제 1 항에 있어서, Q-learning 모듈은,
    TD(Temporal-Difference)모델에 기반한 Off-policy 알고리즘을 사용하고,
    는 에이전트의 상태, 행동까지 반영하여 보상을 저장하고,
    값은,
    ,
    에 의해 갱신되며 이 (s,a)의 Q-Table을 통하여 보상을 최대화 할 행동을 선택하는 정책을 갖는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  6. 제 5 항에 있어서, Q-learning 모듈은,
    주체(agent), 상태(state), 행동(action), 보상(reward)의 강화학습 설계의 요소를 갖고 MAC 계층의 성능 향상을 목표로 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하고,
    macMaxCSMABackoffs는 단일 패킷에 대한 채널 유휴여부 판단 기회, macMaxBE와 macMinBE는 각각 백오프 지수의 최댓값과 최소값인 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  7. 제 6 항에 있어서, 주체는 네트워크의 노드들이고,
    상태는 패킷 전송률,
    행동은 macMinBE값을 선택하는 것이고,
    보상은 패킷 전송 후 부모노드가 성공적으로 패킷을 수신했을 때 보내는 ACK 메시지의 수신여부에 따라 달라지는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  8. 제 7 항에 있어서, 상태는,
    으로 정의되고,
    학습의 주체인 노드는 현재 자신의 패킷 전송률을 관찰하여 행동하고,
    CSMA/CA 알고리즘이 시작될 때 BE(Backoff Exponential)값에 적용 되는 값인 macMinBE값을 선택하는 행동을 하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  9. 제 8 항에 있어서, 행동의 선택은 Q-learning의 Q-값 배열에서 최댓값을 가지는 값이 선택되고,
    Q-값 배열은 행으로 행동, 열로 상태에 대한 보상 값을 축적하고,
    Q-값 테이블의 각 요소는 각 노드의 패킷 전송률에 따른 macMinBE값을 적용했을 때의 보상 값의 축적치이고,
    각 노드는 현재 패킷 전송률에서 보상 값의 축적치 중 가장 높은 행동을 취하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  10. 제 7 항에 있어서, 보상은 전송 후 ACK 메시지의 수신여부에 따라 달라지고,
    전송 후 ACK수신에 성공하면
    를 통해 보상을 받고, 노드가 전송에 성공한 BE값보다 큰 BE값들에 대해서는
    를 통해 패널티를 가하고,
    전송 후 ACK수신에 실패하면
    를 통해 보상을 받고, 노드가 전송에 실패한 BE값보다 큰 BE값들에 대해서는
    를 통해 보상을 주는 것이고,
    S(State)는 패킷 전송률, NB는 노드가 실행한 CSMA/CA의 횟수이며, MaxNB는 최대로 실행할 수 있는 CSMA/CA 횟수이고, A(Action)는,노드가 선정한 macMinBE값이며 MaxBE는 최대로 선택할 수 있는 BE값인 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치.
  11. 적어도 하나의 프로세서를 포함하는 전자 장치에서 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택을 위한 동작이 수행되고,
    채널 접근부와 Q-learning 모듈을 통하여 minBE값이 선택되며, BE, NB, macMaxCSMABackoffs 변수를 초기화하는 단계;
    채널 접근부를 통해 [0, 2BE-1]의 백오프 범위에서 무작위 시간동안 백오프 지연을 발생시키는 단계;
    채널 감지부를 통해 채널 정보의 유휴함을 송수신하는 단계;
    채널 유휴를 판단하여 채널이 유휴하다면, MAC계층 관리부와 패킷 송수신부를 통해 패킷을 전송하는 단계;
    패킷 송수신부, MAC 계층 관리부를 통해 ACK 메시지의 수신여부를 판단하여 결과 정보를 상태 유지부로 전달하는 단계;
    상태 유지부와 보상 관리부를 통해 Q-table을 업데이트하는 단계;를 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 방법.
  12. 제 11 항에 있어서, 채널 유휴를 판단하여 채널이 유휴하지 않다면,
    채널 접근부를 통해 다음 백오프 알고리즘을 진행할지에 대한 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 방법.
  13. 제 11 항에 있어서, Q-learning 모듈은,
    주체(agent), 상태(state), 행동(action), 보상(reward)의 강화학습 설계의 요소를 갖고 MAC 계층의 성능 향상을 목표로 macMaxBE, macMaxCSMABackoffs, macMinBE값을 조절하고,
    macMaxCSMABackoffs는 단일 패킷에 대한 채널 유휴여부 판단 기회, macMaxBE와 macMinBE는 각각 백오프 지수의 최댓값과 최소값인 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 방법.
  14. 제 13 항에 있어서, 주체는 네트워크의 노드들이고,
    상태는 패킷 전송률,
    행동은 macMinBE값을 선택하는 것이고,
    보상은 패킷 전송 후 부모노드가 성공적으로 패킷을 수신했을 때 보내는 ACK 메시지의 수신여부에 따라 달라지는 것을 특징으로 하는 IEEE 802.15.4 비슬롯 CSMA/CA의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 방법.
KR1020220174428A 2022-12-14 2022-12-14 Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법 Ceased KR20240091474A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220174428A KR20240091474A (ko) 2022-12-14 2022-12-14 Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220174428A KR20240091474A (ko) 2022-12-14 2022-12-14 Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20240091474A true KR20240091474A (ko) 2024-06-21

Family

ID=91700651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220174428A Ceased KR20240091474A (ko) 2022-12-14 2022-12-14 Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20240091474A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813884B1 (ko) 2006-10-10 2008-03-18 전자부품연구원 우선순위를 지원하는 확률 기반 매체 접근 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
KR20090022366A (ko) 2007-08-30 2009-03-04 주식회사 케이티 무선 센서 네트워크에서의 백오프 시간 결정 방법 및 이를이용한 채널 접근 방법
KR102308799B1 (ko) 2020-07-10 2021-10-01 영남대학교 산학협력단 사물 인터넷 네트워크 환경에서 mac 계층 충돌 학습을 기초로 전달 경로를 선택하는 방법, 이를 수행하기 위한 기록 매체 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813884B1 (ko) 2006-10-10 2008-03-18 전자부품연구원 우선순위를 지원하는 확률 기반 매체 접근 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
KR20090022366A (ko) 2007-08-30 2009-03-04 주식회사 케이티 무선 센서 네트워크에서의 백오프 시간 결정 방법 및 이를이용한 채널 접근 방법
KR102308799B1 (ko) 2020-07-10 2021-10-01 영남대학교 산학협력단 사물 인터넷 네트워크 환경에서 mac 계층 충돌 학습을 기초로 전달 경로를 선택하는 방법, 이를 수행하기 위한 기록 매체 및 장치

Similar Documents

Publication Publication Date Title
Sharma et al. Collaborative distributed Q-learning for RACH congestion minimization in cellular IoT networks
De Guglielmo et al. A performance analysis of the network formation process in IEEE 802.15. 4e TSCH wireless sensor/actuator networks
US8027327B2 (en) Distributed scheduling in wireless networks with service differentiation
Bhar A Mac protocol implementation for wireless sensor network
CN107370550B (zh) 面向实时WiFi的基于信道统计信息的速率自适应方法
KR102664367B1 (ko) Wi-SUN에서의 강화학습을 이용한 비슬롯 기반 CSMA/CA 최적화를 위한 장치 및 방법
Pacheco-Paramo et al. Deep reinforcement learning mechanism for dynamic access control in wireless networks handling mMTC
Ali et al. Performance optimization of QoS-supported dense WLANs using machine-learning-enabled enhanced distributed channel access (MEDCA) mechanism
Ndih et al. An analytical model for the contention access period of the slotted IEEE 802.15. 4 with service differentiation
Pacheco-Paramo et al. Delay-aware dynamic access control for mMTC in wireless networks using deep reinforcement learning
Beaver et al. Power-aware in-network query processing for sensor data
Dutta IEEE 802.15. 4 as the MAC protocol for internet of things (IoT) applications for achieving QoS and energy efficiency
Zhang et al. A blind adaptive tuning algorithm for reliable and energy-efficient communication in IEEE 802.15. 4 networks
Kone et al. Adaptive management of energy consumption, reliability and delay of wireless sensor node: Application to IEEE 802.15. 4 wireless sensor node
KR20240091474A (ko) Ieee 802.15.4 비슬롯 csma/ca의 대규모 사물인터넷을 위한 강화학습 기반 동적 백오프 파라미터 선택 장치 및 방법
Qureshi et al. FuCWO: a novel fuzzy-based approach of contention window optimization for IEEE-802.15. 6 WBANs
Zhu et al. Delay analysis for IEEE 802.15. 4 CSMA/CA scheme with heterogeneous buffered traffic
CN105792287B (zh) 无线体域网的保护时隙自适应分配及性能评价方法
Constante et al. Enhanced association mechanism for IEEE 802.15. 4 networks
Kuo et al. Performance enhancement of IEEE 802.11 DCF using novel backoff algorithm
Orozco-Barbosa Performance study of the IEEE 802.15. 6 slotted aloha mechanism with power control in a multiuser environment
Mouzehkesh et al. Traffic aware fuzzy-tuned delay range for wireless body area networks medium access control protocol (MAC)
Li et al. Constrained Flooding Based on Time Series Prediction and Lightweight GBN in BLE Mesh
Zuo et al. PDCF-DRL: a contention window backoff scheme based on deep reinforcement learning for differentiating access categories
Vanitha et al. Game theory and fuzzy based back off algorithm for MAC protocol for multi traffic flows in ad hoc networks

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载