fix mqtt

.github/ISSUE_TEMPLATE/bug-report.md

@@ -0,0 +1,26 @@
+---
+name: Bug report
+about: Create a report to help us improve
+title: ''
+labels: ''
+assignees: ''
+
+---
+
+**Описание**
+A clear and concise description of what the bug is.
+
+**Версии систем**
+Enviroment: raspberry/linux/windows/macos/docker
+HA version: 
+mega_hacs version:
+megad firmware version:
+
+**Ожидаемое поведение**
+A clear and concise description of what you expected to happen.
+
+**Screenshots**
+If applicable, add screenshots to help explain your problem.
+
+**LOG**
+Прочитайте в документации как включить подробный лог интеграции и приложите его здесь

custom_components/mega/__init__.py

@@ -16,7 +16,7 @@ from homeassistant.helpers import config_validation as cv
 from homeassistant.components import mqtt
 from homeassistant.config_entries import ConfigEntry
 from .const import DOMAIN, CONF_INVERT, CONF_RELOAD, PLATFORMS, CONF_PORTS, CONF_CUSTOM, CONF_SKIP, CONF_PORT_TO_SCAN, \
-    CONF_MQTT_INPUTS, CONF_HTTP, CONF_RESPONSE_TEMPLATE, CONF_ACTION, CONF_GET_VALUE
+    CONF_MQTT_INPUTS, CONF_HTTP, CONF_RESPONSE_TEMPLATE, CONF_ACTION, CONF_GET_VALUE, CONF_ALLOW_HOSTS
 from .hub import MegaD
 from .config_flow import ConfigFlow
 from .http import MegaView
@@ -26,6 +26,7 @@ _LOGGER = logging.getLogger(__name__)
 CONFIG_SCHEMA = vol.Schema(
     {
         DOMAIN: {
+            vol.Optional(CONF_ALLOW_HOSTS): [str],
             vol.Required(str, description='id меги из веб-интерфейса'): {
                 vol.Optional(int, description='номер порта'): {
                     vol.Optional(CONF_SKIP, description='исключить порт из сканирования', default=False): bool,
@@ -62,6 +63,7 @@ async def async_setup(hass: HomeAssistant, config: dict):
     """YAML-конфигурация содержит только кастомизации портов"""
     hass.data[DOMAIN] = {CONF_CUSTOM: config.get(DOMAIN, {})}
     hass.data[DOMAIN][CONF_HTTP] = view = MegaView(cfg=config.get(DOMAIN, {}))
+    view.allowed_hosts |= set(config.get(DOMAIN, {}).get(CONF_ALLOW_HOSTS, []))
     hass.http.register_view(view)
     hass.services.async_register(
         DOMAIN, 'save', partial(_save_service, hass), schema=vol.Schema({

custom_components/mega/config_flow.py

@@ -25,15 +25,15 @@ STEP_USER_DATA_SCHEMA = vol.Schema(
         vol.Optional(CONF_PORT_TO_SCAN, default=0): int,
         vol.Optional(CONF_MQTT_INPUTS, default=True): bool,
         vol.Optional(CONF_NPORTS, default=37): int,
-        vol.Optional(CONF_UPDATE_ALL, default=True): bool,
+        # vol.Optional(CONF_UPDATE_ALL, default=True): bool,
     },
 )
 
 
 async def get_hub(hass: HomeAssistant, data):
     _mqtt = hass.data.get(mqtt.DOMAIN)
-    if not isinstance(_mqtt, mqtt.MQTT):
-        raise exceptions.MqttNotConfigured("mqtt must be configured first")
+    # if not isinstance(_mqtt, mqtt.MQTT):
+    #     raise exceptions.MqttNotConfigured("mqtt must be configured first")
     hub = MegaD(hass, **data, lg=_LOGGER, mqtt=_mqtt, loop=asyncio.get_event_loop())
     hub.mqtt_id = await hub.get_mqtt_id()
     if not await hub.authenticate():

custom_components/mega/const.py

@@ -23,6 +23,7 @@ CONF_RESPONSE_TEMPLATE = 'response_template'
 CONF_ACTION = 'action'
 CONF_UPDATE_ALL = 'update_all'
 CONF_GET_VALUE = 'get_value'
+CONF_ALLOW_HOSTS = 'allow_hosts'
 PLATFORMS = [
     "light",
     "switch",

custom_components/mega/entities.py

@@ -59,7 +59,7 @@ class BaseMegaEntity(CoordinatorEntity, RestoreEntity):
             "config_entries": [
                 self.config_entry,
             ],
-            "name": f'port {self.port}',
+            "name": f'{self._mega_id} port {self.port}',
             "manufacturer": 'ab-log.ru',
             # "model": self.light.productname,
             # "sw_version": self.light.swversion,
@@ -155,10 +155,12 @@ class MegaOutPort(MegaPushEntity):
 
     @property
     def is_on(self) -> bool:
-        val = self.mega.values.get(self.port, {}).get("value")
+        val = self.mega.values.get(self.port, {})
+
         if val is None and self._state is not None:
             return self._state == 'ON'
         elif val is not None:
+            val = val.get("value")
             if not self.invert:
                 return val == 'ON' or str(val) == '1' or (safe_int(val) is not None and safe_int(val) > 0)
             else:
@@ -186,10 +188,11 @@ class MegaOutPort(MegaPushEntity):
         self.mega.values[self.port] = {'value': cmd}
         await self.get_state()
 
+
 def safe_int(v):
     if v in ['ON', 'OFF']:
         return None
     try:
         return int(v)
-    except ValueError:
+    except (ValueError, TypeError):
         return None

custom_components/mega/http.py

@@ -8,10 +8,10 @@ from aiohttp.web_request import Request
 from aiohttp.web_response import Response
 
 from homeassistant.helpers.template import Template
-from .const import EVENT_BINARY_SENSOR, CONF_HTTP, DOMAIN, CONF_CUSTOM, CONF_RESPONSE_TEMPLATE
+from .const import EVENT_BINARY_SENSOR, DOMAIN, CONF_RESPONSE_TEMPLATE
 from homeassistant.components.http import HomeAssistantView
-from homeassistant.core import callback, HomeAssistant
-from . import hub
+from homeassistant.core import HomeAssistant
+from .tools import make_ints
 
 _LOGGER = logging.getLogger(__name__).getChild('http')
 
@@ -26,8 +26,7 @@ class MegaView(HomeAssistantView):
     def __init__(self, cfg: dict):
         self._try = 0
         self.allowed_hosts = {'::1'}
-        self.callbacks: typing.DefaultDict[int, typing.List[typing.Callable[[dict], typing.Coroutine]]] \
-            = defaultdict(list)
+        self.callbacks = defaultdict(lambda: defaultdict(list))
         self.templates: typing.Dict[str, typing.Dict[str, Template]] = {
             mid: {
                 pt: cfg[mid][pt][CONF_RESPONSE_TEMPLATE]
@@ -62,9 +61,10 @@ class MegaView(HomeAssistantView):
         make_ints(data)
         port = data.get('pt')
         data = data.copy()
+        data['mega_id'] = hub.id
         ret = 'd'
         if port is not None:
-            for cb in self.callbacks[port]:
+            for cb in self.callbacks[hub.id][port]:
                 cb(data)
             template: Template = self.templates.get(hub.id, {}).get(port)
             if hub.update_all:
@@ -73,8 +73,7 @@ class MegaView(HomeAssistantView):
                 template.hass = hass
                 ret = template.async_render(data)
         _LOGGER.debug('response %s', ret)
-        ret = Response(body=ret or 'd', content_type='text/plain', headers={})
-        ret.headers.clear()
+        ret = Response(body=ret or 'd', content_type='text/plain', headers={'Server': 's', 'Date': 'n'})
         return ret
 
     async def later_update(self, hub):
@@ -83,13 +82,3 @@ class MegaView(HomeAssistantView):
         await hub.updater.async_refresh()
 
 
-def make_ints(d: dict):
-    for x in d:
-        try:
-            d[x] = float(d[x])
-        except ValueError:
-            pass
-    if 'm' not in d:
-        d['m'] = 0
-    if 'click' not in d:
-        d['click'] = 0

custom_components/mega/hub.py

@@ -14,9 +14,10 @@ from homeassistant.const import DEVICE_CLASS_TEMPERATURE, DEVICE_CLASS_HUMIDITY
 from homeassistant.core import HomeAssistant
 from homeassistant.helpers.entity import Entity
 from homeassistant.helpers.update_coordinator import DataUpdateCoordinator
-from .const import TEMP, HUM, PATT_SPLIT, DOMAIN, CONF_HTTP
+from .const import TEMP, HUM, PATT_SPLIT, DOMAIN, CONF_HTTP, EVENT_BINARY_SENSOR
 from .exceptions import CannotConnect, MqttNotConfigured
 from .http import MegaView
+from .tools import make_ints
 
 TEMP_PATT = re.compile(r'temp:([01234567890\.]+)')
 HUM_PATT = re.compile(r'hum:([01234567890\.]+)')
@@ -60,8 +61,9 @@ class MegaD:
     ):
         """Initialize."""
         if mqtt_inputs is None or mqtt_inputs == 'None' or mqtt_inputs is False:
-            self.http = hass.data[DOMAIN][CONF_HTTP]
-            self.http.allowed_hosts |= {host}
+            self.http = hass.data.get(DOMAIN, {}).get(CONF_HTTP)
+            if not self.http is None:
+                self.http.allowed_hosts |= {host}
         else:
             self.http = None
         self.update_all = update_all if update_all is not None else True
@@ -123,10 +125,16 @@ class MegaD:
         async with self.lck:
             self.entities.append(ent)
 
-    async def get_sensors(self):
+    async def get_sensors(self, only_list=False):
         self.lg.debug(self.sensors)
+        ports = []
         for x in self.sensors:
-            await self.get_port(x)
+            if only_list and x.http_cmd != 'list':
+                continue
+            if x.port in ports:
+                continue
+            await self.get_port(x.port, force_http=True, http_cmd=x.http_cmd)
+            ports.append(x.port)
 
     @property
     def is_online(self):
@@ -157,6 +165,7 @@ class MegaD:
         self.lg.debug('poll')
         if self.mqtt is None:
             await self.get_all_ports()
+            await self.get_sensors(only_list=True)
             return
         if len(self.sensors) > 0:
             await self.get_sensors()
@@ -188,7 +197,9 @@ class MegaD:
                     self.lg.warning('%s returned %s (%s)', url, req.status, await req.text())
                     return None
                 else:
-                    return await req.text()
+                    ret = await req.text()
+                    self.lg.debug('response %s', ret)
+                    return ret
 
     async def save(self):
         await self.send_command(cmd='s')
@@ -209,15 +220,20 @@ class MegaD:
             ret = {'value': ret}
         return ret
 
-    async def get_port(self, port):
+    async def get_port(self, port, force_http=False, http_cmd='get'):
         """
         Запрос состояния порта. Состояние всегда возвращается в виде объекта, всегда сохраняется в центральное
         хранилище values
         """
         self.lg.debug(f'get port %s', port)
-        if self.mqtt is None:
-            ret = await self.request(pt=port, cmd='get')
+        if self.mqtt is None or force_http:
+            ret = await self.request(pt=port, cmd=http_cmd)
             ret = self.parse_response(ret)
+            self.lg.debug('parsed: %s', ret)
+            if http_cmd == 'list' and isinstance(ret, dict) and 'value' in ret:
+                await asyncio.sleep(1)
+                ret = await self.request(pt=port, http_cmd=http_cmd)
+                ret = self.parse_response(ret)
             self.values[port] = ret
             return ret
 
@@ -275,9 +291,18 @@ class MegaD:
         value = None
         try:
             value = json.loads(msg.payload)
+            if isinstance(value, dict):
+                make_ints(value)
             self.values[port] = value
             for cb in self._callbacks[port]:
                 cb(value)
+            if isinstance(value, dict):
+                value = value.copy()
+                value['mega_id'] = self.id
+                self.hass.bus.async_fire(
+                    EVENT_BINARY_SENSOR,
+                    value,
+                )
         except Exception as exc:
             self.lg.warning(f'could not parse json ({msg.payload}): {exc}')
             return
@@ -292,7 +317,7 @@ class MegaD:
         if self.mqtt_inputs:
             self._callbacks[port].append(callback)
         else:
-            self.http.callbacks[port].append(callback)
+            self.http.callbacks[self.id][port].append(callback)
 
     async def authenticate(self) -> bool:
         """Test if we can authenticate with the host."""
@@ -346,7 +371,7 @@ class MegaD:
                 return pty, m
 
     async def scan_ports(self, nports=37):
-        for x in range(nports+1):
+        for x in range(0, nports+1):
             ret = await self.scan_port(x)
             if ret:
                 yield [x, *ret]
@@ -357,11 +382,15 @@ class MegaD:
         async for port, pty, m in self.scan_ports(nports):
             if pty == "0":
                 ret['binary_sensor'][port].append({})
-            elif pty == "1" and m in ['0', '1']:
+            elif pty == "1" and (m in ['0', '1', '3'] or m is None):
                 ret['light'][port].append({'dimmer': m == '1'})
             elif pty == '3':
                 try:
-                    values = await self.get_port(port)
+                    http_cmd = 'get'
+                    values = await self.get_port(port, force_http=True)
+                    if values is None or (isinstance(values, dict) and str(values.get('value')) in ('', 'None')):
+                        values = await self.get_port(port, force_http=True, http_cmd='list')
+                        http_cmd = 'list'
                 except asyncio.TimeoutError:
                     self.lg.warning(f'timout on port {port}')
                     continue
@@ -382,6 +411,7 @@ class MegaD:
                         unit_of_measurement=UNITS.get(key, UNITS[TEMP]),
                         device_class=CLASSES.get(key, CLASSES[TEMP]),
                         id_suffix=key,
+                        http_cmd=http_cmd,
                     ))
         return ret
 

custom_components/mega/manifest.json

@@ -10,7 +10,7 @@
   "ssdp": [],
   "zeroconf": [],
   "homekit": {},
-  "dependencies": [],
+  "after_dependencies": ["mqtt"],
   "codeowners": [
     "@andvikt"
   ],

custom_components/mega/sensor.py

@@ -101,6 +101,7 @@ class Mega1WSensor(MegaPushEntity):
             unit_of_measurement,
             device_class,
             key=None,
+            http_cmd='get',
             *args,
             **kwargs
     ):
@@ -115,8 +116,8 @@ class Mega1WSensor(MegaPushEntity):
         self.key = key
         self._device_class = device_class
         self._unit_of_measurement = unit_of_measurement
-        if self.port not in self.mega.sensors:
-            self.mega.sensors.append(self.port)
+        self.mega.sensors.append(self)
+        self.http_cmd = http_cmd
 
     @property
     def unit_of_measurement(self):
@@ -143,16 +144,30 @@ class Mega1WSensor(MegaPushEntity):
 
     @property
     def state(self):
+        ret = None
         if self.key:
-            ret = self.mega.values.get(self.port, {}).get('value', {}).get(self.key)
+            try:
+                ret = self.mega.values.get(self.port, {})
+                if isinstance(ret, dict):
+                    ret = ret.get(self.key)
+            except:
+                self.lg.error(self.mega.values.get(self.port, {}).get('value', {}))
+                return
         else:
             ret = self.mega.values.get(self.port, {}).get('value')
         if ret is None and self._state is not None:
             ret = self._state.state
+        try:
+            ret = float(ret)
+            ret = str(ret)
+        except:
+            ret = None
         return ret
 
     @property
     def name(self):
         n = super().name
-        c = self.customize.get(CONF_NAME, {}).get(self.key)
+        c = self.customize.get(CONF_NAME, {})
+        if isinstance(c, dict):
+            c = c.get(self.key)
         return c or n

custom_components/mega/strings.json

@@ -37,7 +37,8 @@
           "reload": "[%key:common::config_flow::data::reload%]",
           "invert": "[%key:common::config_flow::data::invert%]",
           "mqtt_inputs": "[%key:common::config_flow::data::mqtt_inputs%]",
-          "nports": "[%key:common::config_flow::data::nports%]"
+          "nports": "[%key:common::config_flow::data::nports%]",
+          "update_all": "[%key:common::config_flow::data::update_all%]"
         }
       }
     }

custom_components/mega/tools.py

@@ -0,0 +1,10 @@
+def make_ints(d: dict):
+    for x in d:
+        try:
+            d[x] = float(d[x])
+        except (ValueError, TypeError):
+            pass
+    if 'm' not in d:
+        d['m'] = 0
+    if 'click' not in d:
+        d['click'] = 0

custom_components/mega/translations/en.json

@@ -21,7 +21,8 @@
                     "scan_interval": "Scan interval (sec), 0 - don't update",
                     "port_to_scan": "Port to poll aliveness (needed only if no sensors used)",
                     "nports": "Number of ports",
-                    "update_all": "Update all outs when input"
+                    "update_all": "Update all outs when input",
+                    "mqtt_inputs": "Use MQTT"
                 }
             }
         }

readme.md

@@ -14,66 +14,6 @@
   большого кол-ва команд (например в сценах). Каждая следующая команда отправляется только после получения ответа о
   выполнении предыдущей.
 
-## Зависимости
-**Важно!!** Для максимальной совместимости необходимо настроить интеграцию [mqtt](https://www.home-assistant.io/integrations/mqtt/) 
-в HomeAssistant, а так же обновить ваш контроллер до последней версии, тк были важные обновления в части mqtt
-
-## HTTP in
-Начиная с версии `0.3.1` интеграция стала поддерживать обратную связь без mqtt, используя http-сервер. Для этого в настройках
-интеграции необходимо снять галку с `использовать mqtt`
-
-В самой меге необходимо прописать настройки:
-```yaml
-srv: "192.168.1.4:8123" # ip:port вашего HA
-script: "mega" # это api интеграции, к которому будет обращаться контроллер
-```
-
-Входы будут доступны как binary_sensor, а так же в виде событий `mega.sensor`.
-События можно обрабатывать так:
-```yaml
-- alias: some double click
-  trigger:
-    - platform: event
-      event_type: mega.sensor
-      event_data:
-        pt: 1
-  action:
-    - service: light.toggle
-      entity_id: light.some_light
-```
-Для binary_sensor имеет смысл использовать режим P&R, для остальных режимов - лучше пользоваться событиями.
-
-## Ответ на входящие события от контроллера
-Контроллер ожидает ответ от сервера, который может быть сценарием (по умолчанию интеграция отвечает `d`, что означает 
-запустить то что прописано в поле act в настройках порта).
-
-Поддерживаеются шаблоны HA. Это может быть использовано, например, для запоминания яркости (тк сам контроллер этого не 
-умеет). В шаблоне можно использовать параметры, которые передает контроллер (m, click, pt, value)
-
-Примеры:
-```yaml
-mega:
-  mega1: # id меги, который вы сами придумываете в конфиге в UI
-    4: # номер порта, с которого ожидаются события
-      response_template: 5:2 # простейший пример без шаблона. Каждый раз когда будет приходить сообщение на этот порт, 
-                             # будем менять состояние на противоположное
-    5:
-      # пример с использованием шаблона, порт 1 будет выключен если он сейчас включен и включен с последней сохраненной 
-      # яркостью если он сейчас выключен     
-      response_template: >-
-        {% if is_state('light.some_port_1', 'on') %}
-        1:0
-        {% else %}
-        1:{{state_attr('light.some_port_1', 'brightness')}}
-        {% endif %}
-    6:
-      # в шаблон так же передаются все параметры, которые передает контроллер (pt, cnt, m, click)
-      # эти параметры можно использовать в условиях или непосредственно в шаблоне в виде {{pt}}
-      response_template: >-
-        {% if m==2 %}1:0{% else %}d{% endif %}
-    
-```
-
 ## Установка
 Рекомендованный способ с поддержкой обновлений - [HACS](https://hacs.xyz/docs/installation/installation):
 
@@ -118,6 +58,108 @@ mega:
       unit_of_measurement: "°C" # если датчик один, то просто строчкой
 ```
 
+## Зависимости
+Для совместимости c mqtt необходимо настроить интеграцию [mqtt](https://www.home-assistant.io/integrations/mqtt/) 
+в HomeAssistant, а так же обновить ваш контроллер до последней версии, тк были важные обновления в части mqtt
+
+## HTTP in
+Начиная с версии `0.3.1` интеграция стала поддерживать обратную связь без mqtt, используя http-сервер. Для этого в настройках
+интеграции необходимо снять галку с `использовать mqtt`
+
+В самой меге необходимо прописать настройки:
+```yaml
+srv: "192.168.1.4:8123" # ip:port вашего HA
+script: "mega" # это api интеграции, к которому будет обращаться контроллер
+```
+
+Входы будут доступны как binary_sensor, а так же в виде событий `mega.sensor`.
+События можно обрабатывать так:
+```yaml
+- alias: some double click
+  trigger:
+    - platform: event
+      event_type: mega.sensor
+      event_data:
+        pt: 1
+        click: 2
+  action:
+    - service: light.toggle
+      entity_id: light.some_light
+```
+Для binary_sensor имеет смысл использовать режим P&R, для остальных режимов - лучше пользоваться событиями.
+
+Примеры использования binary_sensor:
+```yaml
+- alias: обработка долгих/коротких нажатий
+  trigger:
+    - platform: state
+      entity_id: binary_sensor.some_sensor
+      to: on
+      for: 1 # задержка на секунду
+
+  action:
+    - choose:
+          # если кнопка все еще нажата - значит это долгое нажатие
+        - conditions: "{{ is_state('binary_sensor.some_sensor', 'on')}}"
+          sequence:
+          - service: light.turn_on
+            entity_id: light.some_light
+          # если кнопка уже не нажата - значит это короткое нажатие
+        - conditions: "{{ is_state('binary_sensor.some_sensor', 'off')}}"
+          sequence:
+          - service: light.turn_off
+            entity_id: light.some_light
+```
+
+## Ответ на входящие события от контроллера
+Контроллер ожидает ответ от сервера, который может быть сценарием (по умолчанию интеграция отвечает `d`, что означает 
+запустить то что прописано в поле act в настройках порта).
+
+Поддерживаеются шаблоны HA. Это может быть использовано, например, для запоминания яркости (тк сам контроллер этого не 
+умеет). В шаблоне можно использовать параметры, которые передает контроллер (m, click, pt, mdid, mega_id)
+
+Примеры:
+```yaml
+mega:
+  mega1: # id меги, который вы сами придумываете в конфиге в UI
+    4: # номер порта, с которого ожидаются события
+      response_template: 5:2 # простейший пример без шаблона. Каждый раз когда будет приходить сообщение на этот порт, 
+                             # будем менять состояние на противоположное
+    5:
+      # пример с использованием шаблона, порт 1 будет выключен если он сейчас включен и включен с последней сохраненной 
+      # яркостью если он сейчас выключен     
+      response_template: >-
+        {% if is_state('light.some_port_1', 'on') %}
+        1:0
+        {% else %}
+        1:{{state_attr('light.some_port_1', 'brightness')}}
+        {% endif %}
+    6:
+      # в шаблон так же передаются все параметры, которые передает контроллер (pt, cnt, m, click)
+      # эти параметры можно использовать в условиях или непосредственно в шаблоне в виде {{pt}}
+      response_template: >-
+        {% if m==2 %}1:0{% else %}d{% endif %}
+    
+```
+## Отладка ответов
+Для отладки ответов сервера можно самим имитировать запросы контроллера, если у вас есть доступ к консоли
+HA:
+```shell
+curl -v -X GET 'http://localhost:8123/mega?pt=5&m=1'
+```
+Если доступа нет, нужно в файл конфигурации добавить ip компьюетра, с которого вы хотите делать запросы, например:
+```yaml
+mega:
+  allow_hosts:
+    - 192.168.1.1
+```
+И тогда можно с локальной машины делать запросы на ваш сервер HA:
+```shell
+curl -v -X GET 'http://192.168.88.1.4:8123/mega?pt=5&m=1'
+```
+В ответ будет приходить либо `d`, либо скрипт, который вы настроили
+
+
 ## События
 `binary_sensor` срабатывает когда цифровой выход принимает значение 'ON'. `binary_sensor` имеет смысл использовать
 только с режимом входа P&R
@@ -136,6 +178,15 @@ mega:
     - service: light.toggle
       entity_id: light.some_light
 ```
+События могут содержать следующие поля: 
+- mega_id: id как в конфиге HA
+- pt: номер порта
+- cnt: счетчик срабатываний
+- mdid: if как в конфиге контроллера
+- click: клик (подробнее в документации меги)
+- value: текущее значение (только для mqtt)
+- port: номер порта
+
 Чтобы понять, какие события происходят, лучше всего воспользоваться панелью разработчика и подписаться
 на вкладке события на событие `mega.sensor`, понажимать кнопки.