Архив рубрики: Без рубрики

python3 xmlrpc

import xmlrpc.client as xc
client = xc.Server('http://' + host + ':' + port + '/RPC2')
client.supervisor.getState()
client.supervisor.getProcessInfo('process name')

>>> import xmlrpc.client as xc
>>> client = xc.Server("http://127.0.0.1:8000/trac_test/rpc")
>>> client.system.listMethods()

Типы данных SQLite

NULL Значение — значение NULL.
INTEGER Значение представляет собой целое число со знаком, сохраненное в 1, 2, 3, 4, 6 или 8 байтах в зависимости от величины значения.
REAL Значение представляет собой значение с плавающей запятой, которое хранится как 8-байтовое число с плавающей точкой IEEE.
TEXT Значение представляет собой текстовую строку, хранящуюся с использованием кодировки базы данных (UTF-8, UTF-16BE или UTF-16LE)
BLOB Значение представляет собой блок данных, который хранится точно так же, как он был введен.

Выполнение запросов к серверу MSSQL из *nix

$ tsql -S mydbserver -U mydomain\\user < script.sql


$ tsql -S myserver -D mydb -p 1433 -U mydomain\\user
Password:


типа выгрузка результатов запроса в .CSV

$ freebcp "select * from mytable where a=b" queryout sample.csv -U anoop -P mypassword -S hostname.com -D dbname -t , -c

Немного про Trac

В общих чертах

Веб-сервер для управления жизненным циклом программных продуктов. Позволяет придумать этапы разработки программы, создавать карточки с запланированными фичами и найденными ошибками, просматривать изменения в исходном коде репозитория, вести документацию. В движке реализованы тикеты с уникальными номерами, вики, поддержка плагинов (вставка макросов, изображений, рисование диаграмм, xmlrpc и т.д.), интеграция с Subversion.

По умолчанию движок работает без авторизации, но если надо, то прикручивается. В движке зашита система распределения прав доступа, можно использовать при настройке прав пользователей, можно ограничивать права при разработек новых модулей.

По состоянию на 2021 год, движок работал на устаревшем Python 2.7

Установка

Либо через pip, либо через менеджер пакетов в Linux. Есть и другие варианты. Есть версия под Windows.

Настройка

Конфигурация хранится в текстовых файлах. Из одних можно импортировать другие. Сначала объявляется имя секции, затем перечисляются имена параметров и их значения.

Запуск и остановка сервера

*nix

service tracd srart
service tracd stop

windows

В командной строке:

C:\Python27\Scripts\tracd.exe --port 8000 C:\trac_test

Остановить можно через Ctrl+C

Хранение данных

По умолчанию данные хранятся в файле БД sqlite — удобно для бэкапов, просто остановить сервер и скопировать файл. Как вариант можно перейти на PostgreSQL.

Linux cron — говорящие часы

Содержимое:

pi@raspberrypi:/opt/kmsvsr $ crontab -l
# Edit this file to introduce tasks to be run by cron.
# 
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
# 
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').# 
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
# 
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
# 
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
# 
# For more information see the manual pages of crontab(5) and cron(8)
# 
# m h  dom mon dow   command

55 23 * * * python /home/pi/opt/remove_old_motion_files/remove_old_motion_files.py

# 00,10,20,30,43,50 12 19 09 * mplayer ~/delme/2019-09-19/02.mp3  # test

# KMS Talking Clock
#00 7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22 * * * mplayer ~/opt/sounds/clock_sound.wav

00 7 * * * mplayer ~/opt/sounds/clock07.wav
00 8 * * * mplayer ~/opt/sounds/clock08.wav
00 9 * * * mplayer ~/opt/sounds/clock09.wav
00 10 * * * mplayer ~/opt/sounds/clock10.wav
00 11 * * * mplayer ~/opt/sounds/clock11.wav
00 12 * * * mplayer ~/opt/sounds/clock12.wav
00 13 * * * mplayer ~/opt/sounds/clock13.wav
00 14 * * * mplayer ~/opt/sounds/clock14.wav
00 15 * * * mplayer ~/opt/sounds/clock15.wav
00 16 * * * mplayer ~/opt/sounds/clock16.wav
00 17 * * * mplayer ~/opt/sounds/clock17.wav
00 18 * * * mplayer ~/opt/sounds/clock18.wav
00 19 * * * mplayer ~/opt/sounds/clock19.wav
00 20 * * * mplayer ~/opt/sounds/clock20.wav
00 21 * * * mplayer ~/opt/sounds/clock21.wav
00 22 * * * mplayer ~/opt/sounds/clock22.wav

Черновик консольной программы для разбора бардака на компьютере (Python)

План был такой:

  1. Выбрать папку для разбора бардака
  2. Программа будет по очереди показывать оттуда файлы (фотки, видео и т.д.)
  3. Пользователь через пробел вводит теги для просмотренного файла (например «фото машина зима» или просто «trash»)
  4. программа переходит к следующему файлу, пока список не кончится
  5. В результате формируется база данных по файлам (sqlite files.db)
  6. Тэги привязываются не к пути файла, а к его контрольной сумме MD5, если копия папки попадётся где-то ещё — программа файлы узнает
  7. В результате файлы любого типа можно находить по тегам
  8. Для удаления мусора можно составить список файлов например с тегом «trash» и передать список например команде «del»

Главное меню:

                Программа для разбора бардака с файлами
                1. Выбор папки
                2. Анализ
                3. Разбор
                4. Сохранить списки
                
                0. Выход

Исходный код черновика (написано за 2 дня):

#! -*- coding: utf-8 -*-

'''
Программа для разбора бардака на дисках

LOG:
    добавил ввод нескольких тэгов через пробел
    добавил таблицу с путями к файлам
    добавил просмотр видео
    добавил разбор по выбранному тэгу, можно для просмотра
    добавил вывод текущих тегов
    добавил удаление тегов через -...
'''

import os
import sqlite3
import hashlib
import time

# просмотрщики
IMAGE_PROGRAM = "eog"
VIDEO_PROGRAM = "vlc"
MUSIC_PROGRAM = "vlc"
TEXT_PROGRAM = "gedit"

CREATE_TABLES_QUERY = """
CREATE TABLE `FILES_INFO` ( `FILES_INFO_ID` INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT UNIQUE, `PATH` TEXT NOT NULL, `FILE_MD5` TEXT NOT NULL, `LAST_MODIFIED` TEXT )

CREATE TABLE `FILES_TAGS` ( `FILES_TAGS_ID` INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT UNIQUE, `FILE_MD5` TEXT NOT NULL, `TAG` TEXT NOT NULL )
"""

class FilesAnalyzer:
    
    def __init__(self):
        self.db_connection = sqlite3.connect('files.db')
        self.path = ''
        self.count_by_tags = {}
        self.files_by_tags = {}
        
    def analyze(self):
        '''
        1. Статистика по количеству файлов по каждому тегу
        и неразмеченных
        2. Сохранение списков файлов по каждому тегу
        и неразмеченных
        '''
        # Счётчики файлов по тегам
        self.count_by_tags = {}
        self.count_by_tags[""] = 0
        
        # списки файлов по тегам
        self.files_by_tags = {}
        self.files_by_tags[""] = []
        
        for root, dirs, files in os.walk(self.path):
            for f in files:
                f_full = '%s/%s' % (root, f)
                f_md5 = self.get_md5(f_full)
                f_tags = self.get_tags(f_md5)
                ''' DEBUG
                print('Файл: %s' % f_full)
                print('MD5: %s' % f_md5)
                print('Тэги: %s' % ', '.join(f_tags))
                '''
                if len(f_tags) > 0:
                    for tag in f_tags:
                        if tag not in self.count_by_tags.keys():
                            self.count_by_tags[tag] = 1
                            self.files_by_tags[tag] = []
                            self.files_by_tags[tag].append(f_full)
                        else:
                            self.count_by_tags[tag] += 1
                            self.files_by_tags[tag].append(f_full)
                else:
                    self.count_by_tags[''] += 1
                    self.files_by_tags[''].append(f_full)
        for key in self.count_by_tags.keys():
            print("Тэг '%s': %s" % (key, self.count_by_tags[key]))
        ''' DEBUG
        for key in self.files_by_tags.keys():
            print("Файлы '%s':" % key)
            for f in self.files_by_tags[key]:
                print(f)
        '''
        
    def manual_sort(self, selected_tag=""):
        '''
        Ручная маркировка тегами неразмеченных файлов
        '''
        if selected_tag in self.files_by_tags.keys():
            for f in self.files_by_tags[selected_tag]:
                # проверить что новый md5
                md5 = self.get_md5(f)
                tags = self.get_tags(md5)
                if (selected_tag == "" and len(tags) == 0) \
                        or selected_tag in tags:
                    print("Файл: '%s'" % f)
                    print("Текущие тэги: %s" % \
                            self.get_tags(md5))
                    # пердосмотр или открыть файл
                    self.try_preview(f)
                    new_tags_text = input("Введи тэги для файла: ")
                    if len(new_tags_text) > 0:
                        new_tags = new_tags_text.split()
                        for new_tag in new_tags:
                            self.save_tag(f, new_tag)
                        self.save_info(f)
            # теперь прошлый анализ бесполезен
            self.files_by_tags = {}
            self.count_by_tags = {}
        else:
            print('Ошибка: файлов с тегом "%s" не найдено' % selected_tag)
            
    def save_info(self, f):
        '''
        сохранение информации о файле в БД
        /param[in] f - имя файла
        '''
        # приготовить информацию
        md5 = self.get_md5(f)
        mtime = os.path.getmtime(f)
        last_modified = time.strftime('%Y-%m-%d %H:%M:%S',
                time.localtime(mtime))
        
        # проверить, что в базе такого ещё нет
        cur = self.db_connection.cursor()
        check_query = """SELECT * 
                FROM FILES_INFO
                WHERE PATH = '%s'
                AND FILE_MD5 = '%s'
                AND LAST_MODIFIED = '%s'""" % (
                f, md5, last_modified)
        is_new = True
        for row in cur.execute(check_query):
            is_new = False
        
        if is_new:
            # сохранение в БД
            query = """INSERT INTO FILES_INFO
            (PATH, FILE_MD5, LAST_MODIFIED)
            VALUES ('%s', '%s', '%s')""" % (
            f, md5, last_modified)
            cur.execute(query)
            self.db_connection.commit()
        
    def try_preview(self, f):
        if f.lower()[-4:] in ('.png', '.bmp', '.gif', '.jpg', 'jpeg'):
            #os.system('eog "%s"' % f)
            os.system('%s "%s"' % (IMAGE_PROGRAM, f))
        elif f.lower()[-4:] in ('.avi', '.mpg', '.3gp', '.mov'):
            os.system('%s "%s"' % (VIDEO_PROGRAM, f))
        elif f.lower()[-4:] in ('.mp3', '.wav', '.ogg'):
            os.system('%s "%s"' % (MUSIC_PROGRAM, f))
        
        
    def save_tag(self, f, tag):
        md5 = self.get_md5(f)
        cur = self.db_connection.cursor()
        if tag[0] == "-":
            # TODO: УДАЛИТЬ ТЕГ
            del_query = """DELETE FROM FILES_TAGS
                    WHERE FILE_MD5 = '%s'
                    AND TAG = '%s'""" % (md5, tag[1:])
            cur.execute(del_query)
            self.db_connection.commit()
        else:
            # Сначала проверить что тега у файла ещё нет
            check_query = """SELECT * FROM FILES_TAGS
                    WHERE FILE_MD5 = '%s'
                    AND TAG = '%s'""" % (md5, tag)
            is_new = True
            for row in cur.execute(check_query):
                is_new = False
                break
            
            if is_new:
                # Добавить файлу тег
                query = """INSERT INTO FILES_TAGS
                        (FILE_MD5, TAG) VALUES ('%s', '%s')""" % (
                        md5, tag)
                cur.execute(query)
                self.db_connection.commit()
            
    def show_main_menu(self):
        while True:
            print('\n' * 3 + '''
                Программа для разбора бардака с файлами
                1. Выбор папки
                2. Анализ
                3. Разбор
                4. Сохранить списки
                
                0. Выход
            ''')
            
            selected = input("Что делать? > ")
            if selected == "0":
                self.close()
            elif selected == "1":
                self.show_select_path_menu()
            elif selected == "2":
                self.show_analyze_menu()
            elif selected == "3":
                self.show_manual_sort_menu()
            elif selected == "4":
                self.show_save_lists_menu()
            
    def close(self):
        self.db_connection.close()
        print("Выход из программы")
        quit()

    def show_save_lists_menu(self):
        print("Сохранение списков файлов")
        self.save_lists()
        
    def save_lists(self):
        for key in self.files_by_tags.keys():
            file_name = "%s.txt" % key
            if key == "":
                file_name = "_unsorted.txt"
            if len(self.files_by_tags[key]) > 0:
                f = open(file_name, 'w')
                for item in self.files_by_tags[key]:
                    f.write(item)
                    f.write('\n')
                f.close()
                print(file_name)
    
    def show_select_path_menu(self):
        selected = input('Введите имя папки для разбора: ')
        if self.is_valid_path(selected):
            self.path = selected
            print("Выбрана папка: '%s'" % selected)
        else:
            print("Ошибка: не удалось выбрать папку: '%s'" % selected)
        
    def show_analyze_menu(self):
        print("Анализ файлов в %s:" % self.path)
        self.analyze()
    
    def show_manual_sort_menu(self):
        print("Ручной разбор файлов")
        selected_tag = input("Выбери тег для разбора (по умолчанию без тегов): ")
        self.manual_sort(selected_tag)
    
    def is_valid_path(self, str_path):
        if os.path.exists(str_path):
            return True
        else:
            return False
            
    def get_md5(self, file_path):
        result = ''
        f = open(file_path, 'rb')
        content = f.read()
        f.close()
        result = hashlib.md5(content).hexdigest()
        return result
    
    def get_tags(self, md5):
        result = []
        
        cur = self.db_connection.cursor()
        query = "SELECT TAG FROM FILES_TAGS WHERE FILE_MD5 = '%s'" % md5
        for row in cur.execute(query):
            result.append(row[0])
        return result
    
if __name__ == "__main__":
    fa = FilesAnalyzer()
    fa.show_main_menu()
            

Самодельный «драйвер» для графического планшета GAOMON M106K для Linux на Python

Для графического планшета GAOMON M106K пару лет назад драйвера для Linux не было. Скорее всего, до сих пор нет. Поэтому пару лет назад написал для себя скрипт на Python, с помощью которого планшет у меня заработал в Ubuntu и Raspbian.

Сначала про подготовку к запуску скрипта. Нужно будет кое-что установить (под root`ом):

# apt-get install python3-pip && \
pip3 install --upgrade pip && \
pip3 install setuptools && \
pip3 install Xlib && \
pip3 install pyautogui

Библиотека pyautogui по умолчанию работает не очень (перемещение курсора дёрганое), поэтому нужно поправить в ней один файл (версия питона может отличаться):

# cp __init__.py /usr/local/lib/python3.4/dist-packages/pyautogui/__init__.py

После этого нужно проверить в скрипте planshet.py имя файла устройства (у меня он подключался под именем /dev/hidraw2) и запустить его под root`ом (иначе не будет прав на чтение из файла устройства).

Сам «драйвер» planshet.py:

#!/usr/bin/python3
# -*- coding: utf-8 -*-
"""
"driver" for GAOMON M106K by Maxim Kuznetsov http://kmsvsr.ru
To install needed packages and modules run "install.sh" as superuser
Don`t forget to replace or edit /usr/local/lib/python.../dist-packages/pyautogui/__init__.py
before use
"sudo ./planshet.py" to run. Sudo is for access to read from device /dev/hidraw0
Works in Linux Mint 18
"""

import time
import struct
# https://pyautogui.readthedocs.io/en/latest/mouse.html#the-mousedown-and-mouseup-functions
import pyautogui


MONITOR_HEIGHT = 1050
MONITOR_WIDTH = 1400


def start_driver():
    """Open device and start to process input actions"""
    # init
    with open("/dev/hidraw2", "rb") as device_file:
        lm_pressed = False
        rm_pressed = False
        mm_pressed = False
        last_move_time = int(round(time.time() * 1000))

        # endless cycle of reading data from device
        while True:
            data = device_file.read(8) # 8 is for my GAOMON M106K
            values = struct.unpack('HHHH',data)
            print(
                f"Buttons: {hex(values[0])}; "
                f"X: {hex(values[1])}; "
                f"Y: {hex(values[2])}; "
                f"Press: {hex(values[3])}"
            )
            # https://stackoverflow.com/questions/1181464/controlling-mouse-with-python
            current_time = int(round(time.time() * 1000))
            deadline_time = last_move_time + 15
            if deadline_time < current_time:
                x_pos = values[1] * MONITOR_WIDTH / 0x7fff
                y_pos = values[2] * MONITOR_HEIGHT / 0x7fff
                buttons = values[0]
                press = values[3]
                pyautogui.moveTo(x_pos, y_pos)
                last_move_time = current_time
                # Left mouse button is touch by pen
                if press > 0:
                    if not lm_pressed:
                        pyautogui.mouseDown(button='left')
                        lm_pressed = True
                else:
                    if lm_pressed:
                        pyautogui.mouseUp(button='left')
                        lm_pressed = False

                # Right mouse button is touch by pen with bottom button on it
                if buttons == 0xc20a:
                    if not rm_pressed:
                        pyautogui.mouseDown(button='right')
                        rm_pressed = True
                else:
                    if rm_pressed:
                        pyautogui.mouseUp(button='right')
                        rm_pressed = False

                # Middle mouse button is touch by pen with top button on it
                if buttons == 0xc40a:
                    if not mm_pressed:
                        pyautogui.mouseDown(button='middle')
                        mm_pressed = True
                else:
                    if mm_pressed:
                        pyautogui.mouseUp(button='middle')
                        mm_pressed = False


if __name__ == "__main__":
    start_driver()

Весь «драйвер» получился чуть больше 50 строчек кода. Может быть кому-нибудь пригодится подключить так же другую модель планшета или ещё какое-нибудь необычное устройство ввода, для которого нет нормального драйвера под Linux.

Из недоделок: не работают кнопки на планшете, либо они подключаются другим устройством, либо через /dev вообще не доступны, лишку не разбирался.