#! /usr/bin/env python3
# пример препроцессинга для TASS
# 
# '\01'TAS001 3 ИНФ 0273 ТАСС 10A00 ИНОА РУ
# МИД-НАТО
#'\02'УКРАИНА: МИД-НАТО-ЧЛЕНСТВО-1
# '\14'  Отказ Украины от вступления в НАТО позволил бы европейцам вздохнуть с 
#облегчением - Лавров
# '\14'  /Обновлено, добавлена информация после третьего абзаца/
# '\14'  
# '\14'  МОСКВА, 15 февраля. /ТАСС/. Отказ Киева от членства в НАТО позволил бы 
#многим европейским странам вздохнуть с облегчением. Об этом заявил во вторник 
#.......
#для оправдания таких заявлений и предупредил, что попытки силового решения 
#кризиса на юго-востоке Украины будут иметь самые серьезные последствия. 
#--0--**
# '\03'151450 ФЕВ 22'\04'
# 
#

import sys, os

skip_empty = True # пропускать пустые строки
skip_first = 2 # пропустить первые строки
skip_last = 1 # пропустить последние строки

def main():
    name = '' # сюда будем писать название
    comment = '' # сюда будем писать комментарии
    body = '' # сюда будем писать тело
    hasBOM = False # присутствует ли заголовок utf-8 в файле

    # получим имя файла из командной строки
    filename = sys.argv[1] if len(sys.argv) > 1 else None
    # если имя пустое - выходим
    if filename is None: return
    #print("filename=" + filename + "\n")
    
    # открываем файл для чтения как бинарный (НЕ Текстовый)
    # (это всегда файл в кодировке utf-8, может содержать заголовок BOM_UTF8) 
    with open(filename, "rb") as fin:
        # читаем данные, закрываем файл
        message = fin.read(); fin.close()
        
    # проверяем, есть ли заголок BOM_UTF8 (первые 3 байта)
    if message.startswith(b'\xef\xbb\xbf'):
        hasBOM = True # сохраняем флаг наличия заголовка
        message = message[3:] # пропускаем первые 3 байта 

    # создаем список строк из message, для этого
    # декодируем из utf-8
    # заменяем символы \r\n (возврат каретки и переход на новуб строку) на \n
    # разделяем message на строки
    lines = message.decode(encoding="utf-8").replace("\r\n", "\n").split("\n")
    #print(lines)

    body_start = False # флаг конца comment / начала сохранения body
    # для всех строк в диапазоне от skip_first до (len(lines) - skip_last - skip_first)
    for i in range(skip_first, len(lines) - skip_last - skip_first):

        line = lines[i]

        # сохраняем name ( строка начинается с символа '\02' )
        if line.startswith('\x02') :
            print("begin name")
            # убираем пробелы в начале и конце строки и символ '\02'
            name = line[1:].strip() 
            print(name)
            continue
        
        if line.startswith('\x14') :
            print("begin paragraph")
            line = line[1:]
            if len(line.strip()) < 1:
                body_start = True
                print("begin body")
                continue

        # пропускаем пустые строки
        if len(line.strip()) < 1 and skip_empty: continue
            
        # сохраняем/добавляем comment (все строки после названия до пустого параграфа)
        # т.е. пока body_start не станет True
        if body_start == False:
            # удаляем пробелы 
            comment += line.strip() + '\n'
            continue

        # сохраняем/дополняем в body все строки, ищем --0-- для конца сообщения
        end = line.find('--0--')
        if end < 0: 
            body += line + '\n'
        else:
            body += line[0: end]
            break

    # удалить последние символы \n из comment и body
    comment = comment.rstrip('\n');
    body = body.rstrip('\n');
         
    # по требованию к JSON формату преобразовываем управляющие символы
    # \n to \\n, \ на \\, ' на \', " на \" и т.д.
    name = name.replace('\\', '\\\\').replace('\n', '\\n').replace('\'', "\\'").replace('\"', '\\"').replace('\t', '\\t').replace('\/', '\\/')
    comment = comment.replace('\\', '\\\\').replace('\n', '\\n').replace('\'', "\\'").replace('\"', '\\"').replace('\t', '\\t').replace('\/', '\\/')
    body = body.replace('\\', '\\\\').replace('\n', '\\n').replace('\'', "\\'").replace('\"', '\\"').replace('\t', '\\t').replace('\/', '\\/')

    # открываем тот же самый файл для записи в бинарном формате
    # будем записывать в JSON формате
    fout = open(filename, "wb")
    # если флаг hasBOM установлен -> записываем заголовок
    if hasBOM == True : fout.write(b'\xef\xbb\xbf')
    # записываем name, закодировав в utf-8
    fout.write(b'{"name":"' + name.encode(encoding="utf-8") + b'",')
    # записываем comment (или subject)
    fout.write(b'"subject":"' + comment.encode(encoding="utf-8") + b'",')
    # записываем текст body
    fout.write(b'"body":"' + body.encode(encoding="utf-8") + b'"}')
    # закрываем файл                
    fout.close()

if __name__ == '__main__':
    main()