Linux tips and tricks 
Ніколи такого не було, і ось, раптом, знову...
При встановленні Ubuntu server на VirtualBox спочатку все йшло нормально, але чогось після встановлення sshd він несхотів запускатися
Вивід journalctl -xe нічого конкретного не показав
Практично в усіх файлах з зображеннями є можливість зберігати додаткові дані, наприклад розмір зображення, час створення, гео-координати і таке інше.
Крім того є можливість туди додати додаткові параметри — опис, копірайт та інше.
Це все так звані EXIF-дані
Exchangeable image file format — стандарт, що визначає формат опису допоміжної метаінформації для файлів зображень, звуку, і який використовується цифровими камерами (в тому числі і тими, що у смартфонах), сканерами й іншими системами, що оброблюють звукові файли та файли зображень, записані цифровими камерами.
До речі, є недостатньо підтверджена інформація, що пошукові системи на сайтах використовують exif-дані зображень на сайтах для ранжування сайта та оптимізації пошуку.
Тепер роздивимось як додавати або змінювати exif-дані
В зв’язку з масовим переходом на віддалену роботу здобули значної популярності різні системи відеоконференцій, так як, наприклад, Skype, Zoom та інші. Але це не найкращий варіант з точки зору безпеки. Наприклад неможливо перевірити який тип шифрування використовується. Також не до кінця ясно, що відбувається з трафіком на серверах, які контролюють компанії.
Також виникають питання з приводу прихованого функціонала таких сервісів.
Так, наприклад, влітку 2019 року фахівці з кібербезпеки виявили, що додаток Zoom після деінсталяції лишає в системі активний веб-сервер, який може самостійно перевстановити програму навіть не повідомляючи про це користувача.
Звісно, після розголошення цієї інформації було надано виправлення програми, але хто знає який прихований функціонал там ще лишився...
При наявності сайта виникає потреба контролювати правильність та строк валідності сертифіката. Якщо я вже використовую Nagios для мониторинга, то нехай і сертифікатами теж він займається.
Всі файли логів, можна віднести до однієї з наступних категорій:
програми;
події;
служби;
системний.
Більшість лог файлів зазвичай зберігаються в теці /var/log.
Підтримка плюс-адресації на поштовому сервері
Якщо є необхідність підтримки плюс-адресації на поштовому сервері, то необхідно буде доналаштувати нашу систему.
В файл конфігурації Postfix — /etc/postfix/main.cf слід додати рядок:
recipient_delimiter = +
В тому випадку, якщо у нас Dovecot виступає в ролі LDA, треба зробити додаткові налаштування. По перше в файлі /etc/dovecot/conf.d/15-lda.conf слід додати або розкоментувати рядок:
recipient_delimiter = +
А в файлі /etc/postfix/master.cf потрібно змінити наш фільтр dovecot.
Він має виглядати наступним чином:
# Dovecot LDA
dovecot unix - n n - - pipe
flags=DRhu user=virtual:virtual argv=/usr/lib/dovecot/dovecot-lda -f ${sender} -a $original_recipient} -d ${user}@${nexthop}
Для керування листами в Dovecot включена підтримка Sieve.
Sieve — це мова опису правил фільтрації для поштових повідомлень. Створена компанією Cyrusoft International, Inc./ISAMET під час роботи над поштовим сервером Cyrus. За допомогою написання скриптів з правилами обробки пошта є можливість:
автоматично сортувати листи по поштовим текам виходячи з певних ознак (адреса відправника, тема та ін.)
автоматично видаляти листи виходячи з певних ознак
налаштувати автоматичну відповідь (vacation) на певні листи
Обробка листів має відбуватися перед тим, як лист потрапляє в поштову скриньку користувача. В тих налаштуваннях агентом локальної доставки (LDA – local delivery agent) виступає сам Postfix. Для підключення розширення Sieve цей функціонал треба перекласти на Dovecot.
Стандартні правила SpamAssassin досить непогані, але вони містять занадто мало ознак спаму для української та російської мови.
Звісно є загальні риси, які будуть однакові для будь-якого спаму. Також є алгоритм Байеса. Але навчання антиспаму потребує часу. Хотілося б підвищити ефективність одразу після встановлення.
Для цього я зробив одразу декілька дій.
Перше — при встановленні SpamAssassin я зразу імпортую туди правила з іншого сервера, де база самонавчання наповнювалась роками.
І друге — я почав писати власні правила для SpamAssassin.
Для коректної роботи поштового сервера треба правильно налаштувати DNS.
В описі нашої доменної зони треба, як мінімум, зробити MX-записи. Також бажано прописати зворотню зону, SPF, DKIM та DMARC
Основні налаштування DNS
Для того, щоб інші сервера знали, що саме наш сервер приймає пошту для нашого домену, в описі зони треба зробити наступні налаштування:
Робота сірих списків базується на тому, що спамери при помилці відправлення, частіше за все другий раз лист не відправляють, а легальні поштові сервери будуть намагатися відправляти лист протягом не менше ніж двох діб.
При першому прийомі листа наш сервер повертає помилку 450 і розриває сесію, тобто лист не приймаємо через тимчасову помилку.
Після закінчення заданого часу очікування (за замовчуванням 300 секунд) лист буде прийнято і адреса сервера відправника буде внесена до тимчасового білого списку. За замовчуванням в цьому списку сервер знаходиться 35 діб з моменту останньої вдалої сесії.
Для початку встановимо необхідне програмне забезпечення:
# apt install postgrey
Встановлення SpamAssassin
Для встановлення антиспаму виконаємо команду
# apt install spamassassin
Зразу після встановлення програма працювати не буде. За замовчанням вона відключена. Для її активації треба в файлі /etc/default/spamassassin змінити значення enable в 1.
Встановимо антивірусну систему для поштового сервера:
#apt install clamsmtp
Після того, як ми налаштували поштовий сервер, треба перевірити його працездатність. Звичайно це можна зробити за допомогою поштового клієнта, але іноді простіше і швидше зробити це за допомогою утиліти telnet.
Не шифрувати трафік на поштовому сервері досить небезпечно. Пов'язано це не з перехопленням листів, а, перш за все, з тим, що зловмисник може перехопити логін та пароль одного з користувачів і використати цю інформацію для розсилання спаму.
Для шифрування використовуються SSL-сертифікати. Якщо в нас є можливість купити сертифікат від якогось центру сертифікації — то купуємо, якщо ж ні, то згенеруємо самопідписаний сертифікат. Це робиться командою:
openssl req -new -nodes -x509 -out smtpd.pem -keyout smtpd.pem -days 3650
Шановне панство.
Нарешті звів всі напрацювання в один файл і оформив у вигляді однієї книжки.
Всі бажаючі можуть підтримати розвиток сайту і придбати цю книжку в електронному вигляді у форматі PDF.
OpenLDAP — це відкрита реалізація LDAP, розроблена проектом OpenLDAP, поширюється під власною вільною ліцензією OpenLDAP Public License.
OpenLDAP складається з трьох головних компонентів:
slapd -— незалежний демон LDAP і відповідні оверлеї і інструменти;
бібліотеки, що реалізують протокол LDAP;
утиліти, інструменти та допоміжні клієнти
У великих конторах дуже часто поштовий сервер та інші сервіси інтегруються з доменом Windows
Припустимо, що у нас є домен study.local і в ньому створений спеціальний користувач mailadmin з паролем mailadmin, який має права на читання в дереві LDAP. Контроллер домена має адресу 192.168.0.10. У користувачів домена має бути заповненим атрибут mail, в який вноситься поштова адреса даного користувача. Для роботи з поштовими псевдонімами створюються доменні групи, у яких так само заповнюється атрибут mail. Листи, що приходять на адресу таких груп мають бути передані всім користувачам, що входять до них.
Облікові дані користувачів можна зберігати у базі даних. Для цього підходить PostgreSQL та MySQL.
Розглянемо використання MySQL, як більш популярний варіант
Налаштування в MySQL
Зазвичай налаштування маршрутизації поштового трафіку робити немає сенсу. Всі повідомлення будуть маршрутизуватись автоматично, згідно MX записам в DNS домену отримувача. Однак бувають і виключення з цього правила. За допомогою параметра transport_maps можна вказати в явному вигляді сервер, на який буде відправлена пошта для певного домену.
Іноді буває необхідність створювати копії листів та відсилати їх на іншу адресу. Для цього у Postfix є механізм створення прихованих копій (bcc — blind carbon copy)
Робити такі копії можна на основі адреси або відправника, або отримувача. Для цього в файлі main.cf можна використовувати параметри sender_bcc_maps або recipient_bcc_maps.
Вирішив для спрощення створити окремою статтею зміст всіх матеріалів по поштовому серверу.
Зразу напишу зміст до кінця, а посилання будуть вставлятися по мірі публікації нових статей
RoundCube Webmail — це клієнт для роботи з електронною поштою з веб-інтерфейсом, написаний на PHP з використанням CSS та XHTML і технології AJAX. RoundCube Webmail встановлюється практично на будь-який сервер з підтримкою PHP та MySQL і надає можливість роботи з поштовими скриньками за протоколами IMAP та SMTP.
Проект був заснований 18 травня 2005 року. Тоді RoundCube Webmail був скромний клієнт для роботи з електронною поштою. Зараз це потужний поштовий додаток, який майже нічим не поступається звичайним поштовим клієнтам.
RoundCube Webmail доступний за ліцензією GPL та є вільним програмним забезпеченням.
Викладаю другу статтю з циклу "Налаштування поштового сервера".
Починаю публікацію циклу статей по налаштуванню поштового сервера на базі Postfix та Dovecot.
Сьогодні буде перша частина - Встановлення та базове налаштування Postfix та Dovecot.
Досить багато часу пройшло з того моменту коли я викладав оновлену версію курсу.
Дуже багато чого встигло помінятися.
Нарешті руки дійшли зібрати всі зміни до одного файлу, який я і викладаю
Для початку встановимо sshfs і autofs. Виконаємо команду:
$sudo apt install sshfs autofs
Тепер налаштування.
Ідеологічна частина
Спочатку розглянемо політично-організаційну частину такого сервера.
Робота з Samba, і взагалі по протоколу SMB в Windows-мережі стала вже стандартом. Та й створювалась вона, швидше за все, для цього ж.
Але сьогодні вже немає сенсу прив'язуватися тільки до цього протоколу. Він несе в собі занадто багато обмежень.
Бувають хитрі провайдери, які дають адресу з прив'язкою до MAC-адресу мережевої картки. А бувають не тільки хитрі, але і нахабні (особисто зустрічав), які за зміну MAC-адреси ще і грошики злупити хочуть.
Для того що б такого уникнути, можна руками змінити MAC-адресу і взагалі не спілкуватися з провайдером на таку тему.
Колись я вже розміщував статтю, як налаштувати сканування по мережі.
Однак, як показала практика, для користувачів Windows-систем це незвично і, відповідно, незручно. Через це був застосований альтернативний шлях - до Sane був прикручений веб-інтерфейс phpSane.
Рано чи пізно при налаштуванні серверів доводиться зіткнутися з такою річчю як RAID.
На брендових серверах вони часто повністю хардварні, але тим не менш дуже часто доводиться стикатися і з софтварним рейдом.
У першій і другій статтях було розглянуто конфігурування Nagios для перевірки стану мережевих сервісів і самих серверів. Однак для повноцінного використання в корпоративному сегменті цього недостатньо.
У цій, третій статті циклу, розглядаються питання додаткового функціоналу системи моніторингу - настройка повідомлень, внутрішніх команд, а так само налаштування автоматичної системи реагування на проблеми.
У першій статті циклу, присвяченому налаштуванню Nagios, ми розглянули базову конфігурацію і моніторинг мережевих сервісів. Зараз покажемо, як можна отримувати додаткові дані про серверах за допомогою протоколу SNMP.
SNMP - це протокол керування мережами зв'язку на основі архітектури UDP.
Ця технологія, покликана забезпечити керування і контроль за пристроями і додатками в мережі зв'язку шляхом обміну керуючою інформацією між агентами, що розташовуються на мережевих пристроях, і менеджерами, розташованими на станціях керування.
SNMP визначає мережу як сукупність мережевих керуючих станцій і елементів мережі (головні машини, шлюзи і маршрутизатори, термінальні сервери), які разом забезпечують адміністративні зв'язки між мережевими керуючими станціями і мережевими агентами.
SNMP не визначає, яку інформацію керована система повинна надавати. Навпаки, SNMP використовує розширювану модель, в якій доступна інформація визначається Основами Керуючої Інформації (MIB). Бази Керуючої Інформації описують структуру керуючої інформації пристроїв. Вони використовують ієрархічний простір імен, що містить унікальний ідентифікатор об'єкта (OID). Грубо кажучи, кожен унікальний ідентифікатор об'єкта ідентифікує змінну, яка може бути прочитана або встановлена через SNMP.
Ієрархія MIB може бути зображена як дерево з безіменним коренем, рівні якого присвоєні різними організаціями. На найвищому рівні MIB OIDи належать різним організаціям, які займаються стандартизацією, в той час як на більш низькому рівні OIDи виділяються асоційованими організаціями. Ця модель забезпечує керування на всіх шарах мережевої моделі OSI, так як MIBи можуть бути визначені для будь-яких типів даних і операцій.
Nagios - це програма моніторингу комп'ютерних систем і мереж з відкритим кодом. Призначена для спостереження, контролю стану обчислювальних вузлів і служб, сповіщає адміністратора в тому випадку, якщо якісь із служб припиняють (або відновлюють) свою роботу.
Nagios спочатку була створена під ім'ям Netsaint, розроблена Етаном Галстадом. Він же підтримує і розвиває систему сьогодні, спільно з командою розробників, які займаються як офіційними, так і неофіційними плагінами.
Спочатку Nagios була розроблена для роботи під Linux, але вона також добре працює і під іншими ОС, такими як Sun Solaris, FreeBSD, AIX і HP-UX.
Можливості Nagios дуже широкі.
Ця система може
Моніторити мережеві служби (SMTP, POP3, HTTP, NNTP, ICMP, SNMP)
Моніторити стан хостів (завантаження процесора, використання диска, системні логи) в більшості мережевих операційних систем
Проста архітектура модулів розширень (плагінів) дозволяє, використовуючи будь-яку мову програмування за вибором (Shell, C ++, Perl, Python, PHP і інші), легко розробляти свої власні способи перевірки служб
У якості повідомлень системному адміністратору підтримується відправка сповіщень в разі виникнення проблем зі службою або хостом (за допомогою пошти, пейджера, SMS, або будь-яким іншим способом, визначеним користувачем через модуль системи)
так само є можливість організації спільної роботи декількох систем моніторингу з метою підвищення надійності і створення розподіленої системи моніторингу
ProFTPd - FTP-сервер для Linux і UNIX-подібних операційних систем.
Сервер може бути налаштований для роботи декількох віртуальних хостів, також підтримує chroot. Може бути запущений в вигляді окремого сервера (демона) або в складі суперсервера inetd.
Не всі сервіси має сенс постійно виставляти в інтернет. Але, проте, доступ з інтернету до них все ж іноді потрібно мати. Можна, звичайно, зайти на сервер, наприклад, по VPN і тимчасово змінити конфігурацію, зробити необхідні дії і повернути конфігурацію назад.
Для спрощення таких дій є досить проста, але, тим не менш, багата можливостями, технологія Port Knocking. Її суть полягає в тому, що відправивши пакети в певній послідовності на певні порти, ви ініціюєте якусь наперед сконфігуровану дію. Налаштування Port Knocking можна зробити самому в повністю ручному режимі за допомогою IPTables, однак простіше і зручніше для цього використовувати спеціальний демон knockd.
У мене є поштовий сервер на основі Postfix. Як антиспам там встановлений SpamAssassin. Виникла задача перегляду статистики роботи для аналізу ефективності налаштувань як антиспаму, так і самого поштового сервера.
Можливості SNMP широкі, але не безмежні. Жоден розробник не зможе заздалегідь передбачити, що може знадобитися клієнту.
Через це доводиться розширювати інформаційний функціонал власними скриптами.
Logical Volume Manager (LVM) - це дуже потужна система управління томами з даними для Linux. Вона дозволяє створювати поверх фізичних розділів (або навіть нерозбитих вінчестерів) логічні томи, які в самій системі буде видно як звичайні блокові пристрої з даними (тобто як звичайні розділи). Основні переваги LVM в тому, що по-перше одну групу логічних томів можна створювати поверх будь-якої кількості фізичних розділів, а по-друге розмір логічних томів можна легко змінювати прямо під час роботи. Крім того, LVM підтримує механізм снапшотів, копіювання розділів «на льоту» і дзеркалювання, подібне RAID-1.
LVM збільшує гнучкість файлової системи, однак, будучи просто проміжним шаром, не скасовує обмеження і використання інших шарів, а також ускладнює роботу. Тобто, як і раніше потрібно створювати і змінювати розділи, форматувати їх; зміна розміру має підтримуватися також і самою файловою системою.
Так само хотілося б звернути увагу на один важливий момент. При використанні LVM не слід намагатися розподілити весь наявний дисковий простір в логічні томи. Слід створити розділи з мінімально необхідним розміром, а потім, при необхідності збільшити їх до необхідного розміру за рахунок резервного вільного місця.
Використання tmux дозволяє системному адміністратору зробити віддалену роботу з сервером значно більш зручною. Звичайно, можна використовувати цю утиліту і в локальній консолі, але це, все таки, не зовсім те.
Утиліта дозволяє в одній сесії відкрити кілька терміналів. Крім того, що вона підтримує кілька вікон, tmux так само дає можливість розділити один екран на декілька незалежних вікон і, звичайно, управляти їх розміром. Так само tmux дуже легко відвести у фоновий режим і залишити виконуватися в ньому всі завдання
OpenVPN
OpenVPN - вільна реалізація технології Віртуальної Приватної Мережі (VPN) з відкритим вихідним кодом для створення зашифрованих каналів типу точка-точка або сервер-клієнти. Вона дозволяє встановлювати з'єднання між комп'ютерами, що знаходяться за NAT-firewall, без необхідності зміни їх налаштувань. OpenVPN було створено Джеймсом Йонаном (James Yonan) і розповсюджується під ліцензією GNU GPL.
Для забезпечення безпеки керуючого каналу і потоку даних, OpenVPN використовує бібліотеку OpenSSL. Завдяки цьому задіюється весь набір шифрів, доступних в даній бібліотеці. OpenVPN використовується на операційних системах Solaris, OpenBSD, FreeBSD, NetBSD, GNU/Linux, Apple Mac OS X, QNX та Microsoft Windows. OpenVPN проводить всі мережеві операції через TCP, або UDP порт. Також можлива робота через більшу частину проксі серверів, через NAT і мережеві фільтри. Сервер може бути налаштований на призначення мережевих налаштувань клієнту. Наприклад: IP адреса, налаштування маршрутизації і параметри з'єднання. Також можливе використання бібліотеки компресії LZO, для стиснення потоку даних.
Використання в OpenVPN стандартних протоколів TCP і UDP дозволяє йому стати альтернативою IPsec в ситуаціях, коли Інтернет-провайдер блокує деякі VPN протоколи.