BG Tech Blog

/dev/sda3 -> faulty device.

root@makeitweb ~ # cat /proc/mdstat 
Personalities : [raid1] 
md3 : active raid1 sda4[0] sdb4[1]
      1843414335 blocks super 1.2 [2/2] [UU]
 
md2 : active raid1 sda3[0](F) sdb3[1]
      1073740664 blocks super 1.2 [2/1] [_U]
 
md1 : active raid1 sda2[0] sdb2[1]
      524276 blocks super 1.2 [2/2] [UU]
 
md0 : active raid1 sda1[0] sdb1[1]
      12581816 blocks super 1.2 [2/2] [UU]
 
unused devices: <none>

mdadm --manage /dev/md2 --fail /dev/sda3

mdadm --manage /dev/md2 --remove /dev/sda3

mdadm --manage /dev/md2 --add /dev/sda3

root@makeitweb ~ # cat /proc/mdstat 
Personalities : [raid1] 
md3 : active raid1 sda4[0] sdb4[1]
      1843414335 blocks super 1.2 [2/2] [UU]
 
md2 : active raid1 sda3[0] sdb3[1]
      1073740664 blocks super 1.2 [2/1] [_U]
      [>....................]  recovery =  0.1% (1565952/1073740664) finish=319.5min speed=55926K/sec
 
md1 : active raid1 sda2[0] sdb2[1]
      524276 blocks super 1.2 [2/2] [UU]
 
md0 : active raid1 sda1[0] sdb1[1]
      12581816 blocks super 1.2 [2/2] [UU]
 
unused devices: <none>

Switch to backuppc user and then:

/usr/share/backuppc/bin/BackupPC_nightly 0 255

С какво разполагаме:
1 х Ubuntu сървър някъде по света (с моя случай вкъщи, но разстоянието и местонахождението нямат значение. Както бях споменал преди, имам setup-ната машина, на която да си играя)
1 x Mac OS X Time Machine
N x файлове с данни, които трябва да се бекъпнат.

ВНИМАНИЕ!
Потребителят, който създаваме по-долу има достъп и през SSH. Целта на тази статия НЕ е защита и jail на потребители, а само лесно и практично решение.

Ето и командите в последователен ред.

Ubuntu:
Инсталираме малко софтуер

sudo apt-get install netatalk avahi-daemon

Правим директория, в която да се съхраняват Time Machine бекъпите

mkdir /backups/timemachine/

Създаваме потребителско име с парола за достъп до въпросната директория и даваме права за писане над тази директория

sudo useradd -d /backups/timemachine
sudo chown timemachine:timemachine /backups/timemachine
sudo passwd timemachine

Последната команда ще ви поиска да въведете паролата на потребителя timemachine два пъти.

Редактираме файла /etc/netatalk/afpd.conf като на последният ред пишем това:

- -tcp -noddp -uamlist uams_randnum.so,uams_dhx.so,uams_dhx2.so -nosavepassword

Във файла /etc/netatalk/AppleVolumes.default пишем следното, като имайте впредвид, че на мястото на [username] трябва да сложите потребителското име, което сте задали. В моя случай това е timemachine

/backups/timemachine TimeMachine allow:[username] cnidscheme:dbd options:usedots,upriv,tm

Създаваме нов файл

nano /etc/avahi/services/afpd.service

Със съдържание

<?xml version="1.0" standalone='no'?><!--*-nxml-*-->
<!DOCTYPE service-group SYSTEM "avahi-service.dtd">
<service-group>
    <name replace-wildcards="yes">%h</name>
    <service>
        <type>_afpovertcp._tcp</type>
        <port>548</port>
    </service>
    <service>
        <type>_device-info._tcp</type>
        <port>0</port>
        <txt-record>model=MacPro</txt-record>
    </service>
</service-group>

Последната стъпка е да рестартираме services

/etc/init.d/netatalk restart
/etc/init.d/avahi-daemon restart

Mac OS X:
Използваме клавишна комбинация за да се свържем към Ubuntu сървъра – натиснете “cmd + k”. В прозореца, който ще видите, пишем:

afp://192.168.0.0

Като разбира се заменяте IP адреса с този на вашият Ubuntu server.

След като се свържем, затваряме прозореца.

Отваряме Time Machine settings. От там “Select disk” и избираме папката на вече готовият Ubuntu server.

Бекъпи на никого не са излишни и винаги са нужни.

Това е нещо интересно, което намерих “разхождайки” се в Интернет пространството: http://www.homedatacenterproject.com/

Собственика разказва историята на проекта още от самото начало, когато е започнал само с 2 машини, малко батерии, ток и още малко интернет връзка.

Доста се запалих по идеята, но не мисля, да я копирам. Поне не изцяло 🙂
Той предлага хостинг, а моята цел ще бъде remote backup. Нещо, което хората в днешно време подценяват, но в крайна сметка е нужно на ВСИЧКИ.
Да, сега ще кажете, че вече има Cloud hosting, който предотвратява загубата на данни, но пък моята таргет група не са обикновените хостинг клиенти. Работя изцяло с корпоративни клиенти, които знаят цената на backup-a и могат много добре да преценят последствията, от не използването на такъв.
Вярвате или не, напоследък се сблъсквам с доста компании, които по една или друга причина не използват бекъп, а всъщност предлагат услуги за милиони (буквално).

Внимание: Машините, с които започвам да си “играя” нямат общо с комерсиалната част на проекта www.server-backup.eu (засега)!

С какво разполагам до момента:
Motherboard: Gigabyte GA-P35-DS3R rev. 1.0, LGA 775/Socket T
GPU: XpertVision NVIDIA 7200GS PCI-E DDR2 VGA + DVI + TVO
HDD: 2 х 2 TB WD Green
OS HDD: 1 х 80 GB (обикновен диск)
OS: Debian Wheezy
CPU: Intel Pentium Dual-Core E2180 SLA8Y 2.00GHz/1M/800 Socket 775
CPU COOLER: Arctic Cooling Alpine 11 Rev. 2 CPU Cooler for Intel
RAM: 1 GB
POWER SUPPLY: FSP 350W ATX-350PNF
CASE: CIT Reaper Black Interior Mesh

В момента там е инсталирана базова версия на бекъп системата и се бекъпват само 2 лични сървъра. Тествам стабилността на връзката и скоростта й, защото за момента не е много добра/стабилна, което води до прекалено дълго време за да завърши всеки един от бекъп циклите.
Дори няма пуснат RAID. Нещо, което скоро трябва да променя. Най-малкото, ще пусна RAID 1, за да не си изгубя настройките ако нещо стане 🙂 Бекъп на бекъпа, ха-ха 🙂

Ето и един speedtest на връзката. Не е кой знае какво, но е ок. Трябва го тествам и с връзка от други краища на света…

Test Date: Jul 22, 2013 07:30
Download: 3855.9 kB/s
Upload: 247.6 kB/s
Ping: 45 ms
Connection Type: Wi-Fi
Server: Esslingen

Подготвям един малък “application” за офиса с идеята да го пусна на монитор, закачен за стената.

За сега на него имам само графики за мястото на дисковете, но скоро се надявам да намеря време и да го запълня с малко повече полезна информация 🙂
Така или иначе имам едно излишно Raspberry Pi и се чудя какво да го правя, поне да е monitoring 🙂

Самите графики са HTML5, красиви и благодарение на chart.js 🙂

Можете да погледнете тук, а ето и малка картинка 🙂

P.S. Това е част от server-backup.eu

Подготвям един малък “application” за офиса с идеята да го пусна на монитор, закачен за стената.

За сега на него имам само графики за мястото на дисковете, но скоро се надявам да намеря време и да го запълня с малко повече полезна информация 🙂

Ако на някой му е интересно… click here 🙂

Може би знаете (или не?), но от известно време е стартиран проекта Server-Backup.eu, който цели да осигурни защита на вашите данните при проблем със собственият ви сървър, като ги записва на отдалечено backup пространство.

Прочетох няколко статии, показващи какъв хардуер използват компании като Etsy.com и 37signals.com и реших да напиша нещо по въпроса. Разбира се, Server-Backup.eu е доста далеч от тяхната хардуерна инфраструктура, но все пак се стремим да поддържаме същите условия за сигурност и uptime като тях и много други компании.

С какво разполагаме:

Nagios – винаги, когато има проблем с някоя от бекъп машините, Nagios е там и ни информира за да вземем незабавни мерки и да отстраним проблема. С него следим най-вече колко са пълни дисковете на съответните машини и дали всичко с тях е в изправност, дали имаме неработещ диск или пък имаме проблем с RAID масива.

Cacti – следим натоварването на дисковете, на мрежата и на машината като цяло. Не искаме да имаме проблеми с прегряла техника 🙂

SMART checks – няма как без тях 🙂

RAID 6 – най-сигурният (за момента) RAID, който използваме за да сме сигурни в надеждността на данните.

Hardware – разполагаме с общо 3 машини, с достатъчно големи хард дискове за да има място за всичките ни клиенти. Две от машините са само Backup и нищо друго, а третата служи като front-end машина за вътрешните системи и проверки, за консистенцията на бекъпите и за стартирането на бекъп процесите (когато това е нужно).

Не се плашете като виждате цени в паунди (GBP). Проекта беше стартиран за България, но малко фирми там оценяват важността на това да имаш резервно копие на данните си на място, различно от собственият ти сървър. Общо взето не им се дават пари за подобна услуга, при положение, че (цитирам) “за 100 лв си взимаме още един хард, слагаме го на сървъра/компютъра и сме готови с бекъпа”.

П.С. Hardware
Подсетиха ме, че в крайна сметка съм забравил хардуера 🙂

Преди не беше нищо особено, но сега имаме това: Supermicro 6027R-E1R12N. Две напълно идентични машини, разположени в различни data центрове за максимална сигурност на данните.

Налага ми се да преместя бекъп системата си. За момента нямам окончателно решение къде да прехвърля няколкото терабайта бекъпи (лични и на различни фирми), но вчера се спрях на Amazon S3.

Все още не мога да изкажа впечатления, защото не съм работил с S3 повече от час, но недостатъка, който за момента ми пречи най-много е, че S3 могат да се използват само и единствено като прикачен хард диск, върху който да се записват данни. А така ми се искаше да мога да се логна в него с SSH и да му пусна един rsync…

Ако имате по-добро решение за бекъп ще се радвам да споделите.