Смартсорсинг.ру

Сообщество руководителей ИТ-компаний, ИТ-подразделений и сервисных центров

Статьи в блогах Вопросы и ответы Темы в лентах Пользователи Компании Лента заказов Курс по ITSM

Облако в подсобке

Задачи

У нас есть два бизнеса — оффлайновый бухгалтерский аутсорсер «Ассоциация Профессиональных Бухгалтеров»; и разработчик программного обеспечения ForestValley, с которым мы выходим в онлайн. Специфика бухгалтерии такова, что наши клиенты сильно зависят от бесперебойности нашей работы, а так же от секретности. Мы не только сдаём отчётность, но и ведём полный цикл документооборота для наших клиентов. И если остановится какая-то абстрактная фирма, то пострадает она и её клиенты. Если остановится наша работа, то пострадаем мы, наши клиенты и клиенты наших клиентов. Поэтому нам очень важна непрерывность и безопасность.

По этой же причине восстановление после поломок должно проходить быстро. Конечно, мы не ритейл, и вполне можем выдержать несколько часов простоя, но несколько дней уже не можем.

Мы храним записи сотен клиентов о сотнях тысячах сделок. Категорически нельзя допустить того, чтобы данные стали доступны третьим лицам, в том числе и при выемке или краже компьютеров. Невозможность получить данные учёта без ведома их владельца — один из основных приоритетов.

Нам, как и любой коммерческой фирме, важно повышать прибыльность. В том числе это достигается сокращением TCO информационных систем.

История создания

После того, как у нас в 2007 году четвёртый раз сломался сервер, тянувший на себе всю обвязку офиса, мне пришлось задуматься. Получалось, что сервер у нас ломался по разным причинам примерно раз в 2 года. Меня совершенно не устраивало, что приходилось заново устанавливать весь софт: бекапы не спасали, так как аппаратные платформы за это время менялись и Windows отказывался запускаться на новом сервере без переустановки. В итоге время простоя каждый раз у нас было до 2х недель — пока новое железо будет заказано, пока оно приедет, пока сервер установят, настроят, поставят софт и т.д...

И тогда мы начали экспериментировать с разными гипервизорами, а к ним — разными хранилищами. Основным требованием у нас было использование промышленных решений и по возможности свободного ПО. Любопытно, что подбор iSCSI хранилища мы начали с Open-E и отказались от него, перепробовали последовательно FreeNAS, OpenFiler и ещё несколько менее известных, попробовали самостоятельно собрать из каких-то разных пакетов, и в итоге вернулись на Open-E. За полтора года, пока мы экспериментировали с разными хранилищами, Open-E сделал ровно то, что нас устраивало и за вполне разумные деньги.

Построение текущей инфраструктуры с начала экспериментов до того момента, как мы смогли сказать «Ну всё, это то, что мы хотели», заняло два года.

Текущая конфигурация

Виртуализация серверов

Почти все программы у нас работают в своих отдельных виртуальных машинах. В качестве гипервизоров мы используем XCP (Xen Cloud Platform), раньше использовали Citrix XenServer. Гипервизоров два, довольно слабые серверы, один старый Dual Xeon LGA771 3,2 GHz Quad core +12 GB FB-DIMM, другой посвежее Xeon X3440 LGA1156 2,4 GHz Quad core + 16 GB DDR-3. Стоят на них по одному диску, исключительно для загрузки гипервизора.

Использование виртуализации дало нам следующий список возможностей:

  • Отвязка от оборудования. Вводится ещё один уровень абстракции, и виртуальным машинам становится без разницы, на каком реальном железе они запущены, ибо между ними и железом лежит гипервизор. Замена железа проходит незаметно для виртуальных машин. Особенно важно это для сложновосстанавливаемых программ типа клиент-банк, где запуск их в работу зависит одновременно от 1) IT-специалиста 2) лица, обладающего правом электронной подписи и 3) банка;
  • Snapshots — мнгновенные снимки виртуальных машин, позволяют в два клика делать бэкапы перед какими-либо изменениями в конфигурации VM, а затем откатываться на любой снэпшот. XCP и платные версии Citrix XenServer позволяют делать снимок не только диска, но и оперативной памяти;
  • Встроенные средства архивирования, а так же простота обращения с виртуальными машинами. По сути, VM — это файл размером несколько гигабайт, и с ним можно делать всё, что и с любым другим файлом — перенести на флешке, записать на DVD, послать через интернет;
  • Лёгкое удалённое администрирование всех наших серверов — управлять любой машиной становится возможным через удалённую консоль.

Оба гипервизора объединены в кластер (в понятиях Xen — ферму) — это значит, что можно управлять несколькими серверами как единым целым, а так же использовать все вкусности кластера:

  • автоматический запуск VM на том гипервизоре, на котором для неё достаточно ресурсов;
  • миграция работающей машины с гипервизора на гипервизор;
  • при отказе одного из гипервизоров запуск всех VM на другом.

Есть ещё несколько возможностей, которые мы пока не используем — балансировка нагрузки, High Availability и т.п. — наши требования к доступности не столь высоки. Наша ферма всё это умеет, и в любой момент мы можем начать их использовать.

Виртуализация дисковых хранилищ

Вся информация у нас лежит на хранилищах данных, подключенных по iSCSI к гипервизорам. В качестве хранилищ — два древних сервера с Xeon 2,4GHz Socket604, в каждом по Adaptec 6805, по семь винтов SAS 2.0 1TB 2’’5, собранных в массивы RAID6 (для надёжности). Хранилища соединены в кластер таким образом, что при выходе любого из них из строя работа не притормаживается ни на секунду. Они работают как зеркало, и для пользователя выглядят как один виртуальный iSCSI сервер. Управляются софтом Open-E DSS v7.

На хранилищах несколько больших томов. Во-первых, каталоги пользователей+документация. Во-вторых, бухгалтерские базы. В третьих, архив. Ну и наконец, место под виртуальные машины. Собственно, использование iSCSI даёт возможность раскрыть весь потенциал кластера гипервизоров. Так как гипервизоры не хранят у себя образы виртуальных машин, а обращаются за ними на одно и то же виртуальное хранилище, ферма самостоятельно выбирает, на каком сервере запустится та или иная VM (если только мы не указываем ей принудительно). Таким образом, если вдруг один из гипервизоров не доступен, второй запустит у себя столько VM, сколько сможет потянуть.

Без внешних хранилищ такая схема не могла бы работать. Если образ VM хранится на жестком диске гипервизора (такое возможно), то другой гипервизор не будет иметь доступа к ней. Значит, при выходе первого сервера из строя все VM, хранящиеся на нём, становятся недоступны. А так мы можем потерять любой из гипервизоров без ущерба для данных, с некоторой деградацией в скорости, конечно же.

Наши виртуальные машины

Все наши клиент-банки работают в своих виртуальных машинах. Мы обслуживаем более 20 расчётных счетов для наших клиентов. Некоторые клиент-банки конфликтуют друг с другом, да и вообще, чтобы не класть яйца в одну корзину, мы решили под каждый банк заводить свою виртуалку. Ни разу ещё не пожалели.

Ещё у нас есть сервер приложений, куча виртуалок для разработчиков и всякая обвязка — серверы аутентификации (пара, на всякий случай), внутренний портал и т.п. Всего количество одновременно работающих VM у нас превышает 30, разные версии Windows, Linux и FreeBSD.

В случае, если нам надо вдруг провести какой-то эксперимент, в течение 2 минут создаётся клон работающей VM, готовый к тестам. По окончании тестов он уничтожается.

Обеспечение безопасности

Так как и хранилищ, и гипервизоров у нас по паре, объединённых в кластер, то у нас можно вынести ровно половину нашего серверного хозяйства, и мы не пострадаем. Для страховки мы держим половину не в нашем офисе. Таким образом, в случае маски-шоу нам потребуется на восстановление полной работоспособности ровно то время, которое нужно, чтобы поставить новые чистые компы на столы.

Все документы у нас хранятся только на сервере. Достигалось выполнение этого требования как административными методами, так и организацией бизнес-процессов так, чтобы нескольким людям одновременно требовалось иметь доступ к документам по какому-либо клиенту, и ещё кое-какими управленческими фишками. Сейчас с уверенностью можно сказать на компьютерах сотрудников нет никакой важной информации, только операционная система. Проверяется просто — мы можем продать без предупреждения любой компьютер и заменить его новым — всё будет работать, как прежде.

Наши приоритеты в работе — безопасность клиента, развитие сотрудников, достойная норма рентабельности. Именно в такой последовательности. Самое важное для нас — защитить клиента от ошибок и от посягательств извне. Для этого все важные данные у нас шифруются с помощью ключа, хранящегося где-то в сети. Ключ спрятан таким образом, что можно изъять у нас все компы, собрать их точно так же в другом месте — и они работать не будут. Итого, изымать их совершенно бесполезно и для целей остановки нашей деятельности (вдруг кто-то захочет навредить нам или нашим клиентам, мир не без добрых людей), и для целей получения информации, которую мы не хотим отдавать.

Производительнось

Скорость работы всего нашего хозяйства наших пользователей по большей части устраивает. Но всегда есть резервы:

  1. для быстрых данных можно построить RAID10 на скоростных винтах SAS 2.0 15K;
  2. можно добавить по одному SSD на каждый контроллер и включить кеширование чтения, есть у Adaptec такая замечательная технология — MaxCache;
  3. при необходимости добавить памяти в гипервизоры — недорого и эффективно;
  4. вывести SAN в отдельную сеть;
  5. заменить сеть на 10GB
  6. включить в OPEN-E технологию Active-active, в этом случае нагрузка распределяется между хранилищами;
  7. Заменить старый гипервизор на Dual Xeon на что-то более современное — даст прирост производительности на всём кластере. Дело в том, что по умолчанию в кластер можно объединить машины только с совершенно одинаковыми процессорами. Это сделано для обеспечения миграции работающих VM с сервера на сервер. Ведь если машина запустилась на процессоре с одним набором инструкций, и внезапно переехала на другой набор инструкций, мы получим kernel panic или BSoD — на выбор. Есть стандартный хак, который позволяет эту проблему обойти — маскИрование. Каждый процессор сообщает свои возможности, и они урезаются до минимальной совместимости. У нас два сервера из двух совсем разных ветвей развития, и их минимальная совместимость лежит глубоко ниже максимальных возможностей каждого из них, в итоге ни один из серверов не работает на полную мощность.
  8. Эта же замена даст возможность использовать аппаратное ускорение шифрования, которое есть в современных процессорах. Сейчас эти инструкции маскИрованы.

Накопленные знания

Пока мы создавали нашу инфраструктуру, мы опробовали множество методов, пакетов и технологий. Полученный опыт мы сохраняли во внутренней wiki. В качестве движка была выбрана DokuWiki. На ней хранятся базы знаний отдела разработки и бухгалтерии.

Дальнейшее развитие

В дальнейшем мы смотрим на переход на управляемые UPS и создание сервера USB-ключей для проброса их в VM (для клиент-банков). В клиентской части — виртуализация рабочих станций — как минимум бездисковая загрузка — и виртуализация приложений.

Конкурс

Мы выставили этот наш проект на конкурс Телфин: http://smartsourcing.ru/blogs/blog_kompanii_telfin/1641. Если вам понравилось наше решение, проголосуйте за него, пожалуйста, здесь: http://contest.telphin.ru/projects/облако-в-подсобке/

Комментарии (61)

  • Аватар

    Ланцев Андрей [Sansey], 25 сентября 2012, 13:41

    0
    Эээ! Я тоже свой проект на Телфин выставил:)) Но что-то я тут его не пиарю... Не честно:)))
    • Аватар

      Чижиков Владимир [Skif Swarogich], 25 сентября 2012, 13:55

      0
      Ого... Запасаюсь попкороном и пивом с чипсами. Будет что-то интересное. :)
      • Аватар

        Ланцев Андрей [Sansey], 25 сентября 2012, 14:02

        0

        Да мне так-то не особо критично. За мой проект и без пиара голосуют люди. Тем более, что 30 числа все закончится.

        Если товарищу так удобнее - то пусть:)) Так что пиво и попкорн рекомендую съесть немедленно, а то пропадут:))

    • Аватар

      Коваленко Александр [sonnyko], 25 сентября 2012, 19:13

      0
      Ну, почему бы и непопиарить. Я же в конце концов проект не для конкурса делал, а для работы. Если кому-то будет полезным - я только рад буду.  
      • Аватар

        Чижиков Владимир [Skif Swarogich], 25 сентября 2012, 19:21

        0
        Пиарить надо. Это дополнительная инфа о компании. Так что не заморачивайтесь. Бизнес есть бизнес.
      • Аватар

        Ланцев Андрей [Sansey], 26 сентября 2012, 12:27

        0

        А меня значете что в итоге радует? Что весь срач и обсуждения тут происходят, а не на сайте конкурса:)) и все таки некрасивенько получается. Говорите, что проект не для конкурса делали, а выложили сначала на конкурс, а потом уже сюда:)) А для работы я вас завалить могу такими проектами:))

        Кстати вопрос: промелькнула тема "защита от изъятия информации". Как в итоге это реализовано то? Если заберут все кучей, вместе с виртуалками и т.д...

        • Аватар

          Коваленко Александр [sonnyko], 26 сентября 2012, 12:36

          0

          Вначале я выложил себе на сайт и в блог, если что. Потом узнал о конкурсе, и добавил туда, и сюда.

          Всё зашифровано, изъятие ничего не даст - виртуалки поднимутся, но все данные хранятся на зашифрованных томах, а они не расшифруются, стоит сеть потревожить. Даже если сеть собрать точно так же, как у нас. Более подробно, увы, открыто рассказать не могу.  Приезжайте в гости, покажу на месте.

           

          • Аватар

            Ланцев Андрей [Sansey], 26 сентября 2012, 12:46

            0

            Александр, а у вас есть реальный опыт общения с правохранительными органами в такого плана проверках/обысках? У меня лично есть. И поверьте, ваши шифрованные диски вас не спасут:) А только усугубят положение. Причем лично ваше, а не клиентское.

            У меня давно уже на кончике пера висит эпос о моем "печальном" опыте. Как только созрею, обязательно напишу:))

            • Аватар

              Коваленко Александр [sonnyko], 26 сентября 2012, 12:56

              0

              Конечно, мы же бухгалтерская фирма. Своих-то клиентов мы отбираем тщательно, а вот клиенты клиентов косячат, бывает. Регулярно. То НДС кто-нибудь из бюджета попытается возместить, то кредить не вернёт, то просто окажется не в том месте и не в то время. Обыски у нас примерно раз в год-полтора-два (восемь всего было, если я правильно помню). Ни разу ещё не было, чтобы от нас что-то утекло. Кстати очень дисциплинирует и мотивирует всё держать в порядке :) Если бы такой угрозы не было, её следовало бы изобрести.

              На допросы мы ходим очень часто, сам я бывал раз двести. Так что это да, практический опыт, а не бокс по переписке :)

              А о печальном опыте писать обязательно надо. Чтобы другим была польза. Каждый печальный опыт должен сопровождаться разделом "если б я всё это знал тогда, я бы сделал по-другому вот что:"

               

              • Аватар

                Ланцев Андрей [Sansey], 26 сентября 2012, 13:02

                0

                Ну тогда вы молодцы. Хотелось бы услышать, как у вас проходят данные проверки. Т.к. проверка проверке рознь:)) Сравнить, так сказать, впечатления.

                Ну и еще вопрос. Вы ведь по сути оказываете SaaS услугу. Такие вещи как телематика и сертификация вас не заморачивают? Или есть это все?

              • Аватар

                Ланцев Андрей [Sansey], 26 сентября 2012, 13:04

                0

                Даже больше добавлю. Просто у меня на обслуживании находится как минимум две таких же фирмы, как ваша (бухгалтерский аутсорсинг + юридический). Не такие крупные конечно, но все таки. Но вот как-то не особо они ведутся на эти страшилки про проверки. Я бы им ваш опыт показал, на реальном примере, глядишь и на оборудование разорятся и на безопасность:))

                Можно в личку.

                • Аватар

                  Коваленко Александр [sonnyko], 26 сентября 2012, 13:08

                  0

                  У меня в плане несколько постов написать в ближайшие две недели, у любимых клиентов разные события происходят, надо осветить. К концу октября я бы написал, наверное. Только, если честно, я не совсем представляю, как это сделать. Писать куцо - будет никому не интересно. Писать подробно - против себя играть, мой же пост будут использовать как инструкцию для оперативников :)

                  Короче вопрос про описания проверок пока открытый.

                   

                • Аватар

                  Демченко Александр [Darkman], 01 октября 2012, 13:22

                  0

                  Такая же фигня. Как понял, обычно руководство этих фирм "на короткой ноге" с налоговыми органами (у некоторых это даже бывшие сотрудники которые ушли в свой бизнес но связи есть), и даже если будет проверка, то будет за день-два звоночек и все что не нужно будет "вывезенно".

                   

                  И на железо их не всегда разведешь, у некоторых еще стоял Pentium 3 с Windows 2000. Называется «работает же, чего еще надо». Единственное сейчас ввиду массового перехода на 1С 8 надеюсь убедить, что нужно новое железо.

        • Аватар

          [telphin], 26 сентября 2012, 13:04

          0
          Ну и как бы нам тоже немного перепало )
  • Аватар

    Чижиков Владимир [Skif Swarogich], 25 сентября 2012, 13:59

    0
    Можно повредничаю? А почему непользуете FC? Даже 4Gb/s даёт более высокую производительность чем 10Gb ethernet.
    • Аватар

      Коваленко Александр [sonnyko], 25 сентября 2012, 14:11

      0

      Нужно!

      дело в цене. Сейчас у нас всё бегает по одной сети в 1Gb. Строить выделенную сеть FC - минимум $10k. 

      • Аватар

        Чижиков Владимир [Skif Swarogich], 25 сентября 2012, 19:06

        0

        Я не ориентируюсь в российских ценах и миллион для меня достаточно большая сумма. Не ужели $10к не вписывается в бюджет?

        Впрочем, я просто вредничаю. Сам поднимал подобные решения на Gigabit ethernet. Правда, мы дополнительно делали агрегацию линков. Обычно по два линка и два коммутатора. Ну, классика.

        • Аватар

          Коваленко Александр [sonnyko], 25 сентября 2012, 19:11

          0

          Нет, не вписывается. И производительность сети пока не самое узкое место. У нас на всё про всё ушло около $8k, причем не сразу, а в течение 3 лет.

          А без виртуализации ушло бы примерно $10k на тот же комплект машин, но с гораздо меньшим функционалом. 

  • Аватар

    Fedoseyev Ruslan [FedoseyevRA], 26 сентября 2012, 10:42

    0

    "Решение" собрано на коленке из того, что оказалось под рукой. Вспомнилось, как дед в сарае изготавливал оконные рамы, а из обрезков деревяшек я мастерил кораблики прочие приятности. Что, прямо скажем, "не корпоративно".

    Вообще то, что делается от нищебродства, - это всегда костыли, это всегда плохо.

    • Аватар

      Коваленко Александр [sonnyko], 26 сентября 2012, 11:19

      0
      Не корпоративно, да. Для корпоративных целей мы бы взяли Citrix XenServer platinum, серверы новые и FC. Принципы остались бы теми же. Правда цена была бы не $8k, а около $40k. 
      • Аватар

        Fedoseyev Ruslan [FedoseyevRA], 26 сентября 2012, 12:01

        0

        Это фантазии. Никто не мешал купить 2 х Dell R410 ($8k), 2 х QNAP TS-419U ($3k), 8 x 2 Tb SATAIII ($1k). Итого $12k. При этом:

        а) все оборудование - новое и высокопроизводительное;

        б) решение рассчитано на минимум 5 лет эксплуатации (а при минимальных затратах на сервисные контракты от производителей - и на 6-7);

        в) решение выглядит профессионально. Не в сарае, не кораблики, не из обрезков.

        • Аватар

          Коваленко Александр [sonnyko], 26 сентября 2012, 12:24

          0

          Во-первых, 8*2Tb SATA3 в те поры не существовало просто, начинали мы строить в 2007 году. Да и сейчас мы используем 14*SAS 2.0, оно больше соответствует нашим требованиям по надёжности. Во-вторых, у Вас два сервера, а надо четыре. Мы считали, даже не на Dell, а на более дешевом Supermicro, выходит $40k. В третьих, QNAP не умеет объединяться в кластер, а это вообще самое важное для обеспечения безотказности. Самое дешёвое железное хранилище с возможностью failover/failback начинается от $12к за штуку.

          Ну и самое главное, нам не надо, чтобы "выглядело профессионально", такой задачи вообще не стояло. Более того, чем менее похоже на серверную, тем беопаснее. Сейчас у нас народ  предлагает (пока в шутку) поставить на видном месте Big Tower, набить вентиляторами и старыми винтами и наклеить этикетку "Осторожно!!! Не выключать!!! Сервер!!!" :)

          Понятно, что для Газпрома, например, требования совсем другие. И бюджеты. Нам было важно использование промышленных решений с гарантированной техподдержкой. Все компоненты - промышленные, техподдержку имеют, в т.ч. 24*7 при желании.

          Но я вполне допускаю, что я что-то не догоняю. Расскажите, пожалуйста, как бы вы на приведённом Вами оборудовании построили отказоустойчивый кластер? Возможно, Вы напишете об этом отдельный пост? Я бы с удовольствием научился чему-нибудь новому.

           

          • Аватар

            Fedoseyev Ruslan [FedoseyevRA], 26 сентября 2012, 12:39

            0

            >Во-первых, 8*2Tb SATA3 в те поры не существовало просто, начинали мы строить в 2007 году.

            тогда не надо выдавать это за "кококо решение!". Если это ваши "путевые заметки" или личный дневник, то и подаваться он должен именно под таким соусом.

            >Да и сейчас мы используем 14*SAS 2.0, оно больше соответствует нашим требованиям по надёжности.

            Если можно, я бы ознакомился со статистическими данными об отказах, чтобы выявить соответствие требованиям по надежности.

            >Во-вторых, у Вас два сервера, а надо четыре.

            у вас в схеме два.

            >Мы считали, даже не на Dell, а на более дешевом Supermicro, выходит $40k

            Меняйте поставщика или закупщика. Вас обманывают.

            >В третьих, QNAP не умеет объединяться в кластер

            читайте даже не мануалы, а просто описание продукта. Умеет, прекрасно умеет.

            >нам не надо, чтобы "выглядело профессионально"

            еще раз: тогда не называйте это "решением".

            >Расскажите, пожалуйста, как бы вы на приведённом Вами оборудовании построили отказоустойчивый кластер? Возможно, Вы напишете об этом отдельный пост? Я бы с удовольствием научился чему-нибудь новому.

            В реалиях сегодняшнего дня я бы поднял 2 гипервизора Hyper-V, кластеризовал бы два хранилища и разместил бы на них файлы виртуальных машин, которые, в свою очередь кластеризовал бы на гипервизорах. Работы на день. Отказоустойчивость - 100%. Дублирование компонентов полное (если развивать тему, то по 2 блока питания hot-swap в каждом сервере, гипервизоры на RAID1, на хранилищах быстрые RAID10 с избыточностью).

            Замечу: свое "решение" я "проектировал" 2 минуты, пока писал пост. Можно НАМНОГО дешевле.

            • Аватар

              Коваленко Александр [sonnyko], 26 сентября 2012, 12:48

              0

              Со статистикой можно, наверное, ознакомится на сайте производителя. Мы используем Seagate Constellation SAS 2.0 2"5, объединённые в raid6.

              Четыре сервера - два гипервизора и два хранилища.

              QNAP - перечитал ещё раз. Не умеет. Возможно, Вы приняли за объединение в кластер failover? Так это у него внутренний failover между портами ethernet. Может, я и не прав, но я не нашёл, как объединить два qnap  в кластер. Подскажите?

               

              • Аватар

                Fedoseyev Ruslan [FedoseyevRA], 26 сентября 2012, 12:52

                0

                >Четыре сервера - два гипервизора и два хранилища.

                я предложил хранилища отдельно. Так что 2 сервера - достаточно.

                >Возможно, Вы приняли за объединение в кластер failover? Так это у него внутренний failover между портами ethernet

                Мы говорили, вроде, об отказоустойчивости (одно устройство приказало долго жить - второе заняло его место, без простоев в работе сервиса, прозрачно для пользователей, без вмешательства технического персонала). Оно там есть. Если вам нужно, чтобы там было четко написано "кластер", тогда вопрос: вам шашечки или ехать?

                • Аватар

                  Коваленко Александр [sonnyko], 26 сентября 2012, 12:59

                  0

                  Мне ехать. Вот именно этой функции я в описании и не нашёл. Перечитал ещё раз. Подскажите, где искать?

                  • Аватар

                    Fedoseyev Ruslan [FedoseyevRA], 26 сентября 2012, 14:15

                    0

                    http://qnap.ru/content/catalogue/soho/206

                    Резервирование данных

                    • Кнопка копирования данных с/ на внешнее устройство
                    • Поддержка Apple Time Machine с управлением резервирования
                    • Репликация ресурсов на уровне блоков
                      • Работает как в качестве Rsync сервера, так и клиента
                      • Защищенная репликация между серверами QNAP

                     

                    Давайте зайдем еще дальше: я напишу полное решение даже без репликации "из коробки" между хранилищами.

                    Сейчас HV поддерживает размещение файлов виртуальных машин на обычных SMB-шарах.

                    1. Создаем DFS, к нему цепляем оба хранилища (хоть 2 сервера на базе P4)

                    2. Размещаем файлы ВМ в DFS.

                    3. Запускаем ВМ из DFS с резервированием на уровне гипервизоров.

                    4. ???

                    5. PROFIT!

                    • Аватар

                      Коваленко Александр [sonnyko], 26 сентября 2012, 14:22

                      0

                      То, что описано у QNAP, репликация, а не автоматический failover. То есть резервное копирование. Использовать в качестве отказоустойчивого решения нельзя. При выходе из строя одного, нужно ручками подключать другое.

                      То, что описали Вы, работать будет, но это не промышленное решение, а сложный набор костылей. Плюс дополнительная нагрузка на гипервизоры. Плюс одна точка отказа. Плюс сложность в администрировании. Поэкспериментируйте для интереса. Мы пробовали такое решение, очень ненадёжно. Работали на нём в течение 3х месяцев. Снесли.

                       

            • Аватар

              Ланцев Андрей [Sansey], 26 сентября 2012, 13:47

              0

              Ну кстати, вполне себе стандартное решение. Увеличение отказоустойчивости достигается только путем наращивания количества серверов в кластере. Но двух до жопы по-моему:))

              А есть какой-нибудь кейс на это решение с четкими ценами на железо/софт/внедрение?

        • Аватар

          Окулов Виталий [mightydok], 30 сентября 2012, 12:47

          0

          Поддержу Александра, за предложение QNAP в качестве надежного хранилища я бы такому "интегратору" руки бы поотрывал.

          Крайне нанадежное оборудование с 1 блоком питания, одна из текущих проблем - QNAP не может загрузиться до конца и запустить все сервисы если у него интерфейсы объеденены в bonding-rr. Зависает ОС где-то ближе кокончанию загрузки, а вот если вынуть один из кабелей из сетевой карты - то все работает как ожидается.

          Еще проблема - ненадежность smb под длительными нагрузками на чтение или запись, может запросто разорвать сессию или заблокировать файлы на запись.

          Вобщем лучше посмотреть в сторону synology или простого сервера на базе windows.

          Если требуется отказоустойчивое решение, то можно посмотреть в сторону простого сервера с open-e или starwind iscsi.

  • Аватар

    [sergsv@rambler.ru], 01 октября 2012, 16:34

    0

    А мне нравится! ;-) Не, ну правда большая работа проведена и получен результат.

    И нравится, что все написано, как мне показалось откровенно и ответы без "наездов" в отличии от некоторых коментов.  Были ресурсы, в рамках которых получилось замечательное решение, которое справляется с поставленными задачами. Ну зачем лучше, больше дороже? Лучшее - враг хорошего! И зачем завидовать?

    Я иногда не понимаю - вот зачем на форумах, нужно что-то не по теме критиковать, одним подавай более профессиональное решение, которое не укладывается в бюджет (даже если на 1к не укладывается, ладно еще дешевле было бы интересно, но зачем дороже!?), другие просто завидуют чужой славе. Надо радоваться за соотечественников, за коллег - спрашивать пока отвечают, ходить в гости пока приглашают и учится, учиться..., а если есть что-то свое крутое, тоже делится этим в соседней ветке. Нет блин, обсуждение почти любой статьи превращается "меряние писками", Вы уж извините, кого этот пост не касается, за эпитеты не художественные, долго молчал, надоело!!!

    И еще раз Спасибо автору за статью, лично мне, есть чему поучится, думаю, как и большинству

Также рекомендуем

SmartNut — программное обеспечение для сервисных компаний и подразделений.