Передача даних на Amazon S3 Швидко за допомогою AWS Import Export
Якщо у вас є сотні гігабайт або навіть терабайти даних у вашій локальній мережі вдома, ви, ймовірно, все це зберігається на комп'ютері, зовнішньому жорсткому диску або NAS (мережевому пристрої зберігання). Наявність резервних копій даних є надзвичайно важливим, але наявність їх у одному місці ніколи не є гарною ідеєю.
Я зрозумів це сам, коли побачив, що у мене більше 2 ТБ фотографій, відео, резервних копій і т.д., які зберігаються на моєму локальному NAS. Звичайно, у нього є 4 жорстких диска, і якщо не вдасться, жодна з моїх даних не буде втрачена. Проте, якщо мій будинок згорить або затопить, все буде втрачено разом з NAS. Тому я вирішив зробити резервну копію даних в хмарі.
Я перевірив Dropbox, SkyDrive, Google Drive, CrashPlan і Amazon S3 і Glacier, перш ніж нарешті врегулювати на Amazon S3. Чому Amazon? У них є чудова послуга, на яку можна надсилати зовнішній жорсткий диск розміром до 16 ТБ і завантажувати його безпосередньо на їх сервери, тим самим обходячи величезну проблему завантаження даних через повільне підключення до Інтернету.
З AT & T у мойому сусідстві, я отримую whopping 1.4 Mbytes / sec швидкість upload. Для завантаження 2,5 Тб даних, які я зберігаю на NAS, потрібно багато місяців. З імпорту / експорту Amazon, ви можете заплатити $ 80 плату за обслуговування і дати їм завантажити всі ці дані для вас в один день. Я в кінцевому підсумку зробив відео-підручник, який проходить через весь процес від реєстрації на Amazon Web Services, щоб упакувати ваш жорсткий диск і відправити його на Amazon.
Ось повний текст відео:
Всім привіт. Це Aseem Kishore з онлайн технічних порад. Сьогодні я буду робити щось нове. Я збираюся зробити відео-підручник з функцій Amazon Web Services Import Export. Що таке функція імпорту експорту? Ну, це в основному спосіб отримати велику кількість даних у відро Amazon S3 або в сховище льодовиків. Amazon S3 і Glacier - це в основному два варіанти зберігання даних, які є для резервного копіювання даних і архівування даних за допомогою Amazon. Так чому ж ви хочете використовувати цю послугу від Amazon?
Це, в основному, дозволяє швидко переміщати велику кількість даних у хмару. Якщо ви когось на зразок мене, у вас можуть бути сотні гігабайт фотографій і відео, які зберігаються локально на вашому комп'ютері або на зовнішньому жорсткому диску. Намагаючись завантажити 100 Гб або 500 гігабайт або навіть терабайт даних у хмару, ви займете кілька тижнів, якщо не місяці на повільному з'єднанні для завантаження. Замість того, що ви можете зробити, це скопіювати ці дані на зовнішній жорсткий диск, який може мати розмір до 16 терабайт і просто відправити це в Amazon, де вони віднесуть його в свій центр обробки даних і завантажують його прямо у відро або сховище, а потім Ви можете отримати доступ до цього з Інтернету.
Щоб розпочати роботу, перше, що вам потрібно зробити, це створити обліковий запис веб-служб Amazon. Щоб зробити це, ви збираєтеся піти на aws.amazon.com, і ви збираєтеся йти вперед і натиснути на кнопку Реєстрація. Введіть адресу електронної пошти, а потім виберіть "Я новий користувач", якщо у вас немає облікового запису Amazon. Якщо ви це зробите, вибирайте "Я - користувач, що повертається", і ви можете використовувати обліковий запис Amazon для поточного облікового запису, щоб зареєструватися для веб-служб Amazon.
Після створення облікового запису веб-служб Amazon вам доведеться завантажити інструмент "Експорт імпорту". Цей інструмент дуже простий у використанні. Це займе трохи конфігурації, які я збираюся йти вперед і пояснювати. Але ви можете побачити на екрані, є посилання вниз завантаження, яке я збираюся додати в підпис в нижній частині цього відео. Отже, продовжуйте завантажувати, а потім витягувати його в каталог на вашому комп'ютері.
Тепер, коли ви завантажили цей інструмент і витягли його, ви повинні мати каталог, який виглядає так. На цьому етапі нам потрібно буде відредагувати файл з назвою “AWS Credentials”. Він містить два значення, ID ключа доступу та секретний ключ. В основному, це два значення, які Amazon використовує для посилання на ваш обліковий запис. Ці два значення можна отримати з акаунта веб-служб Amazon, перейшовши за наступною адресою. Це aws.amazon.com/securitycredentials. На сторінці Security Credentials, ви збираєтеся йти вперед і натискати клавіші доступу.
Тепер це стає трохи заплутаним. Якщо ви вже використовували веб-служби Amazon і вже створили ключі в минулому, то ви не зможете побачити свій секретний ключ тут. Це новий інтерфейс від Amazon, і для того, щоб побачити ваші існуючі секретні ключі, потрібно натиснути посилання "Повноваження безпеки", яке переходить до старої сторінки "Спадщина"..
Якщо ви щойно створили новий обліковий запис, ви зможете створити новий кореневий ключ. Ця кнопка буде активна. У цей момент ви отримаєте ідентифікатор ключа доступу, і ви отримаєте секретний ключ, щоб він дав вам обидва значення. Це сторінка застарілої безпеки, де можна отримати доступ до секретних ключів, якщо ви вже створили ідентифікатор ключа доступу для веб-служб Amazon. Отже, як ви бачите, у мене є дві клавіші доступу, і якщо я хотів би побачити свій секретний ключ, я можу піти далі і натиснути кнопку "Показати", а потім скопіювати ці два значення в файл AWS Credentials, який я показав Ви раніше. Отже, ви хочете вставити ключ доступу ID і вставити тут секретний ключ.
На даний момент, якщо ви заплутуєтеся ключем доступу до ключа та ключем секретного доступу, це нормально. Ви дійсно не повинні знати, що вони є, або піклуватися про них будь-яким способом. Все, що вам потрібно зробити, це підписати і отримати значення, а також скопіювати і вставити їх у цей файл.
Наступне, що ми збираємося йти вперед і робити, це створити імпортне завдання. Тепер наступні дві частини - дві найважчі частини цієї процедури. Щоб створити імпортне завдання для Amazon S3, ми збираємося створити файл маніфесту. Цей файл маніфесту в основному містить деяку інформацію про ваш пристрій. Де б ви не хотіли зберігати дані і куди потрібно відправити пристрій.
Тепер приємно те, що нам не потрібно самостійно створювати цей маніфест. Це вже створено для нас, ми просто повинні йти вперед і заповнювати його. Так що ви хочете йти вперед і робити це зайти в каталог і де у вас є інструмент імпорту експорту і натисніть на прикладах. Тут ви збираєтеся йти вперед і відкривати маніфест імпорту S3. Як ви можете побачити тут, я вже пішов вперед і заповнив інформацію для моєї імпортної роботи. Так що давайте підемо далі і подивимося на це трохи більш уважно.
Як ви бачите, перше, що вам потрібно зробити, це знову ввести свій ідентифікатор ключа доступу. Ви повинні позбутися дужок, і ви просто йти вперед і вставити його прямо після двокрапки. Наступне, що ви захочете зробити, це ввести ім'я відра. Ви повинні будете йти вперед і створити відро, яке я збираюся йти далі і показувати після цього, але поки що вперед і введіть будь-яку назву, яку ви хочете, де ви будете дані зберігається. Отже, якщо ви створюєте папку з назвою Back Up, то все, що є у вашому пристрої, будь-які папки або що-небудь там перебуватиме під ним.
Наступне, що ви захочете піти далі і зробити, це ввести свій ідентифікатор пристрою. В основному це унікальний ідентифікатор зовнішнього жорсткого диска. Це може бути серійний номер на задній панелі жорсткого диска. Якщо у вас немає серійного номера, який знаходиться на зворотному боці вашого жорсткого диска, то, що ви можете зробити, це просто створити свій номер або створити ідентифікатор. Просто напишіть, що на щось, наклейку, яку ви можете помістити на пристрій, а потім просто введіть це значення тут. Вона просто повинна бути такою ж на пристрої та в цьому файлі. Стерти пристрій, це вже встановлено на Ні, тому ви збираєтеся залишити це. Ви можете залишити наступний. Рівень обслуговування стандартний, ви можете залишити це. І зворотну адресу, ви збираєтеся йти вперед і заповнити свою адресу, як я зробив тут. У вихідному файлі є деякі додаткові поля. Ви повинні йти вперед і видалити ці, якщо ви не збираєтеся їх використовувати. Таким чином, ви можете просто піти вперед і видалити ці лінії.
Отже, наступне, що ми зробимо після заповнення файлу маніфесту, - зберегти його у відповідному каталозі. Щоб зробити це, ми збираємося йти вперед і натиснути Файл, Зберегти як, і ми повернемося назад в каталог імпортування експорту Web Services Tool. Це також місце розташування цього файлу властивостей крапки, яке ми заповнили раніше. Тут ви збираєтеся перейти до імені файлу, "my import manifest.txt. "Оскільки тип" Зберегти як "вже є txt, вам не потрібно вводити його у назву файлу. Натисніть "Зберегти".
Тепер, коли ми редагували файл AWS Credentials і зараховували файл My Import Manifest, ми можемо створити відро для Amazon S3. Це дуже просто зробити. Що ви збираєтеся йти вперед і робити, це перейти на aws.amazon.com, і ви збираєтеся йти вперед і натисніть на консолі мого облікового запису, а потім натисніть на консоль управління AWS. Після входу ви повинні отримати екран, який виглядає так з усіма різними веб-службами Amazon. На даний момент, все, про що ми дбаємо, - це Amazon S3, який знаходиться внизу ліворуч. Натисніть на це, і він збирається йти вперед і завантажувати консоль S3. І, як ви бачите, тут не дуже багато іншого, окрім відра. Таким чином, у мене є два відра, це моя резервна копія мого synology nas, який є пристроєм зберігання мережевого типу.
Що ви захочете йти вперед і робити, це натисніть кнопку Створити ковша, і думаю, що ви збираєтеся йти вперед і дати вашому ковшу ім'я відро. Ви також можете вибрати інший регіон, але я пропоную вам просто перейти до регіону, який він заповнює для вас автоматично. Ім’я кошика може мати лише крапки, і воно має бути унікальним у всій області, де вона зберігається. Отже, якщо хтось вже має це ім'я відра, це дасть вам помилку. Наприклад, якщо я скажу, nasbackup, і я кажу, створити, це дасть мені помилку, що запитане ім'я відра не доступне. У цьому випадку ви можете використовувати точки, щоб ви могли поставити "крапку", і все інше, що ви хочете, і натисніть кнопку "створити", і якщо це унікально, а потім вона йде вперед і створює це ім'я відра. Таким чином, ви можете створити відро, тобто ми будемо зберігати дані про весь зовнішній жорсткий диск.
На даний момент, ви можете бути здивовані, що ще має бути зроблено. Отже, давайте подивимося на те, що ми зробили до цих пір. Ми підписалися на послугу AWS. Ми завантажили та витягли інструмент. Ми редагували ключі файлів і редакторів. Ми пішли вперед і створили файл маніфесту, який було збережено в імпортованому маніфесті в тому ж каталозі, що й файл облікових даних, і ми створили відро на Amazon S3. Таким чином, є тільки ще кілька речей, щоб зробити це зробити.
Наступне, що нам потрібно зробити, це створити запит на завдання, використовуючи інструмент командного рядка Java. Це трохи технічно, і це, мабуть, найбільш технічна річ, яку вам доведеться робити, але насправді це не так важко. Тепер для того, щоб створити цей запит на роботу, нам потрібно виконати команду Java в командному рядку. Але для того, щоб зробити це, ми повинні мати встановлений Java Development Kit. Це відрізняється від середовища виконання Java, яке зазвичай встановлюється на більшості комп'ютерів, але не дає змоги запускати команди Java у командному рядку.
Для цього потрібно зайти в Google і просто здійснити пошук Java SE, а це Java Standard Edition. Натисніть на перше посилання тут, і це приведе вас до цієї сторінки. Тут ви можете прокрутити вниз, і ви побачите три варіанти, JDK сервер, JRE і JRE. Ми не повинні турбуватися про цих двох тут. Ми збираємося піти вперед і завантажити JDK. На наступній сторінці натисніть кнопку Прийняти ліцензійну угоду, а потім завантажте файл, який відповідає вашим специфікаціям системи. У моєму випадку я завантажив виконуваний файл Windows 64 біт.
Тепер, коли ви встановили Java-виконуваний комплект, ми можемо піти далі і запустити команду Java, і ви можете піти далі і побачити цю команду тут в документації, яку я виділив тут. І, до речі, якщо вам потрібно дістатися до цієї документації, найпростішим способом є перейти до Google і виконати пошук "документів експорту імпорту AWS". Після цього натисніть кнопку Створити завдання імпорту, а потім натисніть кнопку Створити перше завдання імпорту Amazon S3, і ви перейдете на цю сторінку.
Тепер ми можемо піти далі і запустити команду, перейшовши в командний рядок. Для цього ми натискаємо на кнопку Пуск, набираємо CMD і натискаємо Enter. Тепер, коли у нас є командний рядок, нам потрібно зайти в каталог, де знаходиться інструмент імпорту експорту Amazon. У нашому випадку це у завантаженнях, а потім є папка під назвою Імпорт Експорт веб-сервісу. Таким чином, для того, щоб переміщатися по каталогах до командного рядка, ви вводите "cd", а потім я буду вводити "завантаження", а потім я знову буду вводити "cd", і я збираюся ввести "інструмент імпорту веб-служб експорту", який є назвою каталогу. Тепер, коли я перебуваю в цій директорії, я просто збираюся скопіювати цю команду і вставити її в командний рядок.
Можливо, ви помітили, що в команді, яку ми просто скопіювали і вставили, ім'я файлу маніфесту - My S3 Import Manifest.txt. Я думаю, що це проблема з документацією, тому що, коли я спробував запустити його таким чином, я отримав помилку, кажучи, що файл повинен бути названий My Import Manifest.txt. Так просто перемістіть курсор і видаліть частину S3, і ви повинні мати можливість запустити команду. Тепер я не збираюся йти вперед і запускати команду прямо зараз, тому що вже запустив її раніше. Але коли ви йдете вперед і натискаєте Enter, ви повинні отримати щось на зразок цього, створена робота, ідентифікатор завдання, адреса доставки AW і вміст підпису.
Вміст файлу підписів - це, по суті, файл, який створюється в кореневому каталозі в розділі Імпорт Експорт інструментів Web Services виклику Signatures. Це буде створено під час запуску фактичної команди. Якщо все йде Добре, ви можете взяти цей файл, і ви будете мати, щоб скопіювати на корінь вашого жорсткого диска.
Ми майже до кінця тут. Наступне, що нам потрібно зробити, це скопіювати файл підпису до кореня жорсткого диска. Файл, який називається Підпис, можна знайти у каталозі інструментів імпортування веб-служб після запуску команди Java.
Другий до останнього кроку - роздруківка упаковки та її заповнення. Так виглядає упаковка. Це дуже простий документ. Ви розміщуєте дату, свій ідентифікатор облікового запису електронної пошти, свій контактний номер, своє ім'я та номер телефону, ідентифікатор завдання та ідентифікатор, який ви розмістили для свого пристрою. Знову ви можете знайти цей документ з документації.
І, нарешті, останнім кроком є просто упакувати свій жорсткий диск і відправити його на Amazon. Є кілька дрібних речей, які ви повинні взяти до уваги. По-перше, потрібно включити блок живлення та будь-які кабелі живлення та будь-які інтерфейсні кабелі, тому, якщо це USB 2.0, 3.0, esata, вам потрібно включити кабель USB або кабель esata. Якщо ні, то вони підуть і повернуть його назад. Ви також повинні заповнити цю упаковку, яку я згадував раніше, і покласти її всередину коробки. І, нарешті, ви збираєтеся відправити пакунок за адресою, яку ви отримали від цієї команди створення відповіді, яку ми виконали.
Є дві інші дрібниці, які потрібно відзначити під час доставки. По-перше, ви маєте переконатися, що на етикетці відвантаження є ідентифікатор завдання. Якщо ні, то вони повернуть його назад. Таким чином, вам потрібно переконатися, що у вашому ярлику є ідентифікатор вакансії. По-друге, ви також повинні заповнити адресу для доставки. Це буде відрізнятись від адреси повернення вантажу, яку ми розмістили у файлі маніфесту. Якщо вони не обробляють ваш жорсткий диск з якоїсь причини, якщо є проблема або щось подібне, вони повернуть жорсткий диск на адресу доставки на етикетці доставки. Якщо вони обробляють ваш жорсткий диск, і вони здатні передати всі дані, вони повернуть жорсткий диск на адресу доставки, яку ви маєте в цій людині. Так що важливо поставити на адресу повернення на етикетці теж. Ви можете вибрати будь-який перевізник, який хочете. Я вибрав UPS. Це добре мати номер для відстеження, і вони можуть йти вперед і робити все це для вас без проблем.
І ось про це. Це кілька кроків, і перший раз, коли ви це зробите, потрібно трохи часу. Але після цього, це досить швидко, і це відмінний спосіб зберегти багато даних в хмарі, Amazon також дешево для зберігання. Так що якщо у вас є тонни на день, щоб ви повинні зберігати, і ви хочете, щоб зробити резервну копію в іншому місці, ніж у вашому будинку або на зовнішньому жорсткому диску, то Amazon Web Services S3 це відмінний варіант.
Я сподіваюся, вам сподобався цей підручник Online Tech Tips. Будь ласка, поверніться і відвідайте.
