Ένας πλήρης οδηγός για την έναρξη του δικού σας οικιακού εργαστηρίου για ανάλυση δεδομένων

Ένας πλήρης οδηγός για την έναρξη του δικού σας οικιακού εργαστηρίου για ανάλυση δεδομένων

Δεν υπήρξε ποτέ καλύτερη στιγμή για να ξεκινήσετε το homelab της επιστήμης δεδομένων για την ανάλυση δεδομένων χρήσιμων για εσάς, την αποθήκευση σημαντικών πληροφοριών ή την ανάπτυξη των δικών σας τεχνολογικών δεξιοτήτων.

Υπάρχει μια έκφραση που έχω διαβάσει στο Reddit μερικές φορές τώρα σε διάφορα subreddits που εστιάζονται στην τεχνολογία που είναι σύμφωνα με τις γραμμές του "Η πληρωμή για υπηρεσίες cloud σημαίνει απλώς ενοικίαση του υπολογιστή κάποιου άλλου". Αν και πιστεύω ότι το cloud computing και η αποθήκευση μπορεί να είναι εξαιρετικά χρήσιμα, αυτό το άρθρο θα επικεντρωθεί σε μερικούς από τους λόγους για τους οποίους έχω μετακινήσει τις αναλύσεις, τα καταστήματα δεδομένων και τα εργαλεία μου μακριά από τους διαδικτυακούς παρόχους και στο οικιακό μου γραφείο. Διατίθεται επίσης Ένας σύνδεσμος για τα εργαλεία και το υλικό που το έκανα.

Εισαγωγή

Ο καλύτερος τρόπος για να αρχίσω να εξηγώ τη μέθοδο στην τρέλα μου είναι να μοιραστώ ένα επαγγελματικό πρόβλημα που αντιμετώπισα. Αν και είμαι ένας αρκετά παραδοσιακός επενδυτής με ανοχή χαμηλού κινδύνου, υπάρχει μια μικρή ελπίδα μέσα μου ότι ίσως, απλώς ίσως, μπορώ να είμαι ένα από το ‹1% που θα νικήσει τον S&P 500. Σημείωση χρησιμοποίησα τη λέξη « ελπίδα», και εμείς τέτοιοι, μην βάλετε πολλά στη γραμμή σε αυτήν την ελπίδα. Μερικές φορές το χρόνο δίνω τον λογαριασμό μου στο Robinhood 100 $ και θα τον αντιμετωπίζω με τον ίδιο σεβασμό που αντιμετωπίζω ένα λαχείο — ελπίζοντας να το σπάσω. Θα χαλαρώσω όμως τους ενήλικες στο δωμάτιο μοιραζόμενοι ότι αυτός ο λογαριασμός είναι ξεχωριστός από τους μεγαλύτερους λογαριασμούς μου που βασίζονται κυρίως σε κεφάλαια ευρετηρίου με τακτικές μέτριες αποδόσεις με λίγες μετοχές αξίας με τις οποίες πουλάω καλυμμένες κλήσεις σε κυλιόμενη βάση. Ωστόσο, ο λογαριασμός μου στο Robinhood είναι ο οριακός εκφυλισμένος τζόγος και όλα πάνε. Ωστόσο, έχω μερικούς κανόνες για τον εαυτό μου:

1. Δεν βγάζω ποτέ κανένα περιθώριο.
2. Δεν πουλάω ποτέ ακάλυπτο, αγοράζω μόνο για να ανοίξω.
3. Δεν πετάω χρήματα για να κυνηγήσω χαμένες συναλλαγές.

Μπορεί να αναρωτιέστε πού πάω με αυτό και θα αποσυρθώ από την εφαπτομένη μου μοιραζόμενοι ότι τα «λαχεία» μου που, δυστυχώς, δεν μου έχουν κερδίσει ακόμα ένα γιοτ που να αξίζει τον Τζεφ-Μπέζος, αλλά μου έχουν διδάξει ένα καλό λίγο για τον κίνδυνο και την απώλεια. Αυτά τα μαθήματα έχουν επίσης εμπνεύσει τον λάτρη των δεδομένων μέσα μου να προσπαθήσει να βελτιώσει τον τρόπο με τον οποίο ποσοτικοποιώ τον κίνδυνο και προσπαθώ να προβλέψω τις τάσεις και τα γεγονότα της αγοράς. Ακόμη και τα κατευθυντικά σωστά μοντέλα βραχυπρόθεσμα μπορούν να προσφέρουν τεράστια αξία στους επενδυτές - λιανική και αντιστάθμιση.

Το πρώτο βήμα που είδα προς τη βελτίωση της λήψης αποφάσεών μου ήταν να έχω διαθέσιμα δεδομένα για τη λήψη αποφάσεων βασιζόμενων σε δεδομένα. Η αφαίρεση του συναισθήματος από την επένδυση είναι μια γνωστή συμβουλή επιτυχίας. Ενώ τα ιστορικά δεδομένα είναι ευρέως διαθέσιμα για μετοχές και ETF και είναι ανοιχτής πηγής μέσω πόρων όπως το yfinance (ένα παράδειγμά μου είναι παρακάτω), τα ιστορικά δεδομένα παραγώγων είναι πολύ πιο ακριβά και είναι δύσκολο να βρεθούν. Μερικές αρχικές ματιές στα διαθέσιμα API έδωσαν υποδείξεις ότι η τακτική, τακτική πρόσβαση σε δεδομένα για τις στρατηγικές backtest για το χαρτοφυλάκιό μου θα μπορούσε να μου κοστίσει εκατοντάδες δολάρια ετησίως και πιθανώς ακόμη και μηνιαία ανάλογα με την ευαισθησία που αναζητούσα.

Αποφάσισα να επενδύσω στον εαυτό μου σε αυτή τη διαδικασία και να ξοδέψω 100 $ δολάρια με τους δικούς μου όρους. *το κοινό στενάζει*

Χτίζοντας στο Cloud

Οι πρώτες μου σκέψεις για την απόξεση δεδομένων και την αποθήκευση με οδήγησαν στα ίδια εργαλεία που χρησιμοποιώ καθημερινά στη δουλειά μου. Δημιούργησα έναν προσωπικό λογαριασμό AWS και έγραψα σενάρια Python για να τα αναπτύξω στο Lambda για να ξύνω ελεύθερα, ζωντανά σύνολα δεδομένων επιλογών σε προκαθορισμένα διαστήματα και να γράφω τα δεδομένα για λογαριασμό μου. Αυτό ήταν ένα πλήρως αυτοματοποιημένο σύστημα και σχεδόν απείρως επεκτάσιμο, επειδή ένα διαφορετικό scraper θα περιστρέφονταν δυναμικά για κάθε ticker στο χαρτοφυλάκιό μου. Το να γράψω τα δεδομένα ήταν πιο δύσκολο και βρισκόμουν ανάμεσα σε δύο διαδρομές. Θα μπορούσα είτε να γράψω τα δεδομένα στο S3, να τα ανιχνεύσω με το Glue και να τα αναλύσω με ερωτήματα χωρίς διακομιστή στο Athena ή θα μπορούσα να χρησιμοποιήσω μια υπηρεσία σχεσιακής βάσης δεδομένων και να γράψω απευθείας τα δεδομένα μου από το Lambda στο RDS.

Μια γρήγορη ανάλυση των εργαλείων AWS που αναφέρεται:

Το Lambda είναι υπολογιστής χωρίς διακομιστή που επιτρέπει στους χρήστες να εκτελούν σενάρια χωρίς πολλά έξοδα και με ένα πολύ γενναιόδωρο δωρεάν επίπεδο.

Το S3, γνωστό και ως απλή υπηρεσία αποθήκευσης, είναι ένα σύστημα αποθήκευσης αντικειμένων με μεγάλο δωρεάν επίπεδο και εξαιρετικά οικονομικά αποδοτικό χώρο αποθήκευσης με 0,02 $ ανά GB ανά μήνα.

Το Glue είναι ένα εργαλείο προετοιμασίας, ενοποίησης και ETL δεδομένων AWS με ανιχνευτές ιστού που είναι διαθέσιμοι για ανάγνωση και ερμηνεία δεδομένων σε πίνακα.

Το Athena είναι μια αρχιτεκτονική ερωτημάτων χωρίς διακομιστή.

Κατέληξα να κλίνω προς το RDS μόνο και μόνο για να έχω τα δεδομένα εύκολα να αναζητηθούν και να παρακολουθηθούν, αν όχι για άλλο λόγο. Είχαν επίσης ένα δωρεάν επίπεδο διαθέσιμο για 750 ώρες δωρεάν καθώς και 20 GB αποθηκευτικού χώρου, δίνοντάς μου ένα ωραίο sandbox για να λερώνω τα χέρια μου.

Δεν κατάλαβα, ωστόσο, πόσο μεγάλα είναι τα δεδομένα δικαιωμάτων προαίρεσης μετοχών. Άρχισα να γράφω περίπου 100 MB δεδομένων ανά ticker ανά μήνα σε διαστήματα 15 λεπτών, που μπορεί να μην ακούγεται πολύ, αλλά λαμβάνοντας υπόψη ότι έχω ένα χαρτοφυλάκιο 20 tickers, πριν από το τέλος του έτους θα είχα χρησιμοποιήσει όλο το σύνολο της ελεύθερης βαθμίδας. Επιπλέον, η μικρή υπολογιστική χωρητικότητα εντός της δωρεάν βαθμίδας εξαντλήθηκε γρήγορα και ο διακομιστής μου έφαγε και τις 750 ώρες πριν το καταλάβω (λαμβάνοντας υπόψη ότι ήθελα να παρακολουθώ τις συναλλαγές επιλογών για περίπου 8 ώρες την ημέρα, 5 ημέρες την εβδομάδα) . Επίσης συχνά διάβαζα και ανέλυα δεδομένα μετά τη δουλειά στην καθημερινή μου εργασία, κάτι που οδήγησε επίσης σε μεγαλύτερη χρήση. Μετά από περίπου δύο μήνες τελείωσα τη δωρεάν κατανομή και έλαβα τον πρώτο μου λογαριασμό AWS: περίπου 60 $ το μήνα. Λάβετε υπόψη ότι μόλις τελειώσει η δωρεάν βαθμίδα, πληρώνετε για κάθε ώρα επεξεργασίας διακομιστή, ένα ποσό ανά GB από το οικοσύστημα AWS στην τοπική μηχανή προγραμματισμού μου και ένα κόστος αποθήκευσης σε GB/μήνα. Περίμενα ότι μέσα σε έναν ή δύο μήνες το κόστος ιδιοκτησίας μου θα μπορούσε να αυξηθεί κατά τουλάχιστον 50% αν όχι περισσότερο, και να συνεχίσω έτσι.

Φεύγοντας από το Cloud

Σε αυτό το σημείο, συνειδητοποίησα πώς θα προτιμούσα να παίρνω αυτά τα 60 $ το μήνα που ξοδεύω ενοικιάζοντας εξοπλισμό από την Amazon και να τα ξοδεύω σε λογαριασμούς ηλεκτρικού ρεύματος και να πετάω ό,τι περισσεύει στον λογαριασμό μου στο Robinhood, από εκεί που ξεκινήσαμε. Όσο κι αν μου αρέσει να χρησιμοποιώ τα εργαλεία AWS, όταν ο εργοδότης μου δεν πληρώνει τον λογαριασμό (και στους συναδέλφους μου που διαβάζουν αυτό, υπόσχομαι ότι είμαι φειδωλός και στη δουλειά), πραγματικά δεν έχω μεγάλο ενδιαφέρον να επενδύσω σε αυτά. Το AWS απλά δεν κοστολογείται στο σημείο για τους χομπίστες. Δίνουν πολλούς εξαιρετικούς δωρεάν πόρους για να μάθετε σε noobies, και μεγάλη έκρηξη για το χρήμα σας επαγγελματικά, αλλά όχι σε αυτό το τρέχον ενδιάμεσο επίπεδο.

Είχα έναν παλιό φορητό υπολογιστή Lenovo Y50–70 από πριν από το κολέγιο με σπασμένη οθόνη που πίστευα ότι θα το χρησιμοποιούσα ξανά ως οικιακό bot απόξεσης ιστού και διακομιστή SQL. Αν και εξακολουθούν να μπορούν να φέρουν μια αξιοπρεπή τιμή καινούργια ή πιστοποιημένα ανακαινισμένα (πιθανότατα λόγω του επεξεργαστή i7 και της αποκλειστικής κάρτας γραφικών), η σπασμένη οθόνη μου ισοδυναμούσε σχεδόν με την αξία του υπολογιστή και έτσι συνδέοντάς τον καθώς ένας διακομιστής του έδωσε νέα ζωή , και περίπου τρία χρόνια σκόνης από αυτό. Το έστησα στη γωνία του σαλονιού μου πάνω από ένα ηχείο (δίπλα σε ένα καλικάντζαρο) και απέναντι από το PlayStation μου και το έβαλα στο "always on" για να εκπληρώσει τον νέο του σκοπό. Η φίλη μου είπε ακόμη και ότι ο αντιπαθητικός κόκκινος φωτισμός των πλήκτρων του υπολογιστή έστρεψε το δωμάτιο γι' αυτό που αξίζει.

Βολικά, η τηλεόρασή μου με πιστοποίηση Call-of-Duty με δυνατότητα αναπαραγωγής 65 βρισκόταν σε απόσταση καλωδίου HDMI από τον φορητό υπολογιστή για να φανεί και ο κωδικός που έγραφα.

Έκανα μετεγκατάσταση του διακομιστή μου από το cloud στον φανταχτερό φορητό υπολογιστή μου και πήγα στους αγώνες! Θα μπορούσα τώρα να εκτελέσω όλη την ανάλυση που ήθελα μόνο με το κόστος της ηλεκτρικής ενέργειας, ή περίπου 0,14 $/kWh ή περίπου 0,20–0,30 $ την ημέρα. Για άλλο ένα ή δύο μήνες, εργαζόμουν και εργαζόμουν τοπικά. Συνήθως θα έμοιαζε με λίγες ώρες την εβδομάδα μετά το άνοιγμα του MacBook μου, παίζοντας με μοντέλα ML με δεδομένα από τον διακομιστή gnome-speaker-server μου, οπτικοποίηση δεδομένων σε τοπικούς πίνακες εργαλείων Plotly και μετά σκηνοθεσία τις επενδύσεις μου Robinhood.

Έζησα κάποια περιορισμένη επιτυχία. Θα αποθηκεύσω τις λεπτομέρειες για μια άλλη ανάρτηση Medium μόλις έχω περισσότερα δεδομένα και μετρήσεις απόδοσης για κοινή χρήση, αλλά αποφάσισα ότι ήθελα να επεκταθώ από έναν χαλασμένο φορητό υπολογιστή στο δικό μου micro cloud. Αυτή τη φορά, όχι νοικιασμένο, αλλά ιδιόκτητο.

Κατασκευή του Εργαστηρίου Οικίας

Το "Home Lab" είναι ένα όνομα που ακούγεται πολύ περίπλοκο και ωραίο *πιέζει τα γυαλιά*, ​​αλλά στην πραγματικότητα είναι σχετικά απλό όταν αποδομείται. Βασικά, υπήρχαν μερικές προκλήσεις που προσπαθούσα να αντιμετωπίσω με την κατεστραμμένη εγκατάσταση του φορητού υπολογιστή μου που παρείχε κίνητρο, καθώς και νέους στόχους και συμπαθητικούς που έδιναν έμπνευση.

Προβλήματα σπασμένου φορητού υπολογιστή:

Ο σκληρός δίσκος ήταν παλιός, τουλάχιστον 5 ή 6 ετών, γεγονός που αποτελούσε κίνδυνο για πιθανή μελλοντική απώλεια δεδομένων. Επίσης, επιβραδύνθηκε σημαντικά υπό πίεση με μεγαλύτερα ερωτήματα, ένα σημειωμένο πρόβλημα με το μοντέλο.

Το να χρησιμοποιήσω την τηλεόραση και το πληκτρολόγιο Bluetooth για να χρησιμοποιήσω τον φορητό υπολογιστή μου με εγκατεστημένα τα Windows 10 Home ήταν πολύ άβολο και όχι εργονομικά φιλικό.

Ο φορητός υπολογιστής δεν μπορούσε να αναβαθμιστεί σε περίπτωση που ήθελα να προσθέσω περισσότερη μνήμη RAM πέρα ​​από αυτήν που είχα ήδη εγκαταστήσει.

Η τεχνολογία ήταν περιορισμένη στον παραλληλισμό των εργασιών.

Ο φορητός υπολογιστής από μόνος του δεν ήταν αρκετά δυνατός για να φιλοξενήσει τον SQL διακομιστή μου, καθώς και πίνακες εργαλείων και σπασίμους αριθμούς για τα μοντέλα ML μου. Ούτε θα ένιωθα άνετα να μοιράζομαι τους πόρους στον ίδιο υπολογιστή, πυροβολώντας τις άλλες υπηρεσίες στα πόδια.

Ένα σύστημα που θα εγκαθιστούσα έπρεπε να λύσει καθένα από αυτά τα προβλήματα, αλλά υπήρχαν επίσης νέα χαρακτηριστικά που θα ήθελα να επιτύχω επίσης.

Προγραμματισμένα νέα χαρακτηριστικά:

Μια νέα εγκατάσταση γραφείου στο σπίτι για να κάνει την εργασία από το σπίτι από καιρό σε καιρό πιο άνετη.

Καλωδίωση Ethernet σε ολόκληρο το διαμέρισμά μου (αν πληρώσω για ολόκληρο το gigabit, θα χρησιμοποιήσω ολόκληρο το gigabit AT&T).

Κατανεμημένος υπολογισμός* με μικροδιακομιστές όπου χρειάζεται.

Οι διακομιστές θα μπορούσαν να αναβαθμιστούν και να αντικατασταθούν.

Διαφορετικά προγράμματα και λογισμικό που μπορούν να αναπτυχθούν για την επίτευξη διαφορετικών υποστόχων ανεξάρτητα και χωρίς να εμποδίζονται τα τρέχοντα ή παράλληλα προγράμματα.

*Οι κατανεμημένοι υπολογιστές με τους υπολογιστές που επέλεξα είναι ένα θέμα συζήτησης που θα εξηγηθεί αργότερα στο άρθρο.

Πέρασα αρκετό χρόνο διεξάγοντας έρευνα σχετικά με τις κατάλληλες διαμορφώσεις υλικού. Ένας από τους αγαπημένους μου πόρους που διάβασα ήταν το Project «TinyMiniMicro που συνέκρινε την πλατφόρμα Lenovo ThinkCentre Tiny, την πλατφόρμα HP ProDesk/EliteDesk Mini και την πλατφόρμα Dell OptiPlex Micro. Και εγώ έχω χρησιμοποιήσει στο παρελθόν υπολογιστές με μία πλακέτα, όπως οι συντάκτες του Project TMM, και έχω δύο Raspberry Pis και ένα Odroid XU4.

Τι μου άρεσε στο Pis μου:

Ήταν μικρά, έφαγαν λίγη ισχύ και τα νέα μοντέλα έχουν 8 GB RAM.

Τι μου άρεσε στο Odroid XU4 μου:

Είναι μικρό, έχει 8 πυρήνες και είναι μια εξαιρετική πλατφόρμα εξομοίωσης.

Αν και είμαι σίγουρος ότι οι SBC μου θα εξακολουθήσουν να βρουν ένα σπίτι στο homelab μου, να θυμάστε, χρειάζομαι εξοπλισμό που να χειρίζεται τις υπηρεσίες που θέλω να φιλοξενήσω. Κατέληξα επίσης να αγοράσω ίσως την πιο ακριβή παραγγελία Amazon σε ολόκληρη τη ζωή μου και να ξανακάνω εντελώς ολόκληρο το γραφείο μου. Το καλάθι αγορών μου περιλάμβανε:

• Πολλαπλά καλώδια Ethernet Cat6
• RJ45 Crimp Tool
• Γραβάτες με φερμουάρ
• 2 EliteDesk 800 G1 i5 Minis (αλλά εστάλη G2 #Win)
• 1 EliteDesk 800 G4 i7 Mini (και έστειλε έναν ακόμα καλύτερο επεξεργαστή i7 #Win)
• 2 ProDesk 600 G3 i5 Minis (και αποστολή έστειλε ένα ελαφρώς χειρότερο i5 #Karma)
• Επιπλέον RAM
• Πολλαπλοί SSD
• Ένα νέο γραφείο για να αντικαταστήσει το credenza/runner μου
• Νέος φωτισμός γραφείου
• Εξοπλισμός κλωνοποίησης σκληρού δίσκου
• Δύο διακόπτες δικτύου 8 θυρών
• Ένα αδιάλειπτο τροφοδοτικό
• Ενας εκτυπωτής
• Ένα μηχανικό πληκτρολόγιο (Σχετικό, έχω επίσης πέντε συνδυασμούς πληκτρολογίου και ποντικιών από τους υπολογιστές, αν κάποιος θέλει ένα)
• Δύο νέες οθόνες

Εάν θέλετε να δείτε ολόκληρη τη λίστα ανταλλακτικών μου με συνδέσμους για κάθε στοιχείο για να το ελέγξετε ή δύο να κάνετε μια αγορά μόνοι σας, μη διστάσετε να μεταβείτε στον ιστότοπό μου για μια πλήρη λίστα.

Μόλις έφτασαν τα Χριστούγεννα στο καλοκαίρι με μια ολόκληρη σειρά από κουτιά στο κατώφλι μου, η πραγματική διασκέδαση μπορούσε να ξεκινήσει. Το πρώτο βήμα ήταν να ολοκληρώσω την καλωδίωση του ethernet μου σε όλο το σπίτι μου. Οι εγκαταστάτες δεν είχαν συνδέσει κανένα καλώδιο ethernet στο κουτί καλωδίων από προεπιλογή, οπότε έπρεπε να κόψω τα άκρα και να εγκαταστήσω μόνος μου τις υποδοχές. Ευτυχώς, η εργαλειοθήκη AWESOME που αγόρασα (σύνδεσμος στον ιστότοπό μου) περιελάμβανε το εργαλείο πτύχωσης, τα άκρα RJ45 και εξοπλισμό δοκιμών για να διασφαλίσω ότι συνδέω σωστά τα άκρα και να προσδιορίζω ποια θύρα γύρω από το διαμέρισμά μου σχετίζεται με ποιο καλώδιο. Φυσικά, με την τύχη μου, το τελευταίο από τα 8 καλώδια κατέληξε να είναι αυτό που χρειαζόμουν για το γραφείο μου, αλλά οι μελλοντικοί ένοικοι του χώρου μου θα επωφεληθούν από την καλή μου πράξη για την ημέρα υποθέτω. Η όλη διαδικασία χρειάστηκε περίπου 2-3 ​​ώρες καλωδίωσης των συνδέσεων gigabit, αλλά ευτυχώς, η κοπέλα μου άρεσε να βοηθάει και ένα ποτήρι κρασί έκανε να περάσει πιο γρήγορα.

Ακολουθώντας την ενσύρματη δικτύωση, άρχισα να στήνω το γραφείο μου φτιάχνοντας τα έπιπλα, εγκαθιστώντας τον φωτισμό και αποσυσκευάζοντας το υλικό. Η ρύθμιση του γραφείου μου έγινε αρκετά καθαρή και είμαι ευχαριστημένος με το πώς φαίνεται τώρα το γραφείο μου.

Όσον αφορά τη ρύθμιση του υλικού μου, καθένας από τους υπολογιστές που αγόρασα είχε 16 GB μνήμης RAM που αναβάθμισα σε 32 καθώς και μονάδες δίσκου στερεάς κατάστασης (μερικούς αναβάθμισα). Δεδομένου ότι κάθε συσκευή εκτελεί Windows 10 Pro, μπορώ να συνδεθώ εξ αποστάσεως και στο δίκτυό μου και έχω ήδη ρυθμίσει μέρος της υπηρεσίας μου. Η δικτύωση των συσκευών ήταν επίσης αρκετά διασκεδαστική, αν και νομίζω ότι η διαχείριση των καλωδίων μου αφήνει λίγα περιθώρια βελτίωσης.

Τώρα, σύμφωνα με τον αστερίσκο που είχα στην αρχή, γιατί ξόδεψα κόστος AWS περίπου ενός έτους σε πέντε υπολογιστές με συνολικά περίπου 22 πυρήνες αντί να αγοράσω/χτίσω απλώς έναν εξαπατημένο σύγχρονο υπολογιστή; Λοιπόν, υπάρχουν μερικοί λόγοι και είμαι σίγουρος ότι αυτό μπορεί να είναι διχαστικό με μερικούς από τους άλλους τεχνικούς στην αίθουσα.

1. Επεκτασιμότητα — Μπορώ εύκολα να προσθέσω έναν άλλο κόμβο στο σύμπλεγμα μου εδώ ή να αφαιρέσω έναν για συντήρηση/αναβαθμίσεις.
2. Κόστος — Είναι εύκολο και φθηνό η αναβάθμιση και η παροχή συντήρησης. Επιπλέον, με περίπου 35 W max για τις περισσότερες μονάδες, το κόστος λειτουργίας των διακομιστών μου είναι πολύ προσιτό.
3. Πλεονασμός — Εάν ένας κόμβος πέσει (δηλαδή, μια CPU πεθάνει), έχω διορθωτικά σενάρια για να εξισορροπήσω τους κατανεμημένους φόρτους εργασίας μου.
4. Εκπαίδευση — Μαθαίνω ένα σημαντικό ποσό που προάγει τις επαγγελματικές μου δεξιότητες και εμπειρία, και η εκπαίδευση είναι ✨ανεκτίμητη✨.
5. Φαίνεται δροσερό. Το σημείο 5 εδώ θα πρέπει να είναι αρκετή δικαιολογία και μόνο.

Μιλώντας όμως για την εκπαίδευση, εδώ είναι μερικά από τα πράγματα που έμαθα και εφάρμοσα στο σύμπλεγμα μου:

• Όταν κλωνοποιείτε μονάδες δίσκου από μικρότερες σε μεγαλύτερες, θα χρειαστεί να επεκτείνετε τους όγκους της νέας μονάδας, κάτι που συχνά απαιτεί λογισμικό τρίτου κατασκευαστή για να το κάνει εύκολα (όπως το Paragon).
• Πρέπει να εκχωρήσετε με μη αυτόματο τρόπο στατικές IP για να έχετε αξιόπιστα αποτελέσματα κατά την απομάκρυνση μεταξύ επιτραπέζιων υπολογιστών.
• Κατά τη μετεγκατάσταση διακομιστών SQL, η επαναφορά από ένα αντίγραφο ασφαλείας είναι ευκολότερη από το ερώτημα μεταξύ δύο διαφορετικών διακομιστών.

Είμαι σίγουρος ότι θα υπάρξουν πολλά περισσότερα μαθήματα που θα μάθω στην πορεία…

Παρακάτω είναι ένα κατά προσέγγιση διάγραμμα του οικιακού μου δικτύου τώρα. Δεν απεικονίζονται οι συσκευές wifi μου, όπως το MacBook και το τηλέφωνό μου, αλλά μεταπηδούν μεταξύ των δύο δρομολογητών που απεικονίζονται. Τελικά, θα προσθέσω επίσης τους υπολογιστές μου με μία πλακέτα και πιθανώς έναν ακόμη υπολογιστή στο σύμπλεγμα. Α, ναι, και το παλιό μου φορητό υπολογιστή με σπασμένη οθόνη; Κανείς δεν ήθελε να το αγοράσει στο Facebook Marketplace για ακόμη και 50 $, γι 'αυτό εγκατέστησα τα Windows 10 Pro σε αυτό για απομακρυσμένη πρόσβαση και το πρόσθεσα στο σύμπλεγμα επίσης για καλό μέτρο, και αυτό στην πραγματικότητα θα μπορούσε να είναι καλό γιατί μπορώ να χρησιμοποιήσω τη GPU του για να βοηθήσω κατασκευή μοντέλων Tensorflow (και παίξτε επίσης μερικά παιχνίδια με turn-based).

Μιλώντας για το Tensorflow, εδώ είναι μερικές από τις υπηρεσίες και τις λειτουργίες που θα εφαρμόσω στο νέο μου εργαστήριο στο σπίτι:

• Ο διακομιστής SQL (προς το παρόν φιλοξενεί τα οικονομικά μου σύνολα δεδομένων, καθώς και νέα σύνολα δεδομένων για τα οποία κάνω scraping στον ιστό και αργότερα θα γράψω για τη συμπερίληψη των οικονομικών του alma mater και της πόλης στην οποία ζω τα σύνολα δεδομένων δημόσιας ασφάλειας)
• Docker (για τη φιλοξενία εφαρμογών/κοντέινερ που θα δημιουργήσω καθώς και έναν διακομιστή Minecraft, γιατί, γιατί όχι)
• Σύστημα CI/CD Jenkins για δημιουργία, εκπαίδευση και ανάπτυξη μοντέλων μηχανικής εκμάθησης στα σύνολα δεδομένων μου
• Git Repo για την προσωπική μου βάση κωδικών
• Αποθηκευτικός χώρος συνδεδεμένος με το δίκτυο που υποστηρίζει τις πολλές φωτογραφίες μου από το χόμπι μου με τη φωτογραφία, τα έγγραφα και οποιεσδήποτε άλλες δραστηριότητες αποθήκευσης δεδομένων
• Και άλλα έργα/υπηρεσίες TBD

Σκέψεις για το κλείσιμο:

Αξιζε? Λοιπόν, υπάρχει ένα στοιχείο του «μόνο ο χρόνος θα δείξει». Μόλις η πιστωτική μου κάρτα ξεκουραστεί από τις αγορές εκπλήρωσης στο Amazon, είμαι σίγουρος ότι θα απολαύσει την ανάπαυλα και από την τιμολόγηση AWS. Ανυπομονώ επίσης να μπορέσω να δημιουργήσω και να αναπτύξω περισσότερα από τα χόμπι μου, καθώς και να συλλέξω περισσότερα δεδομένα για να γράψω περισσότερα άρθρα για τα μεσαία. Μερικά από τα επόμενα προγραμματισμένα άρθρα μου περιλαμβάνουν ανάλυση του χρέους που αντιμετωπίζει το Πανεπιστήμιο της Δυτικής Βιρτζίνια επί του παρόντος οικονομικά, καθώς και μια διερευνητική ανάλυση δεδομένων της αναφοράς δημόσιας ασφάλειας του Νάσβιλ (και πιθανώς ένα μοντέλο ML για την πρόβλεψη επειγόντων περιστατικών και την κατανομή των αναγκών πόρων). Αυτά τα έργα επιστήμης δεδομένων είναι αρκετά μεγάλα ώστε δεν θα ήταν δυνατά χωρίς κάποιο είδος αρχιτεκτονικής για την αποθήκευση και την αναζήτηση του τεράστιου όγκου σχετικών δεδομένων.

Τι νομίζετε; Η αποχώρηση από το cloud και η κατασκευή ενός εργαστηρίου στο σπίτι ακούγεται σαν έργο που θα θέλατε να κάνετε; Ποια θα ήταν η επιλογή υλικού σας;

Εάν είστε περίεργοι για το υλικό που χρησιμοποίησα, ρίξτε μια ματιά στις κριτικές μου στο www.willkeefe.com

Μερικό από το σχετικό πρόσφατο περιεχόμενό μου στο Μέσο: