שרתים

השבוע היה בתכנון להזמין עבור העסק מספר שרתים נוספים מ-HP להרחבת העסק. בדקנו מחירים, התווכחנו עם משווקים, קיבלנו הצעות מספקים שונים והמחירים כרגיל הראו שהמשווקים פה מרוויחים בכלל לא רע על חשבון עסקים כמו חץ ביז.

אז לפני שאני שם חותמת עסק וחותם על ההזמנה החלטתי קצת לחשוב מחדש על עניין ההזמנה. בכל זאת, מדובר פה בסכום רציני ומכובד..

העפתי שוב מבט במחירים בארה"ב, והחלטתי לבדוק לשם שינוי מחירי חלקים. מה יקרה אם נבנה אצלנו שרתים מחלקים איכותיים לא פחות מהחלקים שהיצרנים כמו HP משתמשים (לא שהם תמיד משתמשים בחלקים מי יודע מה טובים..)

הופתעתי לטובה מהתוצאות.

אצלנו בעסק יש שרתים שונים מבחינת מפרט לכל תחום. לאחסון אתרים יש לנו שרתים מסויימים ו-VPS שרתים אחרים, כי כל אחד מהם צריך דברים שונים. לתחום ה-VPS לדוגמא אנחנו מזמינים שרתים עם 2 מעבדים, 32 ג'יגה זכרון ו-2 דיסקים שיעבדו כ-RAID-1 חומרה. השרת מגיע עם כל הדברים החשובים כמו זכרון ECC, ספקי כח כפולים, ניהול IPMI/LightsOut וכו'.

המחיר שמשווקים מבקשים מאיתנו על מכונה כזו – בין 16 ל-20K שקל, תלוי למי פונים ותלוי בכישורי המ"מ של הרוכש.

כשבדקתי מבחינת חלקים, עלות משלוח וכו', הגעתי למספר מעניין: בפחות ממחצית אני יכול לקנות רכיבים של שרת כזה עם כל מה שתיארתי. מספר נאה, אבל בכל זאת, אתה לא שם שרת על ניילון סטטי ומכניס אותו לחווה, אתה צריך מארז רציני, וכאן אני נעזר בבחור מוכשר שיסייע לי לבנות את המארז.

אוקיי, חסכון מהמחיר הסופי, עכשיו יש הזדמנות לשנות כמה דברים שתמיד חשבתי שכדאי לשנות בשרתים.

אם נפתח שרת סטנדרטי, לא חשוב מאיזה יצרן מכובד, נמצא ערימות של מאווררים שגורמים לשרת להיות יצרן רעש רציני. האם יש צורך בכל אותם מאווררים? בדיקה של מספר פתרונות הבהירה לי שפשוט לא צריך את רובם. מישהו פעם בנה שרת בפורמט הזה ומאז כולם מעתיקים. כך לדוגמא אפשר למצוא פתרון של צלעות קירור ללא איוורור גם למעבדים שלוקחים 140 וואט. הדיסקים עצמם, אם נלך לפי מפרט יצרן, יכולים לקבל איוורור יעיל גם ללא שימוש ב-5 מאווררים, ויש עוד הרבה חלקים שהם שם אבל אפשר לבצע את הדברים בצורה אחרת.

אז התחלתי לתכנן שרת 1U. בתור התחלה אני משתמש בלוח של Supermicro בגודל ATX עם צלעות קירור ללא מאוורר על המעבד. יהיו כמובן מאווררים נוספים שאותם נשים לאחר בדיקות וסימולציית Airflow (הבדיקה הפיזית תתבצע על מכונה שישבו עליה כל החלקים והיא תועמס עד המקסימום). אגב, למי שתוהה – אני מכיר את פרוייקט ה-Open Computing של פייסבוק

וכאן אני מעוניין לשמוע את דעתכם: לו הייתם רוכשים שרת כזה מ"חץ ביז", מה הייתם רוצים או לא רוצים שיהיה בו? הנה מספר דברים שאני חושב לגביהם, ואני פתוח לשמוע ממכם עוד רעיונות:

  1. נורות LED במארז מצדדיו השונים: בתוך חברה בחדר שרתים יש מספיק תאורה. בחוות שרתים לעומת זאת, במקרים רבים דווקא שאתם רוצים להוסיף זכרון, להבריג בורג או דברים כאלו – אין תאורה מספקת (הידיים מסתירות חלק מהתאורה מבחוץ). מספר נורות LED יתנו לכם תאורה מספקת לדברים הללו והחשמל לנורות יהיה עצמאי, כך שגם אם תנתקו את השרת מהחשמל, יש תאורה.
  2. דיסקים בתוך השרת ולא שליפים ישירות – שוב, משהו לא רלוונטי לחברות שיש להם חדר שרתים, אבל רלוונטי שאתה מארח שרת שלך בחוות שרתים זרה ואינך שוכר ארון מלא משלך. כל אחד יכול להיכנס ופשוט לשבור לך את ה-RAID בכך שהוא פשוט גונב לך דיסק. שמעתי על מקרה כזה בארץ וגם על מקרה דומה בחו"ל. בהצעה שלי – תוכל לפתוח את השרת בזמן שהוא פועל, ולהחליף דיסקים, במקום ללחוץ על קליפס קטן ולהוציא את הדיסקים כמו אצל רוב היצרנים.
  3. דיאטה לשרת – כיום שרתים הם באורך מטר ומעלה (יש ויש). בהצעה שלי – הם בערך באורך חצי מטר, כך שאם אתה צריך לטפל בשרת בחווה, אינך צריך להוריד אותו מהמסילות ולא לחסום לאחרים את המעבר (לא כיף להגיע לשרתים לך ולראות שמישהו חוסם את הדרך כי השרת על המסילות כמעט כולו בחוץ ואין אפשרות לזוז והבעלים לא בא להם להוריד אותו מהמסילות כדי לטפל בו).
  4. דיסקים – 3.5" ולא 2.5" (לפחות לא בגירסה הראשונה). הסיבה לכך פשוטה: גודל דיסק. שוב, לא רלוונטי בחברות שיכולות לאפשר לעצמן מבחינה פיננסית RAID-5 ומעלה, מאוד רלוונטי בתחום השכרת שרתים שלקוחות לא רוצים לשלם על RAID-5 אבל כן רוצים 1-3 טרה מקום, גם אם לא יקבלו את שיא הביצועים.
  5. קורא SD CARD: אם המערכת פועלת דרך iSCSI או NFS, אז המערכת המינימלית יכולה לשבת על כרטיס SD. לחלופין, אם יש תקלת רשת, ניתן לעשות Boot  מ-SD Card מבלי להגיע לחווה.
  6. Riser Card – להכנסת כרטיסים (לא כרטיסים גרפיים עם מאווררים) – למקרה שצריכים להכניס כרטיסי רשת אחרים, Infiniband, וכו'.

אלו בינתיים הרעיונות שלי. מה שלכם?

אני מעוניין להבהיר משהו: אין לי שום מחשבה לבוא ולהתחרות ב-HP, DELL, IBM וכו'. העסק צריך שרתים וכעסק חשוב להכניס שרתים חזקים אך במחיר כמה שיותר נמוך כדי להחזיר את ההשקעה, אך מה שיותר חשוב – לתת ללקוחות אפשרות לשכור שרתים חזקים במחירים נמוכים יותר מחו"ל. כמה נמוך? תחשבו על שרת עם 16 ליבות, 16 ג'יגה זכרון, 1 טרה אחסון (2 דיסקים של 500 ב-RAID-1 חומרה), עם IPMI לניהול – בערך ב-200-250 דולר לחודש עם 10 מגהביט רוחב פס סימטרי. לא שווה? סמיילי

עדכון: יש המשך לפוסט כאן

ביי ביי The Planet, ועוד חדשות הוסטינג

הרבה לפני שפתחתי את העסק שלי להשכרת שרתים וירטואליים ופיזיים, שכרתי שרת קטן ב-The Planet ועליו אירחתי את הבלוג שלי ועוד כמה בלוגים, כמה פורומים ועוד כמה שטויות שלי. ה"שרת" היה משהו מאוד קטן: פנטיום 4 במהירות 1.7 ג'יגהרץ, 40 ג'יגה דיסק, חיבור של 10 מגהביט (שאף פעם לא הצלחתי להגיע איתו ליותר מ-5 מגהביט, גם בתוך ארה"ב). שילמתי אז מחיר די זול: 90$ לחודש (מצחיק, היום החבילה הכי פשוטה שאני מוכר היא פי 2 מבחינת כח עיבוד ועולה חצי מזה, כולל מע"מ).

השרת עבד לא רע (חוץ מפעם אחת שנדפק הדיסק, נו, דיסקים של 40 ג'יגה), אבל בכל הקשור לתמיכה מקצועית, זה היה אסון. טיקט פשוט שפתחתי לשנות PTR קיבל תשובות הזויות מהטכנאים, ושאלות קצת יותר מסובכות הקשורות לתקשורת היו נענות בתשובות שנותנות חשק לדפוק את הראש בקיר! אחרי שנה ומשהו עזבתי שם. אנשים אחרים שהכרתי ושוחחתי איתם לגבי The Planet קיבלו רושם פחות או יותר כמו שאני קיבלתי: עדיף שתסתדר איכשהו מאשר לסמוך על התמיכה שלהם.

במשך הזמן שאני עוקב אחרי שוק ההוסטינג, שמתי לב שקורה ב-The Planet משהו מעניין: לא רק שאנשים עוזבים, גם ההנהלה עוזבת, מהמנכ"ל ומטה ועוברים לשכן ממול: Soft Layer, או איך שאני קורא להם "השודדים". ל-Soft Layer יש אחלה רוחב פס, אבל מחירי השרתים שלהם לצרכן רגיל.. אלוהים ישמור! רוצה שרת עם Xeon ישן יחיד, 8 ג'יגה זכרון, 2 דיסקים של 500 ג'יגה SATA ותעבורה של 2 טרה בחודש? (בחיבור פורט של 100 מגהביט כמובן) בכיף! המחיר? אההמ…. כמעט 500 דולר. לחודש!

ביום ראשון האחרון קיבלתי אימייל מחבר טוב שעובד שם ובפיו הודעה: Soft Layer רכשו את The Planet. והחברה המאוחדת עכשיו נמצאת בליגה של הגדולים כמו Rack Sapce (תיכף אתייחס אליהם). כמובן שבשני האתרים אין שום אזכור על כך, אבל אני מניח שבקרוב, אחרי שהמערכות יאוחדו (חלק מהמערכות שלהם מאוחדים ברגע זה), המחירים לשרתים לא יהיו ממש זולים, אבל נקווה שהשרות הטכני יהיה של Soft Layer ולא של The Planet.

ומאיחודים – לעננים.

כתבתי בעבר בבלוג העסקי שלי על עננים, ועל כך שכל חברה עם שרת ורבע מציעה "עננים". כמובן שחברות גדולות בארץ ובעולם מציעות מחשוב ענן, וכולם מנסים להתחרות בחברה הכי מוכרת בכל הקשור למחשוב ענן: אמזון.

אחד המתחרים הגדולים של אמזון הם Rack Space (החברה שבחיים לא נותנת לך הצעות מחיר ישירות אלא רק אחרי שבוע שאתה מקבל טלפון מאיזה בריטי שמשגע אותך בשאלות ואח"כ מעביר אותך למישהו אחר שחוזר אליך אחרי .. שבועיים עם מחירים מעלפים). הם מציעים שרותי מחשוב ענן והמחיר די מפתה, אבל המחשוב ענן שלהם מאוד שונה ממה שאמזון מציעים: לאמזון יש מספר Data Centers ברחבי העולם, ל-Rack Space יש בארה"ב והם רק עכשיו בונים בבריטניה. גם ה-Instances שאמזון מציעים הרבה יותר רציניים ממה ש-Rack Space מציעים, ויש עוד הרבה יתרונות לאמזון.

מדוע אני כותב על זה כאן? ובכן, יצא לי להכיר בעבר מישהו ב-Mix Panel, חברה שנותנת ללקוחות שלה ניתוחים אנליטיים על תעבורה, ושם החליטו בהנהלה לקחת את הענן של Rack Space, ולצוות הטכני נמאס מ-Rack Space, והם החליטו לאוורר את כל התלונות שלהם בחוץ. אני ממליץ לכל מי שחושב לקחת מחשוב ענן בחו"ל ולאחרים שגם מתעניינים במחשוב ענן לקרוא את הפוסט שלהם.

ולבסוף, שאלה לקוראים המבינים: מדוע לעזאזל אנשים רוכשים F5 במקום לקחת מכונה ולהתקין עליה HAProxy?

מחשבות על חומת אש ורעיון קטן

כל אחד שיש לו מחשב שמשרת אותו ו/או אחרים צריך חומת אש. בעסק שלי, לדוגמא, הלקוחות מוגנים ע"י חומת אש שהיא בעצם קופסא פיזית קטנה שנותנת שרות לא רע של חסימת כל מיני דברים. הקופסא עובדת טוב ומעבירה את הנתונים בצורה משביעת רצון (יחסית, יחסית). הקופסא עצמה לא יכולה להתחרות בפתרונות של עשרות אלפי דולרים כמובן, אבל ללקוחות שלי אני יכול לתת מגוון פתרונות שחוסמים כל מיני דברים, בהתאם לצרכי הלקוח (כל הלקוחות מוגנים במס' שכבות, לתוהים מביניכם).

מדוע אני מספר לכם את זה? הסיבה פשוטה: תעבורה. ברשותכם, אפרט..

רוב הקופסאות המשמשות היום כחומות אש עבור שרתים ותחנות עבודה בנויים פחות או יותר אותו דבר. הם בעצם PC עם לוח אם קטנטן, ומספר חיבורים. מה שרץ על ה-PC זו מערכת הפעלה כלשהי (ברוב המקרים זה לינוקס, בשאר זה BSD) ומעליה "שכבה" שכוללת ממשק וובי וכל מיני תוספות, בהתאם לסוג המוצר והחברה המייצרת אותו.

אבל ההבדל הגדול ביותר בין הקופסאות, היכן שההבדל מגיע ממחיר של 1000-3000$ למחירים של 10,000 דולר ומעלה – הוא הבדל התעבורה. קופסא קטנה יודעת להעביר תעבורה של כמה עשרות מגהביטים בשניה (כולל תקשורת VPN), קופסא בינונית יודעת להעביר מאות עד משהו כמו 8 ג'גהביט בשניה, וקופסאות יותר גדולות מתחילות ב-6 ג'יגהביט לשניה ומטפסות בהתאם, כולל מחיר שמזניק בחופשיות כלפי מעלה.

בעסק שלי, לדוגמא, אני נתקל ב"בעיה" די מבורכת: בהתאם לכמות הלקוחות אני מגדיל את הקווים (כרגע זה עומד על 300 מגהביט סימטרי, לסקרנים) ואם אזמין לדוגמא עכשיו קופסא הרבה יותר רצינית שתשמש כחומת אש, אני אצטרך לשלם בסביבות ה-2000-3000 דולר, אבל אם קצב הגדילה שלי ימשיך להיות כמו שהוא כרגע, אני מאמין שעוד מס' חודשים יהיה לי רוחב פס של ג'יגה פלוס בקו סימטרי וכאן תצוץ בעיה: אותה קופסא לא רק שלא יכולה לעזור לי עם התעבורה, אלא שאני אפסיד בעצם את הסכום ששילמתי, שלא לדבר על הסכום שאצטרך לשלם על קופסת חומת אש שיודעת לנתב תקשורת ברוחב פס של ג'יגה ומעלה. המחירים לדברים כאלו למוצרים מוכרים וידועים מתחילים ב-10,000$, ואם אני אגדל ליותר מ-5-8 ג'יגהביט תעבורה, שוב אמצא את עצמי באותו מצב. נכון, אפשר להשתמש במס' קופסאות של חומות אש להגן על קבוצות שונות של שרתים, אבל זה לא תמיד הדבר הכי יעיל.

מה שחסר (לדעתי) בשוק הוא קופסת חומת אש, אבל לא קופסאות כמו שיש היום, אלא קופסא יותר מודולרית. קופסא שאני יכול לרכוש נניח ב-1000-2000 דולר, והרשיון שלה הוא מודולרי. ברמה הבסיסית לדוגמא היא יכולה לנתב כמה עשרות מגהביטים בשניה. רמה יותר גבוהה – מאות מגהביטים, רמה יותר גבוהה ג'יגהביטים ורמה הכי גבוהה – עשרות ג'יגהביט בשניה. הקופסא עצמה היא מכונת PC חזקה אבל היא תהיה "מוחלשת" ע"י התוכנה בהתאם לרשיון, כך שברשיון הכי גבוה, המכונה לא תהיה מוחלשת כלל.

מבחינת רווחים, דבר כזה יכול להיות מאוד רווחי לחברה שמייצרת קופסא כזו מסיבה מאוד פשוטה: כיום הקופסאות המתחרות קבועות בכמות תעבורת הנתונים שהן מעבירות ואז הצרכן של הקופסא אם הוא מגדיל את הקו מעבר למכסה שהקופסא יכולה לנתב, צריך לכתת את רגליו ולשוטט באינטרנט על מנת לחפש קופסא נוספת ולראות אם יש הצעות מפתות. קופסא מודולרית כזו רחוקה מרחק של רכישת רשיון מהגדלת הכח שלה, כלומר הלקוח לא צריך לחפש קופסא אחרת, הוא רוכש רשיון נוסף, מקליד אותו למכונה ונגמר העניין, כך שלחברה יהיה כדאי בעצם לגרום ללקוח להישאר איתה עם הקופסא ואולי למכור לו מוצרים נוספים (אנטי וירוס, אנטי ספאם, חומת אש שבודקת תכנים ועוד ועוד), ואז הלקוח נשאר עם החברה.

קופסא כזו לי היה יותר קל לרכוש ולהצדיק את ההשקעה בה ואני בטוח שאני לא היחיד שחושב כך.

מישהו רוצה להרים את הכפפה? 🙂

הבטחתי – ואני מקיים

כשפתחתי את "חץ ביז" הבטחתי כאן בבלוג שאני אתרום לקהילה מקום לאחסון וידאו עם רוחב פס נדיב כדי לשדר את הקליפים. אתמול היתה לי ישיבה עם הספק שלי (נטויז'ן) ואת תוצאות הישיבה כתבתי בפוסט בבלוג העסקי שלי. כתוצאה מאותה ישיבה, החל מהיום אני נמצא על קו סימטרי ואני יכול למכור רוחב פס (בישראל ) במחיר הכי זול שיש (תאמינו לי שבדקתי את המחירים עם המתחרים. לקוחות קיימים, אגב, שודרגו בחינם אתמול).

אז כמו שהבטחתי, אני מקיים: החל מאתמול, רכשתי עוד 100 מגה רוחב פס סימטרי (בנוסף למה שיש לעסק כרגע) שהוא מיועד כולו לשידור קליפים הקשורים לקוד פתוח, כלומר כל מי שרוצה ליצור תוכן ורוצה לשדר אותו, מוזמן ליצור איתי קשר ואני אארגן את המקום והשרות ללא כל תשלום. יש גם מספיק מקום לאחסון.

מי שיש לו תוכן ורוצה להעלות אותו, מוזמן ליצור עימי קשר. כדאי לשים לב: על מנת לתת שידור איכותי, יש צורך במספר דברים מצד מי שמקליט:

  • הוידאו צריך להיות איכותי ברמת HD, כלומר גודל מסך (אם מדובר בהדרכת וידאו) יהיה מינימום 1024X720 או יותר.
  • קידוד: אני מודע לכך שיש מלחמה שלמה על Codecs אך אינני משדר את הוידאו ב-HTTP אלא ב-RTMP, ובשביל איכות, צריך Codec טוב, ולכן אני מבקש לקודד ב-H.264, מעבר כפול (Double Pass) עם רוחב פס לפחות בגודל 750 קילוביט. אודיו יכול להיות MP3 או AAC. לגבי OGG אני עדיין בודק, מכיוון שהנגן מבוסס Flash.
  • גודל הקובץ: עד 2 ג'יגה פר קובץ

מעניין מי מהמתחרים יציע גם תרומה משמעותית לקהילת הקוד הפתוח.

וידאו HD

בזמן האחרון התחלתי במסגרת העסק להקים שרות וידאו שיתן ללקוחות את האפשרות לקחת מקום ולהעלות אליו את הוידאו שלהם, שם הוא יקודד לסטרים תואם כדי שיהיה אפשר לשדר אותו ברשת במהירות, מבלי להזדקק לטריקים של Bufferring או לחכות להטענה של HTTP.

להלן 2 דוגמאות: הקליפ הבא הוא קליפ "מאחורי הקלעים" של הסידרה Boardwalk Empire של HBO. הקידוד לקליפ זה: H.264 עד 1 מגהביט ברזולוזיית 960X544.

הדוגמא השניה: אותו קליפ, ב-1280×720 (החלון נותן פה תמונה מצוצמת, מטבע הדברים), בקידוד 2 מגהביט

נסו להריץ קדימה ואחורה, להתחלה ולסוף, ותראו תוך כמה זמן זה מגיב. צפו במסך מלא (במיוחד בקליפ השני) כדי לתת ל-H.264 להדגים את היכולות שלו.

מי שרוצה פרטים על השרות, יכול לדבר איתי פה למטה משמאל (בפס הכחול), אבל זו לא הסיבה ששמתי את זה בבלוג הנוכחי ולא בבלוג העסקי. הסיבה שאני מפרסם את זה בבלוג היותר פרטי היא שאני מחפש הקלטות (עדיף על קלטות Mini-DV או קבצים) של הרצאות בעברית על קוד פתוח/פרוייקטים בקוד פתוח כדי להעלות אותם לשרתים שלי ולתת גישה חופשית לקהילה. זו תהיה תרומתי הצנועה לקהילה.